AI「EMO」：画像と音声からリアルなポートレートビデオを生成する革新的技術

近年、人工知能（AI）の進化により、様々な分野で革新的な技術が開発されています。その中でも注目すべき一つが、アリババが開発したAI「EMO」です。本記事では、「EMO」の概要から技術的な仕組み、応用可能性、そして課題に至るまで詳しく解説していきます。

AI「EMO」とは？

概要

AI「EMO」は、画像と音声からポートレートビデオを生成する技術です。アリババの研究グループによって開発され、2024年2月27日に公開されました。この技術により、画像の中の人物を自然に喋らせたり歌わせたりすることが可能になります。その成果物は、高精度なリップシンクを実現し、CGの生成も自然であり、注目を集めています。

EMO の製品は公式プロジェクトページでご覧いただけます。ここを参照してください https://humanaigc.github.io/emote-portrait-alive/

技術的な仕組み

EMOの技術的な仕組みは、主に以下の要素から構成されています。

バックボーンネットワーク

入力された画像と音声を処理し、ポートレートビデオを生成する主要なネットワークです。画像に関する詳細な情報を送り込むことで、自然な表現を実現しています。

リファレンスネットワーク

対象人物の画像を処理し、ノイズ除去や詳細な情報の送信を行います。これにより、生成されるビデオの品質が向上します。

その他のモジュール

音声の特徴を抽出するための「Audio-Attention Layers」や、ビデオフレーム間の時間関係を理解するための「Temporal Modules」など、様々なモジュールが組み込まれています。

学習過程

EMOの学習は、画像と音声の組み合わせによる段階的なプロセスを経て行われます。モデルの推論中には、40ステップでビデオクリップを生成し、定量的指標と定性的評価によってモデルの性能を評価します。

AI「EMO」の応用可能性

エンタメ業界

映画やゲーム業界

キャラクターアニメーションの生成に活用されることが期待されます。これにより、リアルなキャラクターの表現が可能になり、映画やゲームのクオリティが向上します。

仮想現実（VR）や拡張現実（AR）アプリケーション

リアルなユーザーインタラクションを実現するために利用されることが考えられます。ユーザーは、自然な表情や動きを持つキャラクターとのコミュニケーションを楽しむことができます。

その他の分野

デジタルアバターの作成

個人の特徴や好みに合わせたデジタルアバターの作成に役立ちます。これにより、仮想空間での表現が豊かになります。

オンライン教育

講師の表情や動きを再現するツールとして活用されることが期待されます。これにより、生徒とのコミュニケーションがよりリアルになり、学習効果が向上します。

AI「EMO」の課題と今後の展望

課題

データ生成に時間がかかること

EMOは拡散モデルに依存しており、データ生成に時間がかかるという課題があります。今後の改良が求められます。

アーチファクトの発生

生成されるビデオにおいて、不自然なアーチファクトが生じる可能性があります。これを解決するために、さらなる研究が必要です。

展望

AI「EMO」は、エンタメ業界を始めとする様々な分野で革新的な技術として活用されることが期待されます。今後の研究開発により、その性能や応用範囲がさらに拡大していくことが予想されます。

a new tool for talking character: EMO.
results seem very good even on non-realistic image.

code is not available yet.
i hope someone smart will modify the code to use video as input too! pic.twitter.com/QDymPYfCcT

— Thibaud Zamora ∞ (@thibaudz) February 28, 2024

【音声と写真から表情豊かに歌声を作れるAIが半端ない】

AlibabaがEMO（Emote Portrait Alive）という音声と写真から、超自然に喋る・歌うAIを作れる技術を発表

表情が自然すぎてヤバい

気づいたら、AIドラマ、AI歌手、AI映画が溢れてそう

中国はAIアニメも推進しているし、最近中華勢の勢いも凄い pic.twitter.com/KZAopbTVDx

— チャエン | 重要AIニュースを毎日発信⚡️ (@masahirochaen) February 28, 2024