「音声の信号から口の動きを生成します。アニメの口パクって、大きく開く、中くらい開く、閉じるの3パターンだけなんです。その3パターンをどう選択するかだけなので、それほど複雑ではないんです。クリエイターさんが手でつけた口のリップシンクと、僕らの自動生成の結果を比べてもほぼ遜色ないと思います。それと、僕たちの方法は、中国語であろうが英語であろうが、言語に依存しないんですよ。外国語に吹きかえて現地で放映したいといったとき、普通は映像には一切手を加えずにアフレコだけで変えるんですけど、リップシンクが当然合わなくなります。そこもちゃんとぴったり合った形でどんな言語でも出せるっていうのも特徴ですね」

 またこういった技術を使うと、ちょっと面白い応用ができる。

「音声を入力して、アニメ作品を指定してやると、その作品のキャラクターがその人の声でメッセージを伝えてくれるみたいなこともできます。ドラえもんがおじいちゃんの声で孫に話しかけるようなメッセージビデオが簡単につくれますっていう仕組みですね。これは、情報処理推進機構の未踏IT人材発掘・育成事業で学生の古川翔一くん(現在マイクロソフト)がやった研究です」

キャラクターの口の動きは確かに音声とぴたりと合っていた。
[画像をタップでギャラリー表示]

 実はこれまで紹介してきた研究の多くは、森島研の学生によるものだ。大学院生のみならず学部生も主力の一翼で、反面、あまりポスドクを取らない独特の方針だそうだ。森島さん自身も黒子に回ることが多い。この件については次回あらためて語るので、ここは頭に置いておくだけにしてさらなる制作支援へ。

 最近、増えてきている3Dアニメについて。

「実際に役者に演じてもらったものをモーションキャプチャーして3Dアニメにすると、手描きと違ってぬるぬる動くので、それをコマ落とししてリミテッド風にしたいというのが、技術的な課題なんです」

 実際に役者に演じてもらったものをアニメにする技術は便利だが、「ぬるぬる動く」のが気持ち悪いという声がある。これは、従来の日本のアニメが、動きを間引いた「リミテッド・アニメ」だからということが大きい。テレビなどで見る動画は、1秒間に24枚の画像が使われているけれど、日本のアニメではその3分の1、あるいは半分くらいで済ませる。労力を軽くする意味も強かったが、今では表現の手法として確立している。「ぬるぬる動く」は、まさにリアルな動きなのだが、アニメの表現は、実はもっと抽象化されていて、そのままではなじまないのが難点だ。

この連載の前回の
記事を見る

この連載の次の
記事を見る