Fake Videoが最近話題になっています。実在の人物がしゃべっているかのように動画や音声をAI・機械学習で生成した動画のことです。
最近TEDの動画にもなっています。こちらをご覧いただくとそのインパクトが見て取れるのではないかなと思います。
実は、同種の技術が色々と研究開発されています。
カーネギーメロン大学のRecycle-GAN
カーネギーメロン大学が画像処理に関する国際学会European Conference on Computer Vision (ECCV) 2018で発表する技術Recycle-GANという技術です。この技術は元になる動画の特徴を、ターゲットとなる動画の特徴と一致させることで、あたかもターゲット動画の人物がしゃべっているかのように見える技術です。
左のキング牧師のスピーチの動きが、みごとに右のオバマ大統領の動画で表現されています。この技術を使えば、オバマ大統領のふりをしてスピーチをする・・・というようなことが簡単に実現できるようになります。
Virtual Youtuber ( vtuver ) を支える技術
少し種類の違う技術ではあるのですが、近年VTuverというものに注目が集まっています。人間の身振り手振りを3D CGにマッピングして、Youtuberのようにふるまう技術です。
画像から人間の表情や身振り手振りを取得する技術はかなり普及しており、オープンソースやフリーソフトを組み合わせることで比較的簡単に実現することが可能です。
VTuverは、人間のポーズを機械学習で認識し、3D CGの人形を操り人形のように動かす技術です。ポイントは、人間の手とCGの手の対応はあらかじめ決まっているという点です。
AIがイラストを動かす
Preffered Networks (PFN) が開発するAI技術でイラストを動かすというものがあります。
夏もコミケに出展します!#PaintsChainer の展示に加えて、AIでイラストを動かしちゃいます!#コミックマーケット94 #C94 pic.twitter.com/xEiuyUo3Jb
— PaintsChainer (@PaintsChainer) August 3, 2018
2Dのイラストを与えると、人間が動いた通りに2D CGが動き出す・・・・という技術です。一見するとVTuberの技術と同じなのでは・・・というところがわかりにくいですが、ポイントは3D CGではなく2D CGを書くだけで、自動的に手や関節の位置を理解して動かしてくれるというところです。
3Dモデルを作るというのはそれなりにテクニックがいる作業ですが、書いたイラストがそのまま動き出す・・・・と思うとなかなか面白い技術です。
CGを動かすのはすごく簡単になってきている
いくつかの方法をご紹介しましたが、CGを自由に動かす技術はかなり一般的になってきています。
映画の撮影方法や、コンテンツの配信の形が今後変わっていくように思います。