技ビス : 技術、ビジネス、スタートアップ

技術、ビジネス、スタートアップに関する情報と話題とアイディアと事例

ディープラーニングでキング牧師の動きでオバマ大統領を動かす技術、Fake Video

Fake Videoが最近話題になっています。実在の人物がしゃべっているかのように動画や音声をAI・機械学習で生成した動画のことです。

最近TEDの動画にもなっています。こちらをご覧いただくとそのインパクトが見て取れるのではないかなと思います。

www.youtube.com

実は、同種の技術が色々と研究開発されています。

カーネギーメロン大学のRecycle-GAN

カーネギーメロン大学が画像処理に関する国際学会European Conference on Computer Vision (ECCV) 2018で発表する技術Recycle-GANという技術です。この技術は元になる動画の特徴を、ターゲットとなる動画の特徴と一致させることで、あたかもターゲット動画の人物がしゃべっているかのように見える技術です。

Recycle-GAN

f:id:harajune:20180922112438p:plain

www.youtube.com

左のキング牧師のスピーチの動きが、みごとに右のオバマ大統領の動画で表現されています。この技術を使えば、オバマ大統領のふりをしてスピーチをする・・・というようなことが簡単に実現できるようになります。

Virtual Youtuber ( vtuver ) を支える技術

少し種類の違う技術ではあるのですが、近年VTuverというものに注目が集まっています。人間の身振り手振りを3D CGにマッピングして、Youtuberのようにふるまう技術です。

画像から人間の表情や身振り手振りを取得する技術はかなり普及しており、オープンソースやフリーソフトを組み合わせることで比較的簡単に実現することが可能です。

www.moguravr.com

VTuverは、人間のポーズを機械学習で認識し、3D CGの人形を操り人形のように動かす技術です。ポイントは、人間の手とCGの手の対応はあらかじめ決まっているという点です。

AIがイラストを動かす

Preffered Networks (PFN) が開発するAI技術でイラストを動かすというものがあります。

 2Dのイラストを与えると、人間が動いた通りに2D CGが動き出す・・・・という技術です。一見するとVTuberの技術と同じなのでは・・・というところがわかりにくいですが、ポイントは3D CGではなく2D CGを書くだけで、自動的に手や関節の位置を理解して動かしてくれるというところです。

3Dモデルを作るというのはそれなりにテクニックがいる作業ですが、書いたイラストがそのまま動き出す・・・・と思うとなかなか面白い技術です。

CGを動かすのはすごく簡単になってきている

いくつかの方法をご紹介しましたが、CGを自由に動かす技術はかなり一般的になってきています。

映画の撮影方法や、コンテンツの配信の形が今後変わっていくように思います。