Vtuberの顔や表情が動く仕組みとは？リアルタイムモーションキャプチャとモデル制作の流れを解説

Vtuberの配信では、キャラクターの顔が笑ったり、口を動かしたり、首を傾けたりする自然な表情を見ることができます。その動きがどのように作られているのか、配信者本人がリアルタイムでモデリングしているのか疑問に感じる人も多いでしょう。

この記事では、Vtuberの表情や動きがどのような技術によって実現されているのか、モデル制作とリアルタイム操作の違いについて分かりやすく解説します。

Vtuberの顔や表情はリアルタイムで動かしている

多くのVtuber配信では、あらかじめ作成された3Dモデルや2Dモデルを、リアルタイムの表情認識技術によって動かしています。

配信者がカメラの前で笑ったり、口を開けたり、目を閉じたりすると、その情報がソフトウェアによって読み取られ、キャラクターの顔の動きとして反映されます。

つまり、配信中に毎回キャラクターの顔を手作業で動かしているわけではなく、事前に制作されたモデルをリアルタイム制御している仕組みです。

Vtuberのキャラクターは、配信開始前にイラスト制作やモデリング作業によって作られます。

2Dモデルの場合は、イラストをパーツごとに分けて、目、口、髪、顔の輪郭などを動かせるように設定します。これをLive2Dなどの技術を使って動きを付けます。

3Dモデルの場合は、3Dソフトでキャラクターを制作し、骨格や表情用の設定を行います。人間の顔の筋肉の動きを再現するため、細かな調整が必要になります。

Vtuberの表情変化には、フェイストラッキングと呼ばれる技術が使われています。

一般的にはWebカメラやスマートフォンのカメラで配信者の顔を認識し、目の開閉、口の形、顔の向きなどをデータ化します。

例えば、配信者が笑顔になると、システムが口角の上昇や目の形の変化を検出し、キャラクター側の表情パラメータを変化させます。

Vtuber活動では、用途に合わせてさまざまなソフトウェアが利用されています。

2Dモデルでは、Live2Dで制作したキャラクターを動かすための配信ソフトが利用されます。3Dモデルでは、UnityやUnreal Engineなどのゲーム開発環境を利用して高度な表現を行う場合もあります。

また、顔認識やモーションキャプチャに対応した専用アプリを使うことで、個人でも比較的簡単にリアルタイム配信を始められるようになっています。

顔だけではなく、手足や体全体の動きを再現するVtuberも増えています。

全身の動きを取得する場合は、カメラやセンサー、専用機器を利用したモーションキャプチャ技術が使われます。

例えば、手を振る動作をすると、センサーが腕の位置を取得し、キャラクターも同じように手を振る動きをします。これにより、より人間らしいライブパフォーマンスが可能になります。

すべてのVtuber動画がリアルタイムで作られているわけではありません。動画投稿では、あらかじめ収録した映像に後から調整を加える場合もあります。

ライブ配信ではリアルタイムトラッキングが中心ですが、歌動画や映像作品では、より自然な動きを作るために編集や手作業による修正が行われることがあります。

そのため、Vtuberの動き方によって、リアルタイム処理なのか、制作後に調整されたものなのかが変わります。

Vtuberの顔や表情は、多くの場合、配信者がリアルタイムでモデルを作っているのではなく、事前に制作されたキャラクターモデルをフェイストラッキング技術で動かしています。

キャラクターの制作、表情設定、モーションキャプチャ、配信ソフトなど複数の技術が組み合わさることで、自然な表情や動きを実現しています。

現在では個人でも利用できるツールが増えており、Vtuberの表現技術はさらに進化しています。