2023.10.15

Wonder Studioで顔に表情をつける方法！モデルの作成方法を詳しく解説

ryo

AIの力で実写の映像から人物の映像を解析し、3Dモデルに置き換えるツール『Wonder Studio』。Wonder Studioは人物の動きのみならず、顔をトラッキングして表情をつけることも可能です。しかし、そのためにはモデルの制作が必要など敷居が高く、英語での解説しかない状況です。

ここでは、Wonder Studioで顔に表情をつけられるように、モデルの作り方について詳しく解説していきます。日本語での解説はほとんどないため、Wonder Studioを使用している、これから使用したいと考えている人はぜひ参考にしてください。

Wonder Studioの基礎知識
Wonder Studioで顔に表情をつけるには？
1. 表情付きモデル(FACS)の作成
Wonder Studioに対応した表情付きモデルの作成方法
1. 方法①editモードでシェイプキーを作る
2. 方法②フェイスリグ付きのモデルを活用する
表情付きモデルが作成できない...Wonder Studioが上手く使えない方へ
Wonder Studioを活用してCGキャラを実写に

Wonder Studioの基礎知識

そもそもWonder Studioとは、実写の映像から人物の動きを解析し、用意した3Dモデルにモーションを当て込むことでCGキャラクターを実写合成できるツールです。

Wonder Studioでできることや料金、使い方については別の記事で解説しています。まずはこれらの記事を読み込んでツールの知識を深めてみてください。

Wonder Studioで顔に表情をつけるには？

Wonder Studioではフェイストラッキング（顔認識）が可能になっており、人物の表情を3Dモデルに投影することができます。つまりは、表情までもがCGキャラクターで再現することが可能なのです。

なお、カメラの位置が遠すぎると上手くフェイストラッキングが機能しないことがあります。しっかりと表情を映すことを意識して撮影することが重要になります。
そのためにも、4Kで撮影するなど、解像度の高い映像が望ましいでしょう。

表情付きモデル(FACS)の作成

Wonder Studioで顔に表情を付けるには、表情付きのモデルを用意することが必要です。表情付きのモデルを作り込んでいくことを「FACS (facial action coding system)」と呼びます。日本語だと「顔面動作符号化システム」と呼びます。

このシステムは、簡単にいうと表情のパターンをあらかじめ作成しておき、映像の表情に応じてそのパターンを組み合わせて表情を再現するものです。
パターンは90通りで、例を挙げると「右を見ている表情」「左を見ている表情」「困っている表情」など、様々です。

FACSのパターン

表情付きモデル(FACS)のパターンは次の通りです。
パターンの詳細については、Wonder Studio公式が提供しているページをご確認いただくと良いでしょう。

引用元：Creating Facial for Characters

モデル作成時の注意点

前述の通り、パターンとしては90通りですが、必ずしも全てのパターンを揃えないとできないというわけではありません。必要なパターンのみを作成しても問題ありません。

たとえば、一切笑わないようなキャラクターであれば口角が上がっているような表情は用意しなくても良いのです。

ただし、当該キャラクターの特徴的な部分に関しては手を抜かない方が良いでしょう。
例を挙げると、目が大きくてたくさん動くようなキャラクターであれば、目の表情パターンは全て揃えるなどです。

Wonder Studioに対応した表情付きモデルの作成方法

ここからは、FACSに則った表情付きモデルの作成方法について具体的に解説していきます。
そもそも本体のモデルを作成していないという方は、下記の記事を参考にモデルを作成してみてください。あくまで、本記事では表情のモデルに着目して解説していきます。

方法①editモードでシェイプキーを作る

以降、Blenderでの操作に関しての解説になります。
最初にご紹介するやり方はリギングされていない場合のものです。フェイスリグまで完了している場合は、次項で解説するやり方をおすすめします。

シェイプキー「Basis」の作成

Basisまずは編集したい顔を選んで1つ目のシェイプキーを作成します。そもそも、シェイプキーとは動きを記録するもので、目がどう動いたか、眉毛がどう動いたかなど、顔の表情の変化を記録するものです。
無表情の状態のシェイプキーを作成し、それを「Basis」と命名します。

表情モデルのパターン作成（例：左眉毛内側が下がる）

次に新しくシェイプキーを作成します。それを「browInnerDnL」と命名します。これは左側の眉毛が下がる動作のシェイプキーです。
（これは先程のWonder Studioが定めるFACSの最初に記載されているものです）

editモードに移り、左眉毛の内側を下げるように操作します。単一の頂点のみの操作になってしまうため、Proportional Editingモードで周辺の頂点もまとめて下げるように操作しましょう。
このとき、眉毛をどれくらい動かしたかを具体的な数値を確認しておくことをおすすめします。反対の眉毛のダウン動作を作成する際、同じ値だけ下げるようにすると、両眉毛の動きが対象になります。

作業が完了したら、作成した「browInnerDnL」のValueの値を上げてみて、動作に問題がないか確認してみましょう。

ひたすらパターンを作成する

次に新しくシェイプキーを作成します。後は手順2と同様に表情のパターンを作成していきます。

保存

全て完了したら保存して終了です。

方法②フェイスリグ付きのモデルを活用する

次にご紹介する方法はフェイスリグ付きのモデルを活用する方法です。シェイプキーでの作業だと、たとえば目を動かす場合は目に関連する頂点を全て選択する必要があり、やや手間に感じるでしょう。
フェイスリグが組まれていれば、このやり方で行ってみてください。

オブジェクトの統合

Wonder Studioでは、FACSのシェイプキーを入れたオブジェクトを1つしか認識できません。なので、1つに統合することが必要です。
顔に関するオブジェクトが複数個に分かれている場合は、それらを選択して統合しましょう。統合は「ctrl+J」で可能です。

そして、統合したオブジェクトにはWonder Studioで決められた命名規則によってオブジェクト名を変更しましょう。
「(モデルの名前)_FACE」という名前です。後ろに「FACE」というタグをつけることで、Wonder Studioで認識できるようになります。

シェイプキー「Basis」の作成

シェイプキーで作成する方法と同様に、無表情のままの「Basis」のシェイプキーを作成しましょう。

表情モデルのパターン作成（例：左を向く目）

Poseモードに切り替えて、目のボーンを選択します。この時、それぞれの目のボーンの重心を変えずに独立させて動かしたいので、Individual Originsで選択するようにしましょう。
選択したボーンを動かして、両目が左を向くように調整します。

ひたすらパターンを作成する

あとは同じようにパターンを作成していきましょう。
前の作業によって、ボーンが動いたままになっているので、毎回最初の無表情の状態に戻す必要があります。動かしたボーンを選択した状態で「alt+R」を押すことで、Rotationをリセットできます。なお、位置のリセットは「alt+G」でリセットできます。
必ずリセットしてから作業するようにしましょう。

保存

全て完了したら保存して終了です。

表情付きモデルが作成できない…Wonder Studioが上手く使えない方へ

表情付きモデルを作成することは中々骨が折れる作業です。また、モデルの制作に失敗すると、当然Wonder Studioでは動作しない上、モデルの動作確認のために割り振られているクレジットを消費することになります。

Team HENSHINではWonder Studioでお困りの方のサポートを行っています。
表情付きモデルの制作からツールの使い方のレクチャーなど、柔軟に対応可能ですので、お気軽にご相談ください。

※ Wonder Studioの公式サポートというわけではありませんが、公式が日本語でサポートできないため、我々がツールを広げる意味も込めてサポートしています。

Wonder Studioを活用してCGキャラを実写に

Wonder Studioは実写合成を手軽に行うための革新的なツールです。CGキャラクターに表情を付けることで、よりリアルな演出が可能です。昨今人気のVtuber動画も、これまでよりも楽に制作することができるでしょう。
ぜひWonder Studioを活用して、コンテンツの幅を広げて行ってください。

お伝えした通り、Wonder Studioでお困りの方はTeam HENSHINにご相談ください。3DCGに精通したプロスタッフが在籍しているため、様々なアドバイスが可能です。
場合によっては、Wonder Studioの使用が最適解ではないこともあるため、その点も踏まえてご回答させていただきます。

#Wonder Studio

この記事の監修者