キャラカメ（仮）では、2026年12月頃を目標とするメジャーアップデートに向け、より自然な口の表現を目指した開発を進めています。

現在は、PCツールで口形や感情表現を調整

現在は、PCのキャリブレーションツールを使って、口形や感情表現の反映具合を調整する方式です。利用する方やアバターに合わせて設定を調整し、表情を伝えやすくしていきます。

映像に加えて、音声からも口の形を考える

さらに口の表現の精度を高めるため、音声から「あ・い・う・え・お」の母音を推定し、アバターの口形へ反映する取り組みも進めています。

カメラに映る口の動きだけでは捉えにくい違いを、音声の情報も使って補うことを目指しています。会話の内容を文字にする機能ではなく、話しているときの口の表現につなげるための検証です。

母音推定 OFF / ON を比較

同じ評価用サンプル動画と同じアバターを使い、母音推定をOFFにした場合とONにした場合を確認しました。それぞれの動画は、左に評価用サンプル動画と検出点、右にアバターを並べたSBS映像です。

母音推定 OFF

母音推定 ON

※掲載用の映像は無音です。母音推定ONの検証では元の音声を使用しており、検証後に掲載用コピーから音声トラックを除いています。

口が動かないのに、話している？

音声と映像を別々の手がかりとして扱うと、「口はあまり動かないのに、声は聞こえる」という場面も気になります。腹話術のような話し方では、アバターの口はどう動くのでしょうか（笑）。

映像の口形と音声からの推定が異なるとき、どのように組み合わせれば自然に見えるか。こうした点も、今後確認していきたいテーマです。

自然な表現を目指して、検証を続けます

今回の比較は開発中の動作確認例です。母音推定の精度向上や、どのような話し方でも正しく口形を反映できることを保証するものではありません。

PCツールによる調整と音声からの母音推定を活かしながら、より自然に表情が伝わるキャラカメ（仮）を目指していきます。

※開発中の内容のため、提供時期や仕様は変更になる場合があります。

動画内の3Dアバターには、VRoid Hubで公開されているモデルを使用しています。各モデルの権利は、それぞれの制作者に帰属します。