mojigumi 
Vtuber、バーチャルユーチューバーとは
キズナアイより珠根うた
Vtuber（Vチューバー）とは、主に3Dアニメーションに自分のモーションを読み込ませた擬似キャラクターで、すでにたくさん用意されているアバター（キャラクター）を選ぶことで、自分が好きなキャラクターに変身でき、擬似ユーチューバーになれる、アプリケーション、または技術の総称。2017年頃、Adobeが表情をスキャンしリアルタイムアニメーションにする「CharactorAnimator」をCCに標準搭載し、瀬戸弘司の動画など有名ユーチューバーのチャンネルで取り上げられ、ユーチューバーやデザイナーの間にも知られるようになった。余談だが、VtuberはキズナアイのA.I.Channelが有名だが、マッピング、グレーディング、柔らかい空間フォグっぽさから珠根うたChannelのが断然クオリティーの高さを感じる。
そんな中、Vtuberを動画に取り入れてほしい、という要望があったので、勉強かねて簡単なニワカVtuberをやってみた。そんな備忘録です。
Vtuber制作に必要なもの
- Webカメラ（フレームレート：30fps以上推薦）
必要なアプリ
下記いずれかのアプリ。
- facerig（基本アプリ。Windows専用／600円ほど）+ FaceRig Live2D Module（2Dイラストアバターが追加される／300円ほど）
- Adobe Character Animator（但し2D、Mac,Win両対応）
- FaceVTuber（Webアプリなので、Mac,Win両対応）⭐︎これで全部できそう
- Unitiy（要VRゴーグル、Mac,Win両対応）
- カスタムキャスト（スマホ用で手軽だが、ポーズトラッキングはできない。動画保存にはnicocasが必要）
- LIVE 2D（2Dイラストに立体的なライブアニメーションをつけるアプリで、無料体験版で1080x720px書き出し制限で使用可能）
ボイスチェンジャー
男性の声を女性の声に無料変換してくれるウェブアプリを利用。下記Webアプリが「ヘリウムガス」っぽさは否めないが、無料でまぁまぁのクオリティだった。
- UserLocal ボイスチェンジャー（コツとしては、女性らしく喋り、声質はやや優しく録音する程度に。極端な女声は出さないほうがうまくいく）
自分用プリセット
- 基本周波数：2.25
- フォルマント周波数：1.25
以上の組み合わせを使って、いくつかの制作パターンを下に紹介します。
Vtuber制作の組み合わせパターン
下に行くほど難易度が高く、お金も必要。まずは上から経験を積んでステップを進めればいい。
カスタムキャスト + UserLocal ボイスチェンジャー
ポーズは自由にとれないが、スマホで出来て一番お手軽な組み合わせ。音声がヘリウムガスっぽいが、無料だし制作費も出ない勉強用だったので、まずはこれでよしとした。
制作手順
- カスタムキャストでの録画（配信ボタンでnicocas起動しスクリーンキャプチャする）
- QuickTimesで開き、ファイル > 書き出し > オーディオ書き出し（MP4になる）
- 書き出されたMP4をAdobe Media Encorder でMP3にエンコード（変換）
- Adobe Premiereでクロマキー合成（ビデオエフェクト > キーイング > Ultra キー > Ultraキーパネルのスポイドクリックしグリーンバック洗濯）
配信時、ARカメラ設定にするとニュースのARフィリップのように、その場にキャラクターが存在するかのような動画が撮れるが、口パクトラッキングに対応しない。その代わりに「口パクボタン」が表示されるので、喋らせたいときは、口パクボタンでごまかすしかない。
ARカメラ設定でキャラクターを副司会者にする使い方
メインキャスターがニュースを読む動画チャンネルなどで、副司会者、解説者として傍にいる人物として、カスタムキャストを使える。ただ、座らせるポーズが今のバージョンにはないので、立ちポーズでの司会になってしまう。ポイントは以下の通り
- ARカメラ設定で配信（録画）スタート
- 口パクボタンを押しながら腹話術をする
FaceVTuber + UserLocal ボイスチェンジャー
理想的だが、Windowsマシンが必要。
Unity + Oculusを使ったフルスペックVtuber
必要なもの
- Oculus Rift（VRHMD）
- Oculus Touch
- Unity（パーソナル版なら無料）
- OculusUtilities
- キャラクタモデル（fbx推薦）
- MMD4Mecanim（pmxの場合）
- Final IK