配信でアバター(FaceRig)に棒読みちゃん(コメント)を口パクしてもらう!

たぶん、FaceRig以外にも応用が利くのではないかと思います。

FaceRig Virtual Audioを使ってみる

棒読みちゃんでは音声出力デバイスを選択できます。これを利用してFaceRigに棒読みちゃんの音声を流してFaceRigのアバター棒読みちゃんの音声を口パクさせてみましょう。
棒読みちゃんの設定の「音声出力デバイス」に「FaceRig Virtual・・・」を選択します。 f:id:NeconoDiary:20210826174915p:plain

FaceRigの設定で「オーディオ録音デバイス」に「FaceRig Virtual・・・」を選択します。 f:id:NeconoDiary:20210826174930p:plain

「オーディオベースのリップシンクに切り替え」を有効にします。サウンドの設定でサウンドループバックを有効にします。 f:id:NeconoDiary:20210826174941p:plain

以上で完了です。

自動瞬きさせる

少し寂しいので自動瞬きも設定してはいかがでしょうか。 f:id:NeconoDiary:20210827135252p:plain

トラブル1:起動するたびに「更新する」ボタンを押す必要がある!

これ、たぶんバグ?です。 私の環境では起動するたびにデバイスの「更新する」ボタンを押さないと変なデバイスに接続されます。 これはお手上げでした。同じ現象に出くわした方は毎起動時に「更新する」ボタンを押してください・・・ f:id:NeconoDiary:20210826175010p:plain

トラブル2:棒読みちゃんにノイズが入る!

これも、たぶんバグ?です。 私の環境では、この方法では読み上げにノイズが入り使い物になりませんでした・・・ 従って違う仮想オーディオデバイスを使うことで解決としました。

別の仮想オーディオデバイスを導入する

Yamaha Syncroomというアプリケーションに入っている仮想オーディオデバイスを拝借します。

SYNCROOM(シンクルーム)- 音で繋がるオンライン演奏アプリ

元々は、離れた場所にいる人たちがリアルタイムに音楽演奏できるようにするアプリケーションです。 棒読みちゃんの設定の「音声出力デバイス」に「Yamaha SYNCROOM・・・」を選択します。 f:id:NeconoDiary:20210826175027p:plain

FaceRigの設定でオーディオ録音デバイスを「Yamaha SYNCROOM・・・」に変更します。 f:id:NeconoDiary:20210826175037p:plain

以上でトラブル2は解決できました!

サンプル:
youtu.be