FaceRig with Live2D と 恋声 を使ってみた

今、世の中の男性の間でボイスチェンジャーを使うのが流行っています。（嘘です）
テクノロジー的には新しい要素はそんなにないのですが、コンテンツとしてのブレイクスルーがもたされたと感じたので私も試してみました。
つらつらと書いておりますが、恋声で遊んでた時間が一番長いので、書いてる内容もそこだけ充実しています。
（男性がボイスチェンジャーでしゃべっている動画なので注意）

おっさん、頑張った…。やってみてわかる他の人のすごさってやつですよ
* #FaceRig with #Live2D module
* #恋声 (Voice changer)
* NETDUETTO beta2 ( Virtual sound driver)
* HandBrake (Video converter) pic.twitter.com/7gNpsm8Xr1

— nekomatu (@nekomatu) 2018年7月14日

概略

• 各種アプリケーションをインストールする
1. Steamをインストール
2. FaceRig をSteamからインストール
3. FaceRig Live 2D module　をSteamからインストール
4. FaceVirtualMicDriver をインストール
5. 恋声 をインストール
• 恋声をセットアップして遊ぶ
• FaceRigをセットアップして遊ぶ
• 恋声からFaceRigを連携させてビデオを取る
• FaceRigと恋声をSkypeと連携させて通話する

必要な道具

• Webカメラ
• ヘッドセットマイク
• Windows環境
  私はWindows 10 April 2018 Update（バージョン1803）で試しました。

各種インストール

Steam をインストール

Steamとはゲームなどを購入することができるプラットフォームです。FaceRigはSteamで販売されているプログラムのため、導入が必要です。
以下のサイトにアクセスして右上のSteamをインストールをクリックして進めます。
https://store.steampowered.com/?l=japanese

FaceRig を Steam からインストール

Steamのセットアップが完了したら、FaceRigを購入します。
Steamアプリを起動して、左上にある「ストア」をクリックし、検索ボックスにFaceRig と入力して購入を進めます。

FaceRig Live 2D module を Steamからインストール

FaceRigを購入する要領で「FaceRig Live 2D module」と検索して購入を進めます。

FaceVirtualMicDriver をインストール

このドライバーは、恋声で変換した音を別のプログラムに入力させる機能を有しています。
模式図にすると、音は次のように流れていきます。
マイク -> 恋声 -> FaceVirtualMicDriver -> FaceRigとかSkypeとか。

このドライバーは別途手動でインストールする必要がありました。
スタートボタンを開いて、以下のパスをコピペして開きます。
C:\Program Files (x86)\Steam\steamapps\common\FaceRig\Bin\prerequisites\FaceVirtualMicDriver
フォルダを開くと、「FaceRigVirtualMicDriver_win10.exe」があると思うので、これを実行してインストールします。

恋声 をインストール

作者のページからダウンロードして、ZIP展開して完了です。
http://www.geocities.jp/moe_koigoe/koigoe/koigoe.html

恋声をセットアップする

最初に遊ぶだけならば、設定を変更する必要はないのですが、設定ボタンを押すと音声遅延を「標準」から「小」に変更することができます。
つまり、喋った声がマイクを通って変換されてスピーカーから出てくるまでのタイムラグを短くできます。
自分の耳では「標準」と「小」で音質に差は感じられなかったので、「小」で問題なく動作するならば、「標準」を使う必要性はありませんので、最初に設定しちゃいましょう。
また、設定画面では録音デバイス、再生デバイスを選択することができることを覚えておきましょう。

恋声で遊ぶ

「声の高さと性質の調整」のpresetから「M->W（男性から女性）」等を選びます。
入力でマイクボタンを押すと、マイクの音が変換されるので喋ってみます。
入力中もピッチ、フォルマントのパラメーターを調整することができますから、色々試してみると良いでしょう。

最初はボイチェンっぽい音じゃん！と萎えてしまいますが、人によってはハマる組み合わせ（以後、ベストコンビネーションと呼ぶ）があります。
ハマるというのはボイスチェンジャーっぽくない自然な声に変換されるということです。

なお、やっていくと分かりますが変換の度合いを大きくする程、ノイズやボイスチェンジャー感が増してしまいます。
試しに目一杯、ピッチやフォルマントを調整してみるとどのように破綻するか傾向を知ることができます。
この問題に対応するには、元も子もないのですが、できるだけ喋る声の声質を女性っぽくしておくのがコツです。また、声質だけでなく喋り方そのものを女性っぽくしないと非常に違和感があります。最初は恥ずかしいですが、慣れなのでササッと捨ててしまうのがおすすめです。

自分で声を出し続けながらベストコンビネーションを探していると、さっきは良かったのに今はおかしい気がする…となったりします。
ベストコンビネーションを構成する要素は、当たり前なのですが、声・ピッチ・フォルマントの3つです。声というパラメーター（要素）が安定しないと、最適なピッチ・フォルマントが定まらないのは当然のことなのですが、中々気づけませんでした。

そこでおすすめなのが、音声の入力には音声ファイルを使うことです。つまり、事前に「あーあー、てすとてすと。いーいー、てすとてすと」と喋った声を録音しておきます。
恋声ではマイクボタンの横にあるフォルダボタンを押すことで音声ファイルを変換することができます。
このようにすることで、”声”というパラメーターを固定して、ピッチ・フォルマントの最適値を探すことに専念できるわけです。
しかも、恋声には無限リピート機能があるため捗ります。

リアルタイムに遊びたい場合は、どうしても声の安定化に務める必要があるためソフトウェアで解決できませんが、声を作る楽しさは十分堪能することができます。
なお、自分は小一時間遊び続けると、この声はまともなのだろうか、完成度はどうなんだろうか　みたいのが分からなくなってゲシュタルト崩壊をおこしました。恋声には変換した声をファイルに書き出す機能も備わっているので上手に使いましょう。

FaceRigをセットアップして遊ぶ

FaceRigはWebカメラがあれば簡単に遊ぶことができます。特に設定する必要もありません。
遊ぶ上ではキャリブレーションだけ覚えておきましょう。真顔になってキャリブレーションボタンを押します。
キャリブレーションを行わないと目が常に半目になってしまったり上手に顔がトラッキングされません。

恋声からFaceRigを連携させてビデオを取る

恋声とFaceRigを組み合わせてビデオを撮るためには少し設定変更が必要です。
具体的には、恋声 -> FaceRigと変換した声がFacerigに伝達されるようにする必要があります。
まず、恋声の設定にて、再生デバイスに「FaceRigVirtualMicDriver 」を選択します。次に、FaceRigの設定にて、オーディオ録画デバイスに「FaceRigVirtualMicDriver」を選択します。

FaceRigと恋声をSkypeと連携させて通話する

（需要があれば書く）

やってみた感想

やってみないとわからないことって多いなーという小学生並みの経験を得ることができました。
自分の容姿や声が変わる経験をしたことはありますか？　FaceRigと恋声を使うことで、低コストで比較的簡単に体験することができます。

地の声や容姿を直接晒すことがないため、これならネット動画上げてしまってもいいかなと思えてしまえるのも大きなポイントです。
youtuber,ツイキャス,ニコ生,SHOWROOM,TikTokとか自身をネットに晒すのが当たり前になってきている今日このごろではありますが、私はネットの世界ではロートル状態でよーやるなぁという心理的な障壁を持っています。でも、これなら良いかなと思って一番上に貼り付けてしまった通りです。
このような心理的な部分が緩和されるのは想像もしていなかったことで、何らかの可能性を感じるところです。