VR-AR-MR-XR VTuber

ディープラーニングを活用して低コストでLive2Dアバターを量産する【商用可】

お久しぶりです。山形大学VR部代表、ライターのたーかぎーです。

最近は動画制作とLive2Dを用いたVTuber制作にのめり込んでおりまして、記事執筆の期間が空いてしまいました。

今回はそのLive2D技術に取り組む中で、低コストでバーチャルアバターを量産する制作フローを確立したので、その手法を公開したいと思います。

商用利用可能な方法となっておりますので、「社員の福利厚生で2Dアバターを支給」「カスタマーサービスを2Dアバターで」など様々な活用が可能になってくるのではないでしょうか。

全人類二次元化の野望を少しでも実現できるよう、みなさんも私に力を貸してください!

ステップ1 AIキャラクターメーカーで画像生成

Live2Dイラストを作成する素材として、AIキャラクターメーカーというソフトを使用します。

精度が高い画像生成AIのなかでライセンスがいちばん使用しやすいです。

Boothで2500円で販売されています。

zipファイルを展開すると chara_maker.exeというファイルがあるので、それを実行します。

最初に単体出力と一括出力が選べますので、好きな枚数を出力しましょう。

感覚として、100枚以上出力すれば自分の好みにあうキャラクターが生成されると思います。

キャラクターデザインにこだわりたい方は枚数を増やしましょう。筆者は8000枚くらい出力しました。

出力にかかる時間は、PCスペックにもよりますが1枚あたり数秒です。

ステップ2 アップコンバートとノイズ低減

お気に入りのキャラクターを見つけたら、解像度と画質を上げる処理を行います。今回は waifu2x を使用しました。マシンリソースを入札制で購入している関係で、ブラウザ版はたまに接続できなくなるので、そのときはGitHubから実行ファイルをダウンロードしてローカルで動かしましょう。

今回はこんなかんじで処理を行いました。

ステップ3 画像編集ソフトで加工

色ムラや左右バランスの修正をしたり、線を整えたりとレタッチを行います。余計なパーツを消したり切れてしまっている服や髪の毛のパーツも描き足します。

パーツごとにレイヤー分けをして、Live2Dで動かす準備を整えます。

後で切り抜きやすいように、ブルーバックも追加しておきました。キャラクターの手前に円形で切り抜いたブルーバックを入れて背景のブルーバックとはさむことで、クリッピングの表現もできるようにしました。このレイヤーにキーフレームを設定すれば、クリッピングの形もLive2Dパラメータとして処理できますね。

ステップ4 Live2Dパラメータの設定

Live2Dパラメータをゴリゴリ設定していきます。今回は低コストがテーマということで、Y軸やZ軸の動きは省略してZ軸のみ設定しました。

psdファイルをLive2Dに読み込んで、パラメータを設定したら組み込み用ファイルに書き出すだけです。

ちょっとだけ絵心が必要な作業ですが、イチからイラストを描くよりは敷居は低いと思います。

ステップ5 アバター操演ソフトに読み込む

Live2Dが対応しているソフトはたくさんありますが、iPhoneを持っているなら VTube Studio がオススメです。

基本的にどのソフトも指定フォルダに組み込みファイルを置いて読み込む流れは共通です。自分の表情の特性にあわせてパラメータの倍率を調整することでより精度の高い表情操作ができるようになります。

なお動いている様子はこんなかんじです

制作フローとしての評価

ここまでの作業はPhotoshopのペンタブ作業やLive2Dに習熟していれば2,3時間でできそうでした。私個人の技量はもう少し磨く必要がありますが、オリジナルLive2Dアバターを量産する制作フローとして十分に現実的であるという知見を得ることができました。

欲を言えば、もう少し画像生成の精度を上げたり、レイヤー分けやLive2Dのパラメータ付け作業を効率化するような技術の進歩に期待したいところです。

低コストでアバターを制作できることで、アバター活用の幅はどんどん広がっていくと思うので、ぜひこの文化がもっと多くの分野に普及して欲しいですね。

それでは、みなさんもよき美少女ライフを!

 

AR, VR. XR の活用やMicrosoft Holo Lensを活用した建築業向けソリューション

GyroEyeに関するお問合せはこちら

※株式会社インフォマティクスのGyroEye公式サイトへ

スマホブラウザで、施設内インドアの経路案内や店舗案内がダイナミックに!

インドア空間のスマートデジタル化・AR活用はこちら

※株式会社インフォマティクスのインドアマップシステムMappedin(マップトイン)公式サイトへ

 

-VR-AR-MR-XR, VTuber

© 2021 IoTプロトタイピング・VR・AR・Unity メディアラボ