VR-AR-MR-XR VTuber ブログ

1枚のイラストでVtuberに!?ツイキャスVメイカーを使ってみた!

9月 17, 2020

8月下旬に、配信サービス「ツイキャス」で有名なモイ株式会社が、新たなスマートフォンアプリ「ツイキャスVメイカー」をAndroid向けに先行リリースしました。

iOS版は執筆時点ではまだリリースされておらず、近日中に公開予定となっています。

このアプリは、なんと1枚のイラストだけでモーションが作成され、さらに可能な範囲で表情のトラッキングもするというものです。

配信アプリと組み合わせて、誰でもVtuber配信を行うことができます。

今回は、Android端末で実際にこのアプリを使ってみての感想を書いていこうと思います。
(2020年9月現在の大学生個人の感想です。感じ方には個人差があり、アップデート等で仕様が変更される場合がありますので予めご了承ください。)

アプリ概要

容量

まず最初に、アプリのデータ容量です。

何もデータが保存されていない状態では、アプリ自体のサイズは464MBでした(2020年9月時点)。

ただ、自分で画像をアプリ内に取り込み動かすためデータが大きくなりがちです。

今回、画像を4つほど取り込みモーションを保存した段階で1GB近くになりました。

ストレージには余裕をもってダウンロードすることをお勧めします。

特徴・用途

次に、冒頭でも少し触れたアプリの特徴と用途を詳しく見ていきます。

この「ツイキャスVメイカー」は、イラスト1枚からVtuberのようなモーションをAIが作成し、それを動かすことができるアプリです。
内カメラで顔を認識し、アプリでトラッキングをしてくれます。

使用用途としては、1枚絵をアニメーションで動かすことがメインです。
他のアプリと併用して使うことでのVtuber配信が可能です(後ほどまた述べます)。

また、それを利用して自分で作成した(描いた)イラストを動かすという使い方もできます。
アニメーション付きの画像をツイッターに投稿する機能もあるので、「配信はしないよ」という人でも使えるものとなっています。

実際に使ってみた

イラストを動かす

それでは、実際の画面のスクリーンショットを入れながらレビューしていこうと思います。

早速起動してみると、タイトルが表示され……

これがメイン画面のようですね。
あちこちにボタンがありますが、ひとまず後回しにします。

初めてなので、画面中央下の「メイカちゃんを動かしてみる」を押してみます。すると、

キャラクターが出てきました! この子がメイカちゃんというらしいです。

では、このイラストを「モーション生成」で動かします。

AIがモーションを自動作成してくれます。
約10分とありますが、実際にかかった時間は15分弱でした。

早くもなければ遅くもない……というのが率直な感想です。
しかし、1枚絵を15分で動かせると思えば、かなり早いほうだと思います。

処理が終わるとすぐに、イラストが生きているかのように動きます。

絵が少し横を向いて、口を閉じているのがわかります。
カメラで私の顔をトラッキングしているようです。

なお、まばたきは自動でします。

下の「撮影」ボタンでアニメーションを再生できます。

見ていると、口のモーションが少し変だと感じる方もいるかと思います。
しかし、後述する配信ではキャラクターは小さくなるので、口元はあまり気になりません。

このような動く画像は「撮影」の中の保存ボタンでダウンロードできます。

なお、ダウンロードしただけでは1~2秒動いて止まってしまうので、上の画像は編集してループさせています。

また、「撮影」からツイッターに投稿することもできます。
(最初のメイン画面右上のツイッターマークでもツイートできるようです)

 

では次に、実験として自分で用意した画像を動かしてみます。
このアプリで動かせる絵には色々な条件があり、

  • 256×256の透過Bitmap,PNG
  • 背景が透明のバストアップ(胸より上)画像
  • 色付きで口と目が開いている

この3点が前提となっています(結構イラストが限られます)。

私自身あまり絵が上手い方ではないので、今回は簡単に画像が用意できる「Waifu Labs」(https://waifulabs.com/)を使用しました。
イラストデータを組み込んだAIが女性のイラストを自動生成するというサイトです。

急遽作成したイラストはこちら(ロゴが入っていますが気にしないで下さい)。

これをメイン画面の「イラスト選択」からアプリに取り込み、動かします。
最初から用意されているものではないため、処理が終了するまで約18~20分かかりました。
先程のメイカちゃんと比べると遅く感じますが、これはアプリの中で膨大な量の処理を行っていると腹をくくるべきですね。

実験の結果、上手く動かすことができました。
まばたきや口のモーションも違和感はほとんどありません。

しかしながら、顔の認識には今のところ限度があるようで……
それが顕著に現れたのは、有名ないらすとや(https://www.irasutoya.com/)のイラストを実験として使用したときです。

 

頭や目は動いてくれたのですが、口が上手く動きませんでした。

シンプルな絵柄だからといって、精度が上がるというわけではないようです。

配信

イラストを動かした後は、いよいよ配信に入ります。

今回はツイキャスシリーズの「ツイキャス ライブ」を使用します。

ゲーム専用の「ツイキャス ゲームズ」でも同様にできるようです。
※他のゲーム配信アプリは、別にアバターが作成できたり、ツイキャスシリーズを使う場合よりも面倒になってしまうので割愛します。

まず実験としてメイカちゃんを使い、配信するまでの流れをやってみます。

ここで注意しておきたいのが、Vメイカーを操作する前に、配信アプリのスクリーン配信を始められる状態にしておく必要があります。
正直に言って、この操作は初見じゃわかりにくいのではと思いました。

Vメイカーに戻り、右上の「配信する」ボタンを押すと、

このようにツイキャスアプリの画面に移動します。

ちなみに、ツイキャスアプリをインストールしていない場合は、単に自分のスマートフォンの画面にキャラクターが登場するだけとなります。

後は、自分の配信したいゲームに移動し、ツイキャスアプリの「配信開始」ボタンを押せば、画面にキャラクターを映したまま配信することができます。

このようなイメージです。
(今回はゲーム画面をGoogleの検索フォームで代用しています)

※配信時のキャラクターの動きですが、スムーズに動くとまではいかないです。
スマホのスペックにもよりますが、サンプルのGIF画像と同じかそれよりも低いフレームレートしか出ませんでした。

総評

今回、実際にツイキャスVメイカーを使ってみて、完璧とまではいきませんが、誰でもVtuber配信ができるという点では良いアプリだなと思いました。
(別アプリは必要ですが)

改善点を挙げるとすれば、もう少し目や口の判定精度を上げてほしいといったところでしょうか。

なぜなら、現在(2020年9月)のアプリの精度だと、前述の条件を満たしているイラストでもうまく動かない場合があるからです。

私が実験でWaifu Labsの他のイラストを使用したとき、まばたきや口の動きが中途半端で不自然になってしまう事例がありました。

また、イラストのデータ量が多いと、アニメーションの処理中にスマートフォン自体が重くなってしまうことが多かったです。

しかしこれは、筆者の端末が2017年(3年前)のモデルで読み込みが少し遅いというのがあり、アプリの問題とは言い切れません。

最新の機種でどうなるかは未検証な為わかりませんが、比較的古い機種の方は「う~ん」となるかなといった具合です。

他にもより良くなりそうな点が沢山あるので、これからのアップデートを大いに期待しています。

おわりに

いかがだったでしょうか。

動くはずのないイラストが動く、と聞くと惹かれるものがありますね。

ぜひ、絵師さんなどにも利用してもらいたいです。

気になったAndroid端末の方はぜひ一度インストールしてみてはいかがでしょうか。

iPhone,iPadの方も、近日公開となっていますのでぜひ頭の片隅にでも入れておいてくれればと思います。

それでは、最後までお読みいただきありがとうございました。

 

AR, VR. XR の活用やMicrosoft Holo Lensを活用した建築業向けソリューション

GyroEyeに関するお問合せはこちら

※株式会社インフォマティクスのGyroEye公式サイトへ

スマホブラウザで、施設内インドアの経路案内や店舗案内がダイナミックに!

施設内のデジタルトランスフォーメーション・スマートシティ化に関するお問い合わせはこちら

※株式会社インフォマティクスのインドアマップシステムMappedin(マップトイン)公式サイトへ

-VR-AR-MR-XR, VTuber, ブログ
-, , , , ,

© 2020 IoTプロトタイピング・VR・AR・Unity メディアラボ