世界崩壊少女『初希アイ』　開発備忘録：その６　動画生成の人間登場しちゃう問題をどうするか

世界崩壊少女『初希アイ』　開発備忘録：その５　動画生成と全モジュール削除、他
オープンテスト期間中の開発記としては今回最後です、たぶん。動画生成に挑戦　２４日の月曜の朝、何の気なしにXを見ていると、初希アイのイメージにかなり似ているキャラクターの動画を見つけました。これすごくいいな。うちの世界崩壊少女の娘もこれくらい...
hyogokurumi.com
2025.02.28

　クローズテストの開発記は、１本目です。書くつもりなかったんですが何をしたのかわからなくなるのが不安なので書きます。

 

動画にノイズをつける

　動画生成のプロンプトに四苦八苦しながら、映像の生成に関して安定してできる部分との境目が見えてきました。映像を生成することに加えて、そこにノイズなどのエフェクトを加えてもらおうとすると絶望的に反映されなくなります。

　何度もテストを繰り返せば道が見えるかもしれませんが、お財布事情的に無理なので、エフェクト自体は別処理でつけることにしました。

　その後、どうせ環境サウンドしか作らない、という理由でサウンド生成大臣だったElevenlabsをリストラし、Numpyモジュールとランダムモジュールを組み合わせて毎回違ったノイズサウンドを生成させることにしました。

　MinimaxやElevenlabsのAPI実装の時に、Lolipopで使えるモジュールの見当がつくようになったので、ここは思いのほかサクッと完成。

　モノクロ加工後、VHS風に画質をぼやっとさせたあと、フレーム毎に分割してランダムで画像を部分的に劣化させ、最後にサウンドを合体しています。

　この動画ノイズ実装に合わせて画像にもノイズをつけることにしました。

 

　これで別の世界線からの投稿感がより現れたと思います。

　エフェクトに関しては想像力を絶やさず、今後も見直して行きたいですね。

 

InstagramとYOUTUBEにもアップ

　世界崩壊少女の初希アイはXに投稿しているという設定ですが、もう少し露出を増やそうということで、インスタとYOUTUBEにもアップすることにした。

　インスタは画像。動画もアップできるけどそれは追々。

Instagram
www.instagram.com

 

　YOUTUBEは動画担当。今はクローズテストで生成した動画の中でできがよかったものだけ。

平極ルミ
御アクセスありがとうございます。こちらでは自作の動画・サウンドや、世界崩壊少女『初希アイ』にて生成した動画などを紹介します。
www.youtube.com

　YOUTUBEは手動ですが、インスタはAPI経由でアップさせています。トークンの取り方が発狂しそうになるほど面倒だったので、やるつもりの人は時間がたっぷりある時にやるといいですね。

 

人が生成される問題

　こうして着々と4月の本番稼働に向けて開発が進んでいるわけですが、いまだに解決できていない問題があります。それが動画の人間登場問題です。

　minimaxの動画生成には”prompt_optimizer”という項目があり、これを “= false”にすると指示に対して厳密に生成するようになります。Trueだと指示を柔軟に解釈して、言葉足らずな部分を最適解で仕上げてくれる感じです。ほとんどの人にとってはTrueのほうが都合がいいのでしょうが、人類が滅亡した世界＝人が登場しない映像、という制約がある私の方はFalseにしています。

　WEBの動画生成フォームにも同様のスイッチがあり、オフにすることでFalseと同様の効果が得られます。

　昨日生成した時は上記のポストのようにうまくいっていたんですが、今日やって見たらやっぱりダメでしたね。

　これを攻略するのが最終的な課題になりそうです。

 

今後のこと

　動画は画像のように、解析してNGラベルを見つけて弾くことができないです。
　やるとしたらフレーム単位で画像ファイルにして、GoogleVisionに突っ込む方法ですが……、

  • 全フレームに対してやると無料枠を超える
  • じゃあどうやって解析必要箇所のフレームだけ選定する？

　と、課題があります。そこまでできれば、人が写ってるシーンの画像だけ外して動画に戻す、という方法がとれるのですが……。

コメント

スポンサーリンク
タイトルとURLをコピーしました