項目

• AIで創作物を作る
• 実験1「ドット絵を作成する」
• 実験2「写真をドット絵に変換する」
• AIに創作させた結果

AIを使ってゲームの素材を作る（その1）

AIで創作物を作る

AIで生成物を作る方法はアルゴリズムによって異なりますが、サンプリングとマッピングから成るモジュールを機械学習で作っていくのが、だいたいの流れです。

今回、挑戦するのはゲームでお馴染みのドット絵です。
ドット絵は、エディタを使って、1ピクセルずつ色を埋めて絵を作っていくのが正しい描き方です。
地道で根気がいる作業なのでAIに描いて貰う方法を模索します。

やりたいこと

カメラで撮影した写真をドット絵風の画像に変換して手軽にゲームの素材を作る。

イメージ

目標の確認
既に、ドット変換アプリやWebサービスなるものがあったので、試してみた。

コレジャナイ感が有ります。
要するに、ドット絵風の画像にする為には、 色数や画素数を下げる画像処理では無く、 デフォルメを含む変換が必要なのでは無いかと思われます。

実験1「ドット絵を作成する」

別名「image to image（画像から画像）」とも呼ばれる GAN（敵対的生成ネットワーク）の派生アルゴリズムを使って、写真の変換を試みます。
この方法では、生成ネットワークに対して、乱数（ランダムな数字）と入力値（この場合は写真）を与え、出力画像が目標（ドット絵）に近づくように学習します。

学習用データ80セットで丸一日学習させた結果

テスト用画像（元の写真）

テスト用画像（変換後）

滲んだだけのような・・・・

実用サイズに縮小しても、

クイズ「左は何バーガーでしょうか？」

ぐらいにしか使えません。

実験1は没です。
データを増やしたりパラメータを触ると改善が期待できそうな気配もしますが、
とにかく、この方法は学習用の画像のセットの用意に非常に手間がかかる為、保留にします。

実験2「写真をドット絵に変換する」

Style Transferと呼ばれる方法を使用すると、 AIを使って画像から特徴量をスタイルとして抜き出して、他の画像に転用することが出来ます

下記のサイトでは、アップデートした画像でStyle Transferを試すことが出来ます。（変換できる画風は限定）
https://deepart.io/

AIに創作させた結果

Style Transferを使って、ドット絵から特徴量を抜き出して写真に適応させた結果がこれ

左側の木が写真を変換して作成した素材ですが、変な木です。

Style Transferは、元の画像から作成したテクスチャをターゲット画像に適応させているだけなので、加工効果が限定的です。

ドット絵感を出す為に、さらに試行錯誤は必要ですが、実験1と比較すると、変換に必要な時間は10分の1、 かつ、機械学習用データの前処理が不要になるので、実用的と言えます。