DeepLabv3+でSpaceCatを作れるのか

先日ipythonでDeepLabを動かすところまで行きましたが、これではPILで画像生成まで実行されてしまうため、そのセグメンテーション結果を何か他のものに応用しづらいという問題がありました。引き続きピクセル単位の情報を使えないか調べていました。

結果としてそれらの情報を使って、画像内の対象物(例えば猫だとか人間だとか)を切り抜いた画像を生成できたのでメモとして残しておきたいと思います。

セグメンテーションの結果はどこにあるのか

まずdeeplab_demo.ipynbの中身を見ていくとvis_segmentationという関数があり、この関数でセグメンテーションの結果をヴィジュアライズしていそうな気がしました。

その関数が引数で受け取っているseg_mapという変数の中身を出力してみると、

どうやら規則的なデータに見えます。

すごい量ですが、さらに下の方を見ていくと2と15という数字が出てきます。
この時実行した画像がサンプルの自転車に子どもが乗っているもので、この数字は人間と自転車を示していると気がつきました。
LABEL_NAMESの2番目のbicycleと15番目のpersonがこれらに該当します。

スクリーンショット 2018-04-03 12.41.37

vis_segmentation関数の最初の方にseg_mapの配列をcsvファイルとして保存するように記述します。

これでピクセル単位の情報を外部に出せます。

phpやimageMagickと連携するには

つぎにipython上で実行していたものをコマンドで実行できるようにします。
.ipynb形式を.py形式に変換するコマンドがあるので、それを使ってpythonファイルを作ります。

pythonで実行を確認できれば問題ありません。

deeplab_demo.pyを実行して取得したセグメンテーション結果を元にimageMagickでマスク画像を作りマスク画像でオリジナル画像を抜き取ります。
imageMagickの使い方は他記事で紹介するためここでは省きます。
phpのexecコマンドでpythonとimageMagickを実行しました。

結果がこちら。

momo

momo_mask

momo_out

ももさんとその周辺がアルファな画像ができました。
これをNASAのかっこいい宇宙の画像と重ねて、

stscihp1721af5290x5290

自動でSpaceCatのコラ作れるようになりました!

そのうちSPACE CAT GENERATORに使いたいなーと思っております(゜-゜)

●この記事を書いた人