見出し画像

Facebookらが取り組むファッションAI「Fashion++」、最小の工夫でオシャレにみせる

コーディネートを考える際、色の組み合わせやトップスとボトムスのバランス、シャツをインするかしないか、どうしたらお洒落にコーディネートできるか悩んだ経験はないだろうか?

このような誰もが抱えるコーディネートの悩みをAIで解明した論文「Fashion++」がFacebookから発表された。

Fashion++とは?

画像1

Image Credit : Fashion++

コーネル大学、ジョージア工科大学、Facebook AI Researchの研究者らが発表した論文「Fashion++」は、ニューラルネットワークを用いた画像生成システムを利用し、コーディネートを認識し、シャツを入れた方がいい、アクセサリーを外したほうがいいなど改善方法をレコメンドするシステムだ。
研究の特徴的なポイントは、小さな変更でファッション性を大幅に改善すること。

研究者は、CHANEL(シャネル)の創設者兼デザイナーであるCoco Chanel(ココ・シャネル)が「Before you leave the house, look in the mirror and take one thing off.(家を出る前に、鏡を見て身につけているものを1つ取りなさい)」と提唱しているように、小さな変更でファッション性に大きな影響を与えられると考えた。

今回の論文では、AIをファッションコーディネートで活用する時の技術的な課題にも取り組んだ。
例えば、レコメンドを実現するためには、優れたコーディネート画像と劣ったコーディネート画像の組み合わせを学習させる必要があるが、このようなデータは入手しづらく、流行もすぐに変わるため情報が古くなってしまうこと。またデータが入手できたとしても、コーディネート画像間の微妙な違いを識別し、衣類を特定し、どのような微調整をすればコーディネートが改善されるか判定するのが難しいということだ。

Facebookがとったアプローチ方法

Fashion++は15,000以上のファッション画像でトレーニングを受けた画像生成システムで合成されているエンコーディングに基づいて動作した。

学習はファッション性の高い画像を自動的に取得し、ブーストラップ法を用いて複数の画像をランダムに書き換えたサンプリングを行う。そしてファッション性の低い画像を取得し、比較結果を学習していった。
ブーストラップ法のメリットは3つある。1つは、少ない画像から複数のデータを取得でき、流行のような新しいインプットデータに対応しやすい点。次に、パート毎に分割した特微量を抽出する事で効果的にわずかな違いを逃さず学習できる点。最後に、今回の論文ではカタログから持ってきた写真から学習しているのだが、その人に合った細かい外見表現を学べる点だ。

画像2

Image Credit : Fashion++

例えば上記の画像のように学習していった。左画像はカタログからもってきたファッション性の高い画像で、右画像はある画像の私服をランダムに書き換えた正解コーディネートから距離が遠い画像。このようにカタログ画像との距離を学習することでファッション性の高い変更を学習していった。

画像3

Image Credit : Fashion++

Fashion++ は、2つのフォーマットでアウトプットを提供。1つ目は提案内容に最もマッチする衣料品の在庫検索結果。2つ目は、ファッション性を改善したAIから生成されたコーディネート画像だ。パターン、色、形、フィット感などを考慮し、研究者らは各衣類の入力を基本的な生地や形の構成要素へと因数分解。コーディネートを改善するために変更すべき場所や変更する必要がない場所を特定した。例えば、シャツの形はそのままで色を微調整するなどだ。

92%の人がコーディネートが改善されたと回答

AIでコーディネートを改善した後は、ユーザーにFashion++を用いたコーディネートの改善案を見せ、どのように変化したかインタビューした。インタビューの際、Fashion++によって変化の度合いをK=1〜6で分割された(a)〜(f)の画像を用いた。

画像4

Image Credit : Fashion++

結果は、「(a)ファッション性が改善されているか(Yes or No)」において、92%の人が改善されていると評価した。

画像5

Image Credit : Fashion++

研究者らは、これらの結果を見て前途有望と考えており、今後はInstagramなどのSNSの画像や在庫がある商品を参考にしながら、個人の好みや着用場面に応じてレコメンドができるようにしたいと語っている。

AIを用いたコーディネート提案の可能性

今回のFashion++の結果から、「オシャレとは何か」について数値化すること、AIを用いてコーディネートを改善することが可能であることが示唆された。
今後SNSや在庫のある商品を参考にレコメンドすることも視野にいれていることから、将来、自分のコーディネートに対して、「今日は会議だからシャツをズボンに入れたほうが良い」などとAIが細かいアドバイスをしてくるようになるかもしれない。


ーーー
ZOZO研究所では、ファッションに関する研究を行っております。
ZOZO研究所に関してはこちら

この記事が気に入ったら、サポートをしてみませんか?気軽にクリエイターを支援できます。

ありがとうございます!次の記事も楽しみにしてて下さい!
6

ZOZO FashionTechNews

国内外のファッション×テクノロジーのニュースを、ZOZO研究所が独自の視点で発信していきます。ZOZO研究所→https://research.zozo.com/ #ファッションテック
コメントを投稿するには、 ログイン または 会員登録 をする必要があります。