【AI】コーデの写真から似ているコーデを探したいという要望&テキストから写真を検索したい！をAIを使って叶えてみました

みなさんこんにちわ！
あっきーです。
vintyが公開されてそろそろ一周年！
色々機能改善を求められますがVINTY運営からこんな要望がありました。
アプリ内要望

• コーデの写真から関連したコーデものをとってきたい！
• テキスト検索で写真を検索したい！

なるほど、確かにコーデ詳細の情報量が少ない、、、

重い腰を上げて、、、

やるたいこと

• テキストベースの関連画像検索
• 画像ベースの類似画像検索

とりあえず、画像をベクトル化して検索しやすくするよー

やること一覧
phase 1: モデルの検証
phase 2: AIサーバーの方でモデルとの繋ぎこみ
phase 3: VINTYサーバーの方でAIサーバーとの繋ぎこみ
phase 4: インフラ構築
phase 5: 写真をベクトル化して本番流し込み
phase 6: アプリ側でサーバーとの繋ぎこみ
phase 7: 検証

これでやっていこう

phase 1: 半日~
さー検証開始や🔥
モデル選定しpythonでサクッとベクトル化して、選定したVectorDBに挿入！
実際に検索やってみると動いとる、、、これでいけるっぺ

phase 2: 丸一日~
pythonゴニョゴニョ....✏️
FlaskでRepository層作成してdockerサーバー用意

phase 3: 丸二日日~
goゴニョゴニョ....✏️
Repository層作成してflaskとの繋ぎこみ

※docker間で通信ができなく詰まって調べたら
http://localhost:5001では使えないので代わりにhttp://host.docker.internal:5001
こういうところでよく詰まる、、、しょうもない...

phase 4: 丸一日~
さーここからが本番だ😈
aiサーバー落として、CodeDeployしたらなんとCPU使用率１００％...
サーバー動かなくなって操作できないので強制停止コレコレ4回ぐらいこの状態

t2.microのの限界か...


とりあえず、スペックてt2.smallでチャレンジ・・・・
だめだ、、、100%になってしまう
結果的にt3.mediumに落ち着いた費用四倍高いインスタンス><
圧倒的にCPUのスペックが必要だったっぽい

phase 5:
ボタン押すだけ
10分ぐらい流し込んでおしまい！

phase 6: ３h
flutterゴニョゴニョ✏️

phase 7: 検証


のコーデから

が検索結果！！
ちゃんと花柄検索できてるけどやっぱりコーデは背景とか影響してしまうから微妙....

次は切り抜いてベクトル化した方が精度高くなりそうなので暇な時やる
次は文字から写真検索作ろう

それでは！！

皆さんも画像から画像検索導入してみてください！


何かご質問がある人は株式会社Avecにお問い合わせください！

清水