アップルがマルチモーダル大規模言語モデル「Ferret」を公開。画像内の形や場所を言葉で説明（生成AIウィークリー） | テクノエッジ TechnoEdge

2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第16回目はアップルが初登場。マルチモーダルのLLM「Ferret」を投入しました。合わせて5つの論文をまとめました。 生成AI論文ピックアップ画像内の形や場所を言葉で説明するAI「Ferret」 Apple含む研究者らが開発 画像から高品質なコードを生成できるオープンソースのAIモデル「LLaVA-1.5」 Microsoft含む研究者らが開発 低解像度画像の学習だけで、高品質な高解像度画像（4K）を生成 中国テンセント含む研究者ら「ScaleCrafter」開発 ブラウザ上で可能 5枚ほどの顔写真からAI顔写真を生成するWebUIプラグイン「EasyPhoto」

[canadie]

SiriがChatGPT相当のアシスタント能力を持てば大きなスマホの革命となりそうだしそうなってほしいのでAppleはそっちの方頑張ってほしい

[Seamless]

例:画像内の料理を自由形式で指定し[作り方教えて]と入力すると画像内の物を変数に変えそれを使い[変数1をこうして変数2をこうする]と文字で説明してくれる。