Sakana AI

概要 Sakana AIは進化や集合知などの自然界の原理を応用して基盤モデルを開発することを目指しています。私達の目標は、モデルを自ら訓練し開発することだけではありません。基盤モデルの開発を効率化、高度化、自動化するための新たな手法を生み出すことに挑戦しています。この目標に向けた第一歩として、私たちはプレプリント「Evolutionary Optimization of Model Merging Recipes （モデルマージの進化的最適化）」を公開しました。 このリリースの要点は以下の通りです。 進化的モデルマージという手法を提案します。これは、多様な能力を持つ幅広いオープンソースモデルを融合（マージ）して新たな基盤モデルを構築するための方法を、進化的アルゴリズムを用いて発見する手法です。私たちの手法は、ユーザーが指定した能力に長けた新しい基盤モデルを自動的に作成することができます。既

[hoshitamotsu]

Sakana AIは元Googleの研究者が日本で立ち上げたAIベンチャー。早くも成果を出したのも驚いたが、日本語を使用するAIが飛躍的に高性能になる可能性があるし、さまざまな応用が効きそうだ

[lyiase]

複数のモデルを進化的アルゴリズムのアプローチでマージする方法の提案。今までのAI構築法の常識を破る方法で非常に興味深い

[irimo]

ワンネス()という言葉が浮かんだ、ゴミや規格外で捨てられるネジに感情が乗るワイ、効率化を謳う企業の面接を躊躇している

[iksmpic]

お好み焼き画像でちょっと試した「マヨネーズとの上にかかっている茶色いものなんですか？→マヨネーズとの上にかかっている茶色いものは、おそらくケチャップです。」がんばれ！

[shoronpoo]

モデルマージが何をやってるかとかモチベーションについて、秋葉さん出演のyoutube動画を先に見ておくと理解が深まる。https://www.youtube.com/watch?v=RBffEJ85_3U

[buhoho]

rakutenといいsakanaといい、日本語モデル公開のラッシュがきてるのかな。ありがてぇ。🙏

[Nnwww]

モデルマージというヒューリスティックな手順の組み合わせを最適化するために、進化的アルゴリズムを使うのはなるほど順当で納得です。この分野はヒューリスティックス多そうだし、他にも応用箇所ありそう。

[pascal256]

公開されたんだ！

[stealthinu]

モデルマージを進化的アルゴリズム使って最適化させることで学習なく高性能なモデルを作り出すという手法。これは思ってなかったところからの手法だった。すごい！

[imwks]

「こうすればできる」って思ってても出来ないから少しでもできる人の人の手を借りたい。だとしたら自分ができないことに対する対価はおいくら？/募集要項英語だけど大したこと書いてないｗｗ

[phain]

データフロー空間の最適化は都市計画と交通システムの設計に似ている。データフローは都市を流れる交通に相当し、モデルのアーキテクチャは、都市の道路、鉄道網、歩道などのインフラに相当する。

[nikunonamae]

数学用のモデルと日本語モデル混ぜたら日本語で数学を処理できるようになったうえに（数学と直接関係ない）日本語応答能力も上がりました、って面白いな。

[hatebu_ai]

さかなさかなさかな～（AIにいいのさ～）

[t-ueno]

読みたいが頭がついていけない／頭はっきりしてるときに後で読む

[blueboy]

　 Sakana くん　さん

[moromoro]

うーん

[n_231]

だいぶシンギュラリティ的な雰囲気を感じる手法だ。AIの進化を理解できる人間はどんどん減ることだろう。

[kei_1010]

日本再興の切り札にならんかな

[denqueue]

厳密ではないものの解説がちゃんと書かれていてありがたい

[remonoil]

さかなー

[Eiichiro]

なるほど。言語的特性が、知的能力の限界を決めてる可能性もあるのか。フランス語は数の数え方が十進法じゃないから、算数能力の成長が遅い話の延長線とも。

[miyauchi_it]

日本語AIモデル。

[ryoma_robo]

誤差逆伝播で学習せず、“進化的モデルマージ” を使っている

[isayo]

スイミーの逆

[q-Anomaly]

"モデルマージの進化的最適化"、"全く異なる領域のモデルを融合する”

[syu-m-5151]

進化的アルゴリズムを用いてモデルマージを自動化する新手法を提案。日本語LLM、VLM、画像生成モデルを構築し高性能を達成。モデル開発の効率化と、日本発の技術による基盤モデル発展への貢献を目指す。

[omega314]

『進化的アルゴリズムを活用した基盤モデルの構築に関する我々の初期段階の取り組みを紹介』

[NEXTAltair]

画像を評価して評価をAIに学ばせてモデルマージを自動評価するのはもうあるが進化的アルゴリズム使うのが新しい部分か

[misshiki]

“以下の3つのモデルを進化的モデルマージにより実験的に構築しました。驚くべきことに、それぞれのモデルが複数のベンチマークにおいて非常に高い性能を達成しました。”　EvoLLM-JP、EvoVLM-JP、EvoSDXL-JP

[uotocs]

非英語言語つまり日本語のモデルといろんなモデルをくっつけていい感じにできるってこと？めちゃすごくない？

[fantatchi]

よくわからんけどすごいもんが出てきたのでは？