エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
mergekit-evolve のパラメータまとめ|npaka
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
mergekit-evolve のパラメータまとめ|npaka
以下の記事が面白かったので、簡単にまとめました。 ・mergekit/docs/evolve.md 1. mergekit-evolve「me... 以下の記事が面白かったので、簡単にまとめました。 ・mergekit/docs/evolve.md 1. mergekit-evolve「mergekit-evolve」は、進化的アルゴリズム (CMA-ES) を使用して、モデル メトリックに対してマージのパラメータを最適化するスクリプトです。これは、「SakanaAI」の「Evolutionary Optimization of Model Merging Recipes」、特にパラメータ空間アプローチからインスピレーションを得ています。「mergekit-evolve」は、EleutherAIの「Language Model Evaluation Harness」を使用してスコアリング関数を定義および評価を行います。このスクリプトは、単一ノードまたはRayクラスター上で実行されるように設定されており、特定のコンピューティング構成に応じ