将棋AIで用いている詰将棋ルーチンにdf-pnというアルゴリズムがある。 これは、proof number(証明数)、disproof number(非証明数)を用いて効率的に探索を行い、その局面が詰むか、詰まないかを判定できるとても強力なアルゴリズムである。 将棋ファンなら『脊尾詰』と言う「ミクロコスモス」(1525手詰)を解く詰将棋専用ソフトについて一度ぐらいは聞いたことぐらいあるだろう。これは、脊尾さんが大学時代に作成されたプログラムである。そこに使われていたのが脊尾さんが考案されたdf-pnというアルゴリズムである。 df-pnに関しては、脊尾さん自身の論文(1998年)があるものの、要点しか書かれておらず、いまのようにGitHubにソースコードがあるわけでもなく、その詳細については長らく謎に包まれたままであった。 歴史的なことを言うと、10年ぐらい前にdf-pnがGPS将棋に実装
By Francesco Bertolaccini You’ve reached computer programming nirvana. Your journey has led you down many paths, including believing that God wrote the universe in LISP, but now the truth is clear in your mind: every problem can be solved by writing one more compiler. It’s true. Even our soon-to-be artificially intelligent overlords are nothing but compilers, just as the legends foretold. That sma
ED法と3値(+1,-1,0)のアイデアを元に新しい活性化関数(ExP2)を作ってGELU、ELUと性能比較してみた。MINIST精度 99.43%以上達成 - Qiita
ED法と3値(+1,-1,0)のアイデアを元に新しい活性化関数(ExP2)を作ってGELU、ELUと性能比較してみた。MINIST精度 99.43%以上達成DeepLearningPyTorch活性化関数誤差逆伝播法ED法 追記 ELUとの比較を追加しました、金子さんのアイデアの凄さが明確に結果に出ています。 また最後にニューロンが正・負どちらに発火しているのか可視化したチャートも追加しました。 初めに 誤差逆伝播法を用いずに、興奮性・抑制性ニューロンの出力を調整することでニューラルネットワークの学習を進める金子さんの誤差拡散法はとても衝撃的でした。 しかし、誤差拡散法は現在広く使用されているニューラルネットワークのアーキテクチャとは互換性がないため、 今すでに利用されているニューラルネットワークに興奮性、抑制性ニューロンのアイデアを直接反映できません。 そのため、今の誤差逆伝播法の範囲内
12.6. B-Trees — CS3 Data Structures & Algorithms
12.6.1. B-Trees¶ This module presents the B-tree. B-trees are usually attributed to R. Bayer and E. McCreight who described the B-tree in a 1972 paper. By 1979, B-trees had replaced virtually all large-file access methods other than hashing. B-trees, or some variant of B-trees, are the standard file organization for applications requiring insertion, deletion, and key range searches. They are used
For this second post in Zed Decoded, our blog & video series in which we're taking a closer look at how Zed is built, I've talked to Zed's three co-founders — Nathan, Max, Antonio — about the data structure at the heart of Zed: the rope. Companion Video: Rope & SumTree This post comes with a 1hr companion video, in which Thorsten, Nathan, Antonio, and Max use Zed to look at how Zed uses the Rope a
Flow field pathfinding
You may know me for my interactive tutorials. But before that, I was writing visual but non-interactive tutorials. In particular, there wasn't a lot of information about A* on the web, so I decided to collect all my notes about pathfinding together in one place in the 1990s. But then in the 2010s I started making interactive pages. The newer pages are narrower in scope; I covered a broader set of
2.3k{icon} {views} 複数のLLM（GPT/Claude3）とArxivの検索APIをRAGで統合し、論文サーベイの自動生成を作りました。検索結果の前処理や、サーベイ特有のプロンプトエンジニアリングやソートが重要で、最適化手法として古くからある巡回セールスマン問題（TSP）が有効に機能しました。また、生成部分ではGPTよりClaude3の明確な有効性を確認できました。 できたもの Arxivの検索APIを使って検索拡張生成（RAG）したらサーベイを自動生成できた やっていること Arxivの検索ワードをGPT-4-Turboで生成 ArxivのAPIを叩いてヒューリスティックでフィルタリング OpenAIのEmbedding APIを叩く Embeddingに対して巡回セールスマン問題（TSP）を解いてソートをかける 論文の要旨をGPT-3.5-Turboで要約 ソートした
GitHub - facebookresearch/searchformer: Official codebase for the paper "Beyond A* Better Planning with Transformers via Search Dynamics Bootstrapping".
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
グラフィック系の開発者であるニキータ・リシッツァ氏が、「自身のプロダクトのあらゆる場所で使用している」と述べるお気に入りのテクニックである「指数平滑法」について解説を投稿しました。 My favourite animation trick: exponential smoothing | lisyarus blog https://lisyarus.github.io/blog/programming/2023/02/21/exponential-smoothing.html リシッツァ氏は下図のようなトグルボタンを例に解説を行っています。クリックすると「オン」「オフ」が切り替わります。まだアニメーションを何も設置しておらず、トグルボタンは左端と右端を瞬間移動しています。 機能的にはアニメーションが設定されていなくとも問題はないのですが、アニメーションを設定することでユーザーは何が起こって
グラフニューラルネットワーク - Forkwell Library #50 https://forkwell.connpass.com/event/315577/ での講演スライドです。 サポートサイト：https://github.com/joisino/gnnbook グラフニューラルネットワーク（機械学習プロフェッショナルシリーズ）好評発売中！：https://www.amazon.co.jp/d/4065347823 連絡先: @joisino_ (Twitter) / https://joisino.net/
【JS体操】JavaScript で頭の体操をしよう！〜第一問 44文字 解説編〜 - KAYAC engineers' blog
こんにちは！カヤック面白プロデュース事業部のおばらです。 普段は受託案件、特にインタラクティブな WebGL や Canvas2D を駆使する案件のデザイン＆実装を担当しています。 先日出題したJS体操 第一問目、挑戦してくださったみなさまありがとうございました！ 早速ですが最短文字数の回答は 44文字 でした！ export default x=>x-(x%=.2)+.2-(.04-x*x)**.5 みごと44文字を達成した方は、 halwhite さん koyama41 さん sugyan さん tkihira さん たつけん さん の5名！（※ Unicode コードポイント順） おめでとうございます！！ 最短文字数を狙った正統派の回答以外にも、裏技的な面白アプローチがたくさんありました笑 このアプローチは面白い、ぜひ紹介したい！という回答がいくつかあったので、解説記事は2回に分けて
はじめに 先日以下の記事が話題となり、とてもワクワクしたので自分も実装して色々実験してみました。 実装するうちに理解が深まったので一度、 誤差拡散法の元ネタ紹介から 数式の解説、 ED法の弱点、 行列計算を使用した実装と簡単なテスト結果、 実装上の工夫 までまとめてみたいと思います。 誤差拡散（Error Diffusion）法 もともとは画像の2値化において失われる情報を周囲のピクセルで補うことで、遠目に元の画像の濃淡が残っているように見せる技術（ハーフトーン処理の一種）です。 Error diffusion -Wikipedia（英語版） 左の画像をちょうど半分の明るさをしきい値として2値化すると中央の画像のようになりますが、誤差拡散法を適用すると2値化後も右の画像のようにある程度濃淡を保存・表現できます。 誤差拡散法（画像処理）のサンプルコード コメントアウト箇所はFloyd, St
以下の記事が面白かったので、簡単にまとめました。 ・Evolutionary Model Merging For All 1. 進化的モデルマージ「Sakana.ai」は約1か月前、「進化的モデルマージ」に関する論文を発表し、大きな話題を呼びました。 「進化的モデルマージ」を使用すると、マージで特定のコンピテンシーや資質をターゲットにすることができます。これがないと、モデルマージは手動の探索プロセスになります。数十回のマージを試し、それらを手動で評価し、マージパラメータが最終モデルの性能にどのように関連するか頭の中で考え出そうとすることになります。「進化的モデルマージ」を使用すると、どのような性質を持たせたいかを指定でき、最適化がそれを処理します。 「mergekit」では、この「進化的モデルマージ」を利用できます。 2. ハードウェア要件7Bモデル の場合は 24GB のVRAMで十分で
Studio Ousiaと理化学研究所に所属している山田育矢です。 この記事では、大規模言語モデル（LLM）の性能を向上させる新しい方法であるLEIA（Lightweight Entity-based Inter-language Adaptation）を紹介します。 LLMは言語によって性能に顕著な差があり、訓練に使われるテキストが最も多い英語において特に性能が高い傾向があることが知られています。LEIAは、LLMが蓄えている英語の知識を他の言語から使えるようにする訓練を施すことで、英語以外の言語でのLLMの性能を向上させる新しい手法です。 この度、英語・日本語の2言語LLMであるSwallowの7Bと13Bのモデルに対してLEIAによる訓練を施して性能向上を行ったモデルを公開します。 ライセンスは、Swallowと同様のLlama 2 Community Licenseです。これらのモ
はじめに @pocokhc(ちぃがぅ)さんが、金子勇さんのED法を実装してMNISTの学習に成功しました。 金子勇さんの失われたED法 金子勇さんの失われたED法発掘の経緯 ここではちぃがぅさんのコードを元に、ED法をシンプルに解説していきたいと思います。 ED法をわかりやすく解説するため、今入力を(1,0)としたとき(0)を推論するXOR問題を考えてみましょう。 ED法の場合, 入力、重みともに正負(p,n)２つ分の変数を用意する必要があります。 例えば 入力を(1,0)とすると 1 (p) ,1 (n), 0 (p), 0 (n) の4つとバイアス分の2つの p n が必要です。 また, 3層構造として中間層のニューロンをp, n 2つのみとします。 中間層のニューロンを２つとしたときは、 p, n の２つと, バイアス用のp, n の２つが必要です。 中間層のニューロン各々は、そのニ
【特別取材】「ストリーミングで日本の音楽市場はまだ伸びる」日本上陸したBelieveシルヴァン・ドランジェ氏が語る | Musicman
世界の音楽市場でDXを進めてきたBelieveが日本に上陸した。TuneCoreの親会社でもあるBelieveはフランスに本社を置き、パリのユーロネクストに上場している世界有数のデジタル音楽企業だ。年間1400億円 (8億8000万ユーロ) 以上の売上を持ち、国によっては世界的なメジャー企業に比肩、あるいはそれ以上の売上シェアを達成している。 アジア太平洋地域を統括するシルヴァン・ドランジェ氏にインタビューしたが、今や同社はアーティスト育成とデジタル・マーケティングの専門家へと変貌を遂げ、音楽産業の成長に欠かせない存在になりつつあるのが見えてきた。 （インタビュアー：Musicman編集長 榎本幹朗 取材日：2024年3月13日） シルヴァン・ドランジェ（Sylvain Delange） Believeアジア太平洋地区社長。フランス生まれ。2013年初めにBelieveに入社して以来、アジ
以下の文章は、コリイ・ドクトロウの「Google reneged on the monopolistic bargain」という記事を翻訳したものである。 Pluralistic 驚くべきことに、かつてAltavistaやYahooをふっと飛ばし、魔法の検索ツールで世界を驚かせたGoogleが、突如クソの山になってしまった。 Googleの検索結果はひどいものだ。ページの上部はスパム、詐欺、広告だらけだ。始末に終えないのは、その広告も詐欺だらけなのだ。時には、資金力のある敵対者がGoogleを出し抜いて大金を稼ごうと大掛かりな詐欺が試みることもある。 https://www.nbcnews.com/tech/tech-news/phone-numbers-airlines-listed-google-directed-scammers-rcna94766 しかし通常、こうした詐欺を働くのは
![かくしてGoogleはスパマーに敗北した | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/a3e1fdf42c7dd4fc729644f9cd286ef877f95066/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F04%2Fgoog-sleeping-watchdog.jpg)
Winnyの金子勇さんが考案された機械学習アルゴリズムED法を再現して実装した人がいていま話題になっている。 『Winny』の金子勇さんの失われたED法を求めて…いたら見つかりました https://qiita.com/kanekanekaneko/items/901ee2837401750dfdad いまから書くことは私の記憶頼りなので間違ってたらコメント欄で教えて欲しい。 1998年ごろだと思うのだが、私はWinnyの金子勇さんのホームページの熱心な読者だった。(ページも全部保存してたので私のHDDを漁れば出てくると思うが、すぐには出せない。) Winnyのβ版が発表されたのが2002年なのでそれよりはずいぶん前である。 当時、金子さんはNekoFightという3D格闘ゲームを公開されていた。そのゲームには、自動的に対戦から学習するAIが搭載されていた。 当時の金子さんのホームページの
「線形代数で何を学ぶのか、何に役立つのか」大学や高専で線形代数を学び始めた人へ送るポスト→「学生時代に読んでみたかった」「意味や繋がりが理解できて初めて面白い」
三谷 純 Jun MITANI @jmitani 筑波大学 システム情報系 教授（'75生）CG/折紙/幾何/プログラミング，一風変わった折り紙の設計，制作をしてます．令和元年度文化庁文化交流使としてアジア諸国をまわってきました．主に数学と折紙と日常のことについてツイートします．折紙作品の写真をこちらで公開しています instagram.com/mitani.jun/ mitani.cs.tsukuba.ac.jp/ja/ 三谷 純 Jun MITANI @jmitani 理工系の大学生1年生の多くは まずはじめの数学で「線形代数」を学ぶことになると思います。 僕が学生だった頃、 「結局これって何を勉強しているの？」 という疑問がずっと拭えなかった記憶があります。 同じような疑問を持っている学生向けに、線形代数で何を学ぶのか説明する文章を作ってみました pic.twitter.com/1j
追記：続きを書きました。 はじめに 先日以下の記事が投稿され、その斬新な考え方に個人的ながら衝撃を受けました。 内容をざっくり言うと、ニューラルネットワークの学習を現在の主流であるBP法（誤差逆伝播法）ではなく、ED法（誤差拡散法）という新しい学習手法を提案しているものです。 もし記事の内容が本当ならニューラルネットワークの学習がO(1)でできてしまう事になり、まさしく革命が起きてしまいます。 （結論からいうと速度面はそこまででもなかったです（それでも早くなる可能性あり）） （ただこの新手法のポテンシャルは革命を起こす可能性は秘めているといっても過言ではありません） ED法に関してネットを探すとインターネットアーカイブに情報が少し残っていました。 このページですがED法のサンプルプログラム（C言語）が残っており、このサンプルプログラムをベースにpythonで書き起こしたものが本記事となりま
とあるプロジェクトでナノ秒からミリ秒への変換で四捨五入してきた人がいて、時刻を扱うときは保存精度未満は切り捨てるべきというのが常識になっていないなーと思ったので。 2023-10-01 を、何年か表示する時に、2024年に丸める人はいないだろう。 13:45 が何時か表示する時も、13時と表示するだろう。（口頭で何時？と聞かれたら14時と答えるかもしれないけれど） つまり、ある精度で表した時刻は、実際には次のような半開区間を示しているのである。 2023-01-01 00:00:00 <= 2023年 < 2024-01-01 00:00:00 13:45:00.000 <= 13:45 < 13:46:00.000 そして、そう決めたからには一貫して同じように、指定精度未満は切り捨てというルールを維持しなければならない。秒以下は四捨五入で、とかやってはいけないのだ。 一貫しないと何が問題
Knuth–Morris–Pratt illustrated | Journal of Functional Programming | Cambridge Core
We use cookies to distinguish you from other users and to provide you with a better experience on our websites. Close this message to accept cookies or find out how to manage your cookie settings.
ではそもそも“1bit”とは何が1bitなのか、どうして1bitになるとGPUが不要になるのか。LLMでGPUが不要になるとどんな世界が訪れるのか。オーダーメイドによるAIソリューション「カスタムAI」の開発・提供を行うLaboro.AIの椎橋徹夫CEOに聞いた。 プロフィール：椎橋徹夫 米国州立テキサス大学理学部卒業後、ボストンコンサルティンググループに参画。消費財や流通など多数のプロジェクトに参画した後、社内のデジタル部門の立ち上げに従事。その後、東大発AI系のスタートアップ企業に創業4人目のメンバーとして参画。AI事業部の立ち上げをリード。東京大学工学系研究科松尾豊研究室にて「産学連携の取り組み」「データサイエンス領域の教育」「企業連携の仕組みづくり」に従事。同時に東大発AIスタートアップの創業に参画。2016年にLaboro.AIを創業し、代表取締役CEOに就任。 ──まず、1bi
普段は「通知が迷惑かなー」と思ってブックマークしていただいている方に通知せず記事を編集しているのですが、この記事をブクマしていただいている方は続きが気になっている方だと思いますので通知させていただきます。 結論から言うと、この記事を読んだ @pocokhc (ちぃがぅ)さんという方が金子勇さんが書いたED法のサンプルプログラムを見つけてくださいました。 ちぃがぅさんの記事はこちら 自分で解明したかったという気持ちも無いことは無いですが、バズった時点で誰かが実装してくれそうな気はしていました。新卒からIT業界に入って4年目が始まったところですが、業務以外で初めて業界にコントリビュートできた気がして嬉しいです！ 追記ついでに、謝罪します。初回公開時に記事タイトル含め本文中で何か所か「Winney」と書いてしまっていた箇所がありました。失礼いたしました。誤字修正してあります。指摘してくださった何
徳永拓之（LeapMind（株）） 1bit LLMの時代が来る？ 2024 年2 月，The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits¹⁾ というタイトルの論文がarXiv上で公開され，にわかに話題となりました．“1.58 Bits” という表現はあまりなじみがありませんが，log₂(3) = 1.58 . . . ということで，パラメーターを三値にした場合の情報量を示しているようです．この論文（以下b1.58 論文とする）は，同じ著者グループによる文献2）を少し拡張したもので，大規模言語モデル（LLM）の効率化についての研究です． 本稿の前半ではこれらの論文の主張を解説し，後半ではその主張の妥当性について検討します． なお，これらの2本の論文は，本稿執筆時点では，査読を経たものではありませんのでご注意くだ
自身の研究のためにLLMに関する論文を表形式でまとめています。 このレポジトリでは特にさまざまな分野の論文を表にする(Comprehensive)ことを目的としています。具体的には以下のキーワードに注目しています。 CoT / VLM / Quantization / Grounding / Text2IMG&VID / Prompt / Reasoning / Robot / Agent / Planning / RL / Feedback / InContextLearning / InstructionTuning / PEFT / RLHF / RAG / Embodied / VQA / Hallucination / Diffusion / Scaling / ContextWindow / WorldModel / Memory / ZeroShot / RoPE / Spe
デジタルガジェットのレビュー評価でサクラチェッカーを鵜呑みにしないで！ - ARTIFACT@はてブロ サクラチェッカーについての記事を書いたが、反応で話が噛み合ってないなと思った部分があった。たとえ良い製品を作っていても、サクラレビューをしているような企業は信用できないという反応がちらほらあったのだが、あの記事で一番言いたかったのは、サクラチェッカーがいう「サクラ判定」は信用できないという話なのだ。自分の文章の書き方が悪いところもあったが、あの極端な判定結果を出せば、読んだ人はサクラチェッカーのサクラ判定は信用できないと思ってくれるだろうと考えていたのが甘かった。 これはワイヤレスイヤホンのEarFun Air Pro 3のサクラチェッカーの詳細画面だが、こんな人気製品のレビューのほぼすべてがサクラという事態を事実だと思えるだろうか？ 普通なら信じないと思うのだが、サクラチェッカーの表示
グーグルにアピールしても無駄なSEOテク5選＋SEOに効くコンテンツ作りの原則【SEO情報まとめ】 | 海外&国内SEO情報ウォッチ
Googleのアップデートに耐えて検索上位をキープするコンテンツを作るために大切なこととは？ 「EC機能が最強」などの声に対して、グーグル検索の公式アカウントが「こういうのは意味ない」「やるならこう」という具体例や考え方を示した。 それ以外にも、「寄生サイト対策、マジでヤバいっぽい」「SEOは1年かかる」「site:検索の正しい使い方」や、細かいSEOテクニックに加えて、ローカルSEOの最新情報など、今回も役立つネタが盛りだくさんだ。あなたのSEO力アップに役立つ情報を、しっかり吸収してほしい。 グーグルにアピールしても無駄なSEOテク5選＋SEOに効くコンテンツ作りの原則グーグルの寄生サイト対策をみくびるべからず、必ず痛い目に遭うグーグルによる評価の回復には1年かかる!?コンテンツ公開前のテストや評価はどのようにやればいい？site:検索の仕組みをあなたは100%理解しているか？SEOに
最近昼夜逆転がひどい六角レンチです 夕方まで起きてようと思ったらいつの間にか寝て夜に起きる謎 haskellに興味を持って入門の記事を見ながらソートを実装して楽しんでます。 ガードとかパターンマッチ楽しい 他にはどんなソートがあるんだろうと思いwikipediaを見ていろいろなソートアルゴリズムを発見したので、pythonの練習として実装してみたいと思います。 実装してみたソートたちはここに置いてます。 バブルソート def bubblesort(target:list): # バブルソート for targetrange in reversed(range(1, len(target))): isnotswap = True for r in range(targetrange-1): if target[r] > target[r+1]: target[r], target[r+1]
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 カナダの研究所Perimeter Institute for Theoretical Physicsとエジンバラ大学に所属する研究者らが発表した論文「The Penrose Tiling is a Quantum Error-Correcting Code」は、繰り返さないパターンである「ペンローズ・タイリング」が、量子コンピュータの誤り訂正に応用できることを提案した研究報告である。 量子コンピュータは量子力学の原理を利用することで、従来のコンピュータでは解くことが難しい問題を高速に解くことができる。しかし、量子情報は環境ノイズからの影響に
『ゼルダの伝説 ティアキン』サウンドが「勝手に鳴る」仕組みを作った。自由で広大なハイラルを彩る音の世界【GDC 2024】 | ゲーム・エンタメ最新情報のファミ通.com
2024年3月18日～3月22日、アメリカ・サンフランシスコで開催中のGDC（Game Developers Conference）2024。その中で『ゼルダの伝説 ティアーズ オブ ザ キングダム』についての講演が行われた。その内容をリポートする。 登壇者は任天堂の 堂田卓宏氏（テクニカルディレクター） 高山貴裕氏（物理プログラマー） 長田潤也氏 （サウンドプログラマー） の3名。 “Tunes of the Kingdom: Evolving Physics and Sounds for ‘The Legend of Zelda: Tears of the Kingdom’”――“チューンズ オブ キングダム：『ゼルダの伝説 ティアーズ オブ ザ キングダム』の進化する物理学とサウンド”と題された本講演では、本作の世界がいかに生み出されたか、物理設定とサウンド設計の面から語られた。 本
(社内報です) 前提自分のバックグラウンドは機械学習エンジニア。 20代で経営を始めた時は経営のど素人だった。とはいえ学生であっても起業した以上、言い訳できる立場でもないので自分なりに自分のできることから考え始めた。その時の自分の唯一の強みは「機械学習アルゴリズムの改善」だったので、あらゆる問題を機械学習アルゴリズムの改善的にとらえるというアングルで経営をしてみた。正しい方法なのか全くわからなかったけど、振り返るとこのやり方は経営でめちゃくちゃ成果が上がる方法だったと感じる。 それ以来、アルゴリズムの改善だけではなく、営業組織の改善、プロダクトの改善、マーケティングの改善、面接の改善、人事評価の改善etc 会社の経営に関わるすべての問題に対して「機械学習アルゴリズムを改善するように、実験を高速化・並列化し、改善をする」という形を作ることが経営において重要であるというポリシーを持っている。
『ゼルダの伝説 ティアキン』自由な“掛け算の遊び”を生むために。「全部物理で作る」を決断するまで【GDC 2024】 | ゲーム・エンタメ最新情報のファミ通.com
“Tunes of the Kingdom: Evolving Physics and Sounds for ‘The Legend of Zelda: Tears of the Kingdom’”――“チューンズ オブ キングダム：『ゼルダの伝説 ティアーズ オブ ザ キングダム』の進化する物理学とサウンド”と題された本講演では、本作の世界がいかに生み出されたか、物理設定とサウンド設計の面から語られた。 本記事では、とくに講演前半について紹介。後半のサウンド設計については下記関連記事をご覧いただきたい。
生成AI開発に革新か “自律進化”で目的のAIを自動生成 超低コスト＆短期間で高性能モデルも開発済 トップ研究者集団「Sakana AI」
生成AIのトップ研究者らが東京で創業したAIベンチャー「Sakana AI」が、生成AI開発の新たな手法を開発したと3月21日に発表した。従来は人間が手動で設計し、多くの計算資源を使っていたが、同社の手法では設計を機械が自動で行い、“ほぼ無視できるレベル”の計算資源で開発が可能になるという。この手法で開発した日本語基盤モデルをGitHubで公開した。 同社が提案したのは「進化的モデルマージ」という手法。公開されているさまざまな基盤モデル（生成AIを含む、大規模なデータセットによる事前学習で各種タスクに対応できるモデルのこと）を組み合わせて新たなモデルを作る「マージ」に、進化的アルゴリズムを適用したものだ。 マージ自体は現在の基盤モデル開発で使われている手法で、モデルの“神経回路”（アーキテクチャ）の中に別のモデルの神経回路の一部を組み入れたり、入れ替えたり、神経同士のつながりやすさ（重み）
概要 Sakana AIは進化や集合知などの自然界の原理を応用して基盤モデルを開発することを目指しています。私達の目標は、モデルを自ら訓練し開発することだけではありません。基盤モデルの開発を効率化、高度化、自動化するための新たな手法を生み出すことに挑戦しています。この目標に向けた第一歩として、私たちはプレプリント「Evolutionary Optimization of Model Merging Recipes （モデルマージの進化的最適化）」を公開しました。 このリリースの要点は以下の通りです。 進化的モデルマージという手法を提案します。これは、多様な能力を持つ幅広いオープンソースモデルを融合（マージ）して新たな基盤モデルを構築するための方法を、進化的アルゴリズムを用いて発見する手法です。私たちの手法は、ユーザーが指定した能力に長けた新しい基盤モデルを自動的に作成することができます。既
はじめに 非同期処理はアプリケーション開発においてほぼ必須となっていますが、プログラミング言語やライブラリによってその実現方法は大きく異なります。 この記事では、以下の言語における非同期処理の実現方法を調査し、分類した結果をまとめたものです。 JavaScript/TypeScript(Promise) Kotlin(Coroutines) Java(Reactor Core/Completable Future) Python(asyncio) Golang(goroutine/conc) Haskell(async) Rust(tokio) 非同期処理の分類 構文 async/await 採用している言語: JavaScript/TypeScript/Python/Kotlin/Haskell/Rust もっとも代表的な非同期処理の構文です。 asyncとawaitという対になる二つの
「貧しい家の子の成績下げる」アルゴリズムの波紋 イギリスで起きた衝撃、責任は誰にあるのか(東洋経済オンライン) - Yahoo!ファイナンス
昨今、AI(人工知能)の急激な発達が注目されている。まるで人間のように自然な会話ができるサービス「ChatGPT」が話題になったのも記憶に新しい。一方で、こうしたAIやアルゴリズム(問題解決や目標達成のための計算・処理手続き)に意志決定や判断を委ねることへの危惧も広まりつつある。イギリスでは実際に、アルゴリズムに大学入学資格の判定を任せた結果、とてつもない混乱が生じてしまったという「苦い経験」があるのだ。私たちはどのようにAIやアルゴリズムと共存していけばよいのだろうか。統計学者のジョージナ・スタージ氏が上梓した書籍『ヤバい統計』から一部を抜粋して紹介する。 ■予測よりも低い成績がつけられた アルゴリズムをつくりだすのは、アルゴリズム自体ではなく人間だ。ということは、人間はそのアルゴリズムが行ったことに対する責任がある。 2020年8月13日、「Aレベル」の結果が発表されると、多くの生徒が
はじめに MySQL(InnoDB)でSQLのパフォーマンスチューニングをするときに役に立つ知識をエッセンスとしてまとめました。結合(JOIN)やB-treeインデックスの探索の仕組み、実行計画の基本的な見方を紹介します。 想定する読者は、SQLのパフォーマンスを改善する必要があるが実行計画をみてもいまいちピンと来ない方です。インデックスの作成の経験や、複合インデックスやカーディナリティの知識があることを前提にしています。目標は、実行計画の内容がよく分からない読者が、実行計画をみただけでクエリが実行される様子をイメージでき、自信を持ってクエリの改善にあたることができるようにすることです。 ストレージエンジンはInnoDBを前提としています。また、インデックスはB-treeインデックスを想定しています。全文検索の転置インデックスや空間検索のR-treeインデックスについては触れません。 イン
ある特徴的な文字列がある。 11b484b6-cfeb-4730-8fba-467aee2d26ad 使ったことがあれば、恐らくすぐに UUID であると分かると思う。UUID は16進数がハイフンで分けられた特徴的なフォーマットをしている。その区切り方は、 8-4-4-4-12 となんだか不思議な感じだ。 そもそも、UUID は 128bit の数値であり、それを文字列で表現したものなのでハイフンが無くたって問題ない。にもかかわらずわざわざ覚えにくいケタで区切ることが多い。 その理由として、最初に思いつくのは人間が読みやすくするためだとは思うが、覚えやすく均等に区切ったり、左右対称の形にはできなかったのだろうか？ UUID の定義 生成した UUIDv1 を眺めてみる 元祖 UUID（Network Computer System の UUID） 形式の謎 RFC4122 で times
Starlink(スターリンク)でBCP対策、フレッツ光クロスと冗長構成、IPv6にも対応、情シス必見！？ | IIJ Engineers Blog
結構長くゲーム業界に出向していましたが、2022年秋に戻ってきました。 ゲーム業界での経験も生かしながらIIJのエンジニアとしてちょっと面白いことを提供できていければいいなぁと思っています。 格闘ゲームの世界チャンピオン(Evo2017)になった従兄弟がいますが彼にゲームを教えたのは僕ではありません。2023年は4位でしたね、おめでとうというべきか残念というべきか。 どうぞよろしくお願いします。 BCP対策とStarlink Starlinkが日本でも使えるようになり、新聞やテレビのCMでもその活躍が色々と紹介されるようになってきました。ウクライナ戦争での利用やイーロン・マスクの話題性から始まり、スターリンクトレインによる天文イベント的な認知、能登半島地震によって日本でも有用性がアピールされています。 企業のBCP対策に必要なインターネットへの接続性を確保する手段として期待は高くなる一方で
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
詰将棋アルゴリズムdf-pnのすべて | やねうら王 公式サイト
The life and times of an Abstract Syntax Tree
Zed Decoded: Rope & SumTree - Zed Blog
Arxiv RAGによる論文サーベイの自動生成 | Shikoan's ML Blog
アニメーションをスムーズに見せるためのテクニック「指数平滑法」とはどんなものなのか？
僕たちがグラフニューラルネットワークを学ぶ理由
金子勇さんのED法の解説と弱点、行列積を使用した効率的な実装 - Qiita
mergekit-evolve による 進化的モデルマージ｜npaka
LEIA: 言語間転移学習でLLMを賢くする新しい方法
金子勇さんのED法のシンプルな解説を試みた - Qiita
かくしてGoogleはスパマーに敗北した | p2ptk[.]org
Winnyの金子さんのED法について | やねうら王 公式サイト
金子勇さんのED法を実装してMNISTを学習させてみた - Qiita
タイムスタンプの精度を落とすときは切り捨てろ - methaneのブログ
生成AIでGPUがいらなくなる？ 業界を揺るがす「1ビットLLM」とは何か、識者に聞いた
『Winny』の金子勇さんの失われたED法を求めて - Qiita
1bit LLM の時代は来るのか，来ないのか，どっちなんだい？｜情報処理学会・学会誌「情報処理」
【LLMの研究者向け】400本を超えるLLMに関する論文のリストを公開・更新しています - Qiita
サクラチェッカーのサクラ判定がそもそも信用できない という話 - ARTIFACT@はてブロ
いろんなソートアルゴリズムを実装してみよう - Qiita
周期性のない図形「ペンローズ・タイル」が量子コンピュータのエラーを訂正？ カナダの研究者らが発表
問題を高速に解く組織をつくる｜福島良典 | LayerX
Sakana AI
各言語の非同期処理の仕組みまとめ - Qiita
MySQL(InnoDB)のSQLパフォーマンスチューニングのエッセンス
なぜUUIDはハイフンで8-4-4-4-12に区切られているか？ - Memo: