「ExcelでChatGPTを再現するシート」が想像以上に素晴らしかった (1/4)

先日本サイトで「めちゃくちゃ重いけど動くぞ！Excelで『GPT-2』を再現したスプレッドシート」というニュースを執筆したのだが、実際に触ってみたところ想像以上に素晴らしかったのでレポートする。 「Spreadsheets-are-all-you-need」とは 記事で紹介した「Spreadsheets are all you need」とは、Excelの標準的なスプレッドシート機能を使ってGPT2（ChatGPTの先祖）のフォワードパス（入力から出力までのプロセス）をExcelの中で完全に実装したものだ。 と言ってももちろんExcel内で「ChatGPT」的な会話ができるわけではない。ChatGPTの心臓である大規模言語モデル（LLM）のごくごく基本的な機能をシミュレートできるだけだ。 本シートの説明文には「開発者でない人でも本物のLLMが内部でどのように機能しているのかを、最小限の抽象

[yarumato]

“このExcelシート（1.25GB。メモリ16GBのPCでも開ける）は、開発者でない人でも本物のLLMが内部でどのように機能しているのかを、最小限の抽象化で直接探索し試せる、チュートリアル教材だ。GPT-2(2019)はChatGPTの2世代前。”

[Beluga]

肝は膨大な関係性の数値とその最大値抽出か。それが脳のシナプスの結合度合いを表すのとGPUの並列計算が必要と。/GPT-2だと人間が電話でよく聞き取れなかった部分をきっとこうだろうと想像するのに近い推論をするのか

[kusomamma]

Excelで学ぶ畳み込みニューラルネットワークってやつがあったのを思い出した。

[shields-pikes]

むしろ、暇があったらこれ作ってみたい。

[Falky]

あとで触ってみよう

[mohno]

「「Spreadsheets are all you need」とは、Excelの標準的なスプレッドシート機能を使ってGPT2（ChatGPTの先祖）のフォワードパス（入力から出力までのプロセス）をExcelの中で完全に実装したもの」←やってみようと思ってたヤツだ。

[makou]

面白い。