驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
Code Interpreterに自分のTweetを分析させたらだんだん怖くなってきた - toyoshiの日記
Twitterから離れるにあたり念の為データをバックアップしました。（方法）せっかく過去の全てのツイートのデータを取得できたのでCode Interpreterに入れてどんな人物か推定させてみました。 面白半分に分析を始めましたが思ってた以上に推測されてだんだん怖くなっていったという記録です。 読み込み もうこれぐらいでは驚きませんがアップロードしたら余分な行を削除してJSONだけを取り出して読み込みました。 分析内容を提案してもらう 分析内容を考えるなんて人間のすることではありません。考えてもらいます。 年別の時間帯別の投稿数 2013年に起業したのでツイートが減り、2019年に会社をやめたのでツイート数が増えています。2020年は学校に通っていたのでツイート数が増え、2021年にまた起業したのでツイートが減っています。 2017年は子会社社長として働いていたのでツイート数が特に減ってい
話題の「ChatGPT」誰でもできる目からウロコの使い方【『独学大全』著者が教える】
ブログ「読書猿 Classic: between/beyond readers」主宰。「読書猿」を名乗っているが、幼い頃から読書が大の苦手で、本を読んでも集中が切れるまでに20分かからず、1冊を読み終えるのに5年くらいかかっていた。 自分自身の苦手克服と学びの共有を兼ねて、1997年からインターネットでの発信（メルマガ）を開始。2008年にブログ「読書猿Classic」を開設。ギリシア時代の古典から最新の論文、個人のTwitterの投稿まで、先人たちが残してきたありとあらゆる知を「独学者の道具箱」「語学の道具箱」「探しものの道具箱」などカテゴリごとにまとめ、独自の視点で紹介し、人気を博す。現在も昼間はいち組織人として働きながら、朝夕の通勤時間と土日を利用して独学に励んでいる。 『アイデア大全』『問題解決大全』（共にフォレスト出版）はロングセラーとなっており、主婦から学生、学者まで幅広い層か
LLMは生物学で捉えられるものかもしれない
LLMがここまで人々を惹きつける理由 最新型のLLMであるGPT-4が持っているパラメータ数は100兆個（！）とも言われている。勿論、ポジトロン頭脳にはならざるLLMの「中身」を人間は自由に見ることができるのだが、100兆個のパラメータの「値」がわかっても「なぜ、GPT-4は難しい質問に専門家張りの答えを（時に）返せるのか？」という問いに応えられる人類は、今のところこの世界に存在しない。実際にLLMが課せられているのは、文章の一部の意図的に隠されたところを当てる「穴埋め問題」とか、どの文章がどの文章の次に来るかという「文章の連続問題」に過ぎないので、それを学んだだけ（正確にはファインチューニングと言って目的に応じた「軽い」追加的な学習は必要である）でそんな器用なことができるのか、本当のところを理解している人はいないのである。 そんな馬鹿な、と思う人もいるかもしれないが、実はこの現象は人知れ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
