速報：話題の 1ビットLLMとは何か？｜寺田英雄（㈱オープンストリームCTO）
2024-02-27にarXiv公開され，昨日（2024-02-28）あたりから日本のAI・LLM界隈でも大きな話題になっている、マイクロソフトの研究チームが発表した 1ビットLLMであるが、これは、かつてB-DCGAN(https://link.springer.com/chapter/10.1007/978-3-030-36708-4_5; arXiv:https://arxiv.org/abs/1803.10930 )という「１ビットGANのFPGA実装」を研究していた私としては非常に興味をそそられる内容なので、論文を読んでみた。今回は速報として、その内容のポイントを概説したい。 論文情報 Ma, S. et al. (2024) ‘The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits’, arXiv [c
生成AI活用の試行錯誤〜Ubie社での取り組み〜｜masa_kazama
生成AIChatGPTをはじめとするGenerativeAI(生成AI)は、テレビや新聞で見ない日はないくらいに話題になっています。YouTubeでも芸人さんがChatGPTを紹介する動画が多数出ています。（個人的に、芸人かまいたちの「ChatGPTに漫才を作ってもらう」という動画が好きです。） 企業でも、ソフトバンクやNTTなどの大企業が、会社を上げて生成AIの開発・活用をしていくと発表しています。行政においても、横須賀市やつくば市が生成AIを積極的に業務に取り入れようとしています。今後ますます多くの企業・行政・個人が生成AIを活用していくと思います。 このブログ記事では、AI×医療のベンチャー企業Ubieでの生成AI活用の試行錯誤してきた取り組み事例をご紹介します。今後の生成AI活用に少しでもご参考になれば幸いです。（プロダクトへの活用はまだ検証中なため、生成AIによる社内生産性向上の
AIを学ぶのに必要な最低限の数学の知識は5つだけ!｜shi3z
最近、「AIを理解したくて代数幾何の教科書を勉強しているんですよ」という人によく会う。 五年前くらい前に、note株式会社の加藤社長も「社内で代数幾何学の勉強会を開いてるんですよ」と言っていた。僕はその都度「それは全く遠回りどころか明後日の方向に向かってますよ」と言うのだがなかなか聞き入れてもらえない。 確かに、AI、特にディープラーニングに出てくる用語には、ベクトルやテンソルなど、代数幾何学で使う言葉が多い。が、敢えて言おう。 代数幾何学とAIはほとんど全く全然何も関係していないと。 なぜこのような不幸な誤解が生まれてしまうかの説明は後回しにして、意地悪をしても仕方ないので、AIを理解するために最低限知っておかなければならない用語を5つだけ紹介する。 テンソル(スカラー、ベクトル、行列など)おそらく、「テンソル」という言葉が人々を全ての混乱に向かわせている。 Wikipediaの説明は忘
Google Colab で PEFT による大規模言語モデルのファインチューニングを試す｜npaka
「Google Colab」で 「PEFT」による大規模言語モデルのファインチューニングを試したので、まとめました。 1. PEFT「PEFT」(Parameter-Efficient Fine-Tuning)は、モデルの全体のファインチューニングなしに、事前学習済みの言語モデルをさまざまな下流タスクに適応させることができるパッケージです。 大規模言語モデルのファインチューニングは、多くの場合、法外なコストがかかりますが、「PEFT」は少数のパラメータのみをファインチューニングするため、計算コストとストレージ コストが大幅に削減でき、さらには、完全なファインチューニングに匹敵するパフォーマンスを実現します。 現在サポートしている手法は、次の4つです。 ・LoRA ・Prefix Tuning ・P-Tuning ・Prompt Tuning 2. Colabでの実行Google Colab
エッジAI史 【AIチップ年表付き】 〜エッジAIは今ここまで進んでいる〜｜Marina Sakaguchi
こんにちは、LeapMind Inc.でマーケティングを担当しているMARINA（@m__sb04）です。 今回の記事は、「LeapMind Advent Calendar」の18日目です！🎄🎅 （3年前からいつかAdvent Calendarを会社でやりたいなぁと思いながらも人数が少なすぎた＆やりたいという人がいなかったので、今年実現してとても嬉しい！！飯塚さんに感謝！） さて本題に早速入っていきますが、職業柄、かれこれエッジAI業界を3年ほどウォッチしてきました。特に、今年はエッジAIブームなのではないかというくらいにJetson Nano、Coral Dev Boardをはじめ、多くのAIアクセラレータが発表・販売されました。 沢山出すぎて自分自身も把握しきれなくなってきたので、そろそろ年表・まとめを作らねばというタイミングで “LeapMind Advent Calendar”
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
