2024-02-27にarXiv公開され，昨日（2024-02-28）あたりから日本のAI・LLM界隈でも大きな話題になっている、マイクロソフトの研究チームが発表した 1ビットLLMであるが、これは、かつてB-DCGAN(https://link.springer.com/chapter/10.1007/978-3-030-36708-4_5; arXiv:https://arxiv.org/abs/1803.10930 )という「１ビットGANのFPGA実装」を研究していた私としては非常に興味をそそられる内容なので、論文を読んでみた。今回は速報として、その内容のポイントを概説したい。 論文情報 Ma, S. et al. (2024) ‘The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits’, arXiv [c

はじめに昨夜からBitNetという1bit量子化LLMが話題になっていました。 簡単な概要としては、 既存のLLMが１パラメータをFP16やBF16などのfloat型で扱っているものを、１パラメータで{-1, 0, 1}しか扱わない様にした。 計算に使う情報量を削ることで、処理速度の向上、メモリの節約が叶う。 3B params以上ではベンチマークスコアの平均で同サイズのLlamaを上回る結果となった。（量子化手法としては初） ということだと思います。 これは元々、今回の論文と同チームによって提案された"BitNet: Scaling 1-bit Transformers for Large Language Models"という論文を拡張したものです。この時は１パラメータで{-1, 1}として扱ってけれど、{-1, 0, 1}としたらうまくいったというのが今回の"The Era of 1

関連記事 オリジナルのChatGPTが作れる「GPTs」、全課金ユーザーに開放　プログラミング不要、対話でOK 米OpenAIは、同社のテックカンファレンス「OpenAI DevDay」で発表した、ノーコードでオリジナルの「ChatGPT」が作成できるカスタムツール「GPTs」を全てのサブスクリプションユーザーに開放した。 ノーコードで「ChatGPT」のカスタム版を作れる「GPTs」、有料会員に提供へ OpenAIは、初の開発者会議DevDayで、ノーコードでChatGPTのカスタム版を作れる「GPTs」を発表した。作ったGPTsは「GPT Store」で販売し、収益を得ることもできるようになる。 ChatGPTユーザーは毎週1億人　著作権侵害防止の「Copyright Shield」追加 OpenAIはサンフランシスコで開催の初の開発者会議「DevDay」で、「ChatoGPT」のユー

香川県三豊市は、今年6月から東京大学大学院と実証実験を進めてきた「チャットGPT」を使ったゴミ出し案内の導入を断念すると発表しました。三豊市では、東京大学大学院工学系研究科の松尾研究室と協力して、今年6…

AIでは代替しづらい人間のスキル 小澤健祐氏：この作るAIから使うAIへの変化は、ぜひご理解をいただきたいところです。その上で今日は簡単にキャリアのお話もできればということで、これからのヒューマンスキルみたいなお話をさせていただきたいなと思っております。 こういった定義の仕方は、見たことがある方も多いかもしれませんが、今、生成AIを使うと、本当にさまざまなことができるようになっています。 どういうことかと言うと、人間のスキルをソフトスキル、ハードスキル、メタスキルに1回分解してみるとしましょう。ソフトスキルとして挙げられるのは、やっぱり人間性に近い対人関係などのスキルですよね。 どうしても型化をすることができず、何かの学習サービスで学習することが難しいものになります。ちょっとアートな側面があり、形式化されていない。だからこそAIなどの技術で代替しづらい、そして学習しづらいのが、このソフトス

LayerX バクラク事業部 機械学習チームの機械学習エンジニア兼マネージャーの松村（@yu-ya4）です。半年間に結婚祝いでいただいたたくさんのお酒が順調に減ってきているのですが、サントリーウイスキー角瓶 4Lペットだけはなくなる気配がありません。 この記事はLayerXテックアドカレ2023の16日目の記事のはずです。 前回はosukeさんの『Azure AI SearchのSemantic Ranker』という記事でした。 次回はminako-phさんによるタメになる記事、『Notionでスプリントのあれこれをダッシュボードで可視化する 』が公開予定ですされました。 昨今のAIの進化には目を見張るものがあります。先日のOpenAI DevDayやMicrosoft Igniteでも様々な衝撃的な発表がなされました。今週は違う意味で衝撃的なニュースが多かったですが。 そのような時代です

こんにちは、LayerX CTOの@y_matsuwitterです。最近はパン作りにハマっています。無心に小麦と酵母の声を聞くことで精神の安寧を求めています。 この記事は LayerXテックアドカレ2023 19日目の記事です。前回は @shota_tech が「Go の linter 雰囲気で使っていたから調べ直した #LayerXテックアドカレ」を書いてくれました。次回はEMオフィスの@serimaより「Engineering Officeの話」がポストされる予定なのでご期待ください。 ISUCON13 昨日開催のISUCONに参加してきました。とても楽しい問題ですし、これだけの人数での開催を支えている運営の皆さんには頭が上がりません。個人でもLayerXとしてもスポンサーさせていただきました。ありがとうございます！ 10年近く一緒に出場している.datというチームで、私はプロンプトを

AIの専門メディアの編集長・小澤氏が登壇 小澤健祐氏：ではさっそくスライドに入っていければと思います。まず最初に自己紹介をさせていただきます。おざけんという名前で活動させていただいているんですが、人間とAIが共存する社会を作ることをビジョンに、2017年からAIの専門メディアの編集長をしております。それがこの「AINOW」というメディアですね。 今は、その他もいろいろと取り組みをさせていただいております。例えば9月28日に『生成AI導入の教科書』という書籍を出版させていただきました。初めての書籍なんですがAmazonでベストセラーにもなったり、継続してランクインして、かなりご好評をいただいております。 生成AIについてもっと知りたいと思ったり、みなさんの会社で導入したいと思ったら、ご購入いただければと思います。その他、生成AI活用普及協会の協議員も務めておりまして。ふだんから、生成AIの活

ChatGPT がアプリケーションに最初に組み込まれたのは GitHub Copilot かもしれません。ここでは、ChatGPT そのものと、GitHub Copilot の双方を使って、アプリケーション開発を爆速させ、品質を少しでも向上させ。そして、Developer の皆さんのスキルを上げていくための入り口として、機能の概要を取り上げます。 内容: - Promptだけで出来るコト: 業務で使うために抑えておくべきポイント。データ・変換・抽出 - PromptのEngineeringへの適用: 企画から要件定義、設計、実装、デプロイも。 - 開発の生産性と品質をあげるための戦略: Prompt自身の現在の能力、チーム開発に向けて サンプルのPrompt: https://github.com/dahatake/ChatGPT-Prompt-Sample-Japanese/tree/m

米OpenAIが提供する対話型AI「ChatGPT」のアプリ版（Android、iOS）で、まるで人間と会話しているように受け答えする音声対話機能「ChatGPT with voice」が無償の一般ユーザーでも使えるようになった。 ChatGPTのアプリを開き、右下にあるヘッドフォンのアイコンをタップすると音声による対話を始められる。初期設定時は5種類の声から任意に選べ、後から変更も可能だ。 画面を見ずにハンズフリーで会話できる他、ユーザーが発した言語を自動認識して返答する。設定で主な言語を設定すると、より認識精度が高まる。やりとりした内容はテキストで後から確認できる。 ChatGPTはもともと人間と対話しているような返答をする。これに声が付くことで、より一層に人と会話しているような感覚を覚えるだろう。実際に試してみたところ、独特なイントネーションがある日本語が達者な外国人と話しているよう

GPTsという、特定の役割を持った専用のGPTを作る仕組みが最近できた。といっても、従来のGPT-4にあらかじめ特定の指示 (description)と前提知識のファイル (knowledge)を与えられるだけで、今までできなかったことができるわけではない。だけど、特定のタスクをさせる時に、それらをいちいち指定する手間を省けるので、便利な機能と言えよう。 ChatGPTにミニゲームを作らせる試みは前もやったけど、あまりうまくいかなかった。 そこで今回は以下の改良を加えて、専用のGPTを作ってみた。 最初にユーザからゲームのテーマを与えてもらう。 その後、そのテーマに沿ったゲームのアイデアを5つユーザに提示し、適切なものを選んでもらう。 選ばれたアイデアに対して、ルール作成、プレイヤー動作のコード作成、その他の動作作成、スコアリング、難易度、効果音、と順番に少しづつゲームを作らせる。 「小さ

本資料は，東京大学松尾研究室で開催された強化学習セミナーの講義資料をもとに，講演目的でより初学者向けに内容を調整したものです．特に強化学習で最も基本的かつ最重要手法であるQ学習や，それの深層強化学習版のDQN（Deep Q-Network）を中心に解説しています. 昨今，ChatGPT等の大規模言語モデル（LLM）の開発に強化学習が使用（RLHF等）され，さらに強化学習をLLMに本格的に組み込んだAI（ GoogleのGemini，OpenAIのQ*等）の出現が予想されることから，�強化学習の知識の普及のため公開しました.

ChatGPTをはじめとする生成AI（人工知能）の目覚ましい成功は、機械の台頭が労働者にどのような影響をもたらし、最終的に我々の社会をどう変えるのかについて沸騰していた議論にさらに火をくべた。破滅派は、ロボットが人間に取って代わり、人類文明を滅ぼすだろうと予測している。楽観派は、成長に伴う苦しみは避けられないが、乗り越えれば、新たなる知的機械によって我々社会はもっと良くなるだろうと主張している。なんだかだいっても、人類は、過去の技術革命を特に悲惨な結果とせずに、うまく消化してきている。 しかし、歴史から学ぶのは、簡単ではない。AIによる革命は、我々社会に新たな予期せぬストレスをもたらすだろう。現在、技術のシフトのもたらす勝者と敗者について議論されているが、これは重要な側面を欠いている。技術シフト後に社会・政治的な混乱がどれだけ生じるかも重要だ。 この原理の極端な例として、ある特殊な労働者階

“オリジナルCopilot”が作れる「Copilot Studio」登場　スタンドアロン型にも対応　GPTとも連携：Microsoft Ignite 米Microsoftは、AIプラットフォーム「Microsoft Copilot Studio」を発表した。自身の好みにカスタマイズした生成AIツール「Copilot for Microsoft 365」（Copilot）をローコードで作成できる。 米Microsoftは11月15日（現地時間）、AIプラットフォーム「Microsoft Copilot Studio」を発表した。自身の好みにカスタマイズした生成AIツール「Copilot for Microsoft 365」（Copilot）をローコードで作成できる。同日から利用可能、Copilotとの統合はパブリックプレビューで提供している。

［速報］マイクロソフト、「Bing Chat」を「Copilot」にリブランディング。Copilot公式サイトも公開し全ブラウザで利用可能に。Ignite 2023 マイクロソフトは開催中の年次イベント「Microsoft Ignite 2023」で、これまで「Bing Chat」および企業向けに「Bing Chat Enterprise」の呼称で提供してきたAIサービスを「Copilot」にリブランディングし、同社のAIサービス全体の体験を「Microsoft Copilot」で統一していくことを明らかにしました。 「We are Copilot Company. We believe in the future where there will be Copilot for everyone, and everything you do.」（我々はCopilotカンパニーだ。あらゆる人

マイクロソフトは開催中の年次イベント「Microsoft Ignite 2023」で、同社のAIサービスであるCopilotのカスタマイズやプラグイン開発、ワークフローの設定、データソースとの接続などを含むさまざまな開発を可能にするローコード開発ツール「Copilot Studio」を発表しました。 例えば、何もカスタマイズされていないCopilotは、ある企業の出張経費の上限などについて正しく答えることはできません。 そこで、Copilot Studioを利用して出張経費の……

ChatGPTの登場から早1年がたとうとしている。生成AI（人工知能）をどう生かすかが企業の競争力を分ける時代が迫る中、先行企業は一歩踏み込んだ活用に乗り出し始めた。セキュリティーを担保するオリジナルの仕組みを実装したり、自社の業務に合わせてチューニングを施したりといった具合だ。 ChatGPTをお試しで利用する段階は終わりを告げ、いよいよ企業独自の取り組みで差がつく段階に突入している。日本企業における意欲的な取り組みを追った。 全社に展開してニーズを把握 「生成AIが与えるインパクトや、技術との親和性を考えると、絶対に必要になると確信した」――。このように話すのはダイキン工業の清木場卓IT推進部IT企画担当課長兼テクノロジー・イノベーションセンター主任技師だ。 ダイキン工業は2023年2月、いち早く生成AIへの取り組みを始めるため、先進技術の活用提案をする組織「IT創発グループ」に生成A

ガジェット全般、サイエンス、宇宙、音楽、モータースポーツetc... 電気・ネットワーク技術者。実績媒体Engadget日本版, Autoblog日本版, Forbes JAPAN他 Google DeepMindは、機械学習ベースの気象予測プログラム「GraphCast」が、中期予報においてこれまでの一般的な気象予測手法よりも高い精度を示したとする論文を、科学誌Scienceに発表しました。 GraphCastは、地球全体を緯度経度それぞれ0.25度ごとにり、100万以上の区画それぞれについて気温、風速風向、平均海面気圧など5つの地表面変数と、比湿、風速風向、気温を含む6るの大気変数を、37段階の高度ごとに予測します。そして、その精度は、世界で最も優れるとされるヨーロッパ中期予報センター（ECMWF）の気象予測システムを上回るとDeepMindは報告しています。 GraphCastの入力

Google DeepMindのAI気象予測モデル「GraphCast」、従来予報を大きく上回る性能との研究結果 Google DeepMindは、「Graph Neural Network」（GNN）採用の気象AIモデル「GraphCast」をオープンソースで公開した。欧州中期天気予報センターのデータでトレーニングされており、向こう10日間の気象予測を約1分で生成する。 米Google DeepMindは11月14日（現地時間）、「前例のない精度で中期天気予報を行うことができる」と謳う気象AIモデル「GraphCast」を発表した。 同日に科学雑誌「Science」に掲載された論文によると、世界の気象状況を最大10日前まで予測する場合、GraphCastは気象シミュレーションシステム「欧州中期天気予報センター」（ECMWF）の「高解像度予報」（HRES）より正確かつ迅速だったという。 異