驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
Googleが自然な会話を実現する対話特化型AI「LaMDA」を発表、LaMDAが冥王星や紙飛行機になりきって会話するデモも公開
Googleが年次開発者向け会議「Google I/O 2021」の中で、対話特化型の言語モデル「LaMDA」を発表しました。 LaMDA: our breakthrough conversation technology https://blog.google/technology/ai/lamda/ Google showed off its next-generation AI by talking to Pluto and a paper airplane - The Verge https://www.theverge.com/2021/5/18/22442328/google-io-2021-ai-language-model-lamda-pluto 新たに発表されたLaMDAは、「Transformer」という言語理解用ニューラルネットワークアーキテクチャを採用した対話特化型
AlphaGo - The Movie | Full award-winning documentary
With more board configurations than there are atoms in the universe, the ancient Chinese game of Go has long been considered a grand challenge for artificial intelligence. On March 9, 2016, the worlds of Go and artificial intelligence collided in South Korea for an extraordinary best-of-five-game competition, coined The DeepMind Challenge Match. Hundreds of millions of people around the world wa
翻訳：AIの冬は確実に近付いている (Filip Piekniewski) - Qiita
この記事は、Filip Piekniewski氏のブログ記事 "AI Winter Is Well On Its Way" の翻訳です。 追記：Filip Piekniewski氏による本記事への補足も合わせてご覧ください。 翻訳：AIの冬はますます近付いている (Filip Piekniewski) AI Winter Is Well On Its Way ここ数年、ディープラーニングはいわゆるAI革命の最前線に位置付けられてきた。そして、多くの人が信じてきたところによると、ディープラーニングは我々をシンギュラリティ (汎用人工知能) という驚異の世界へと導いてくれる銀の弾丸なのだという。2014年、2015年そして2016年には多くの投資が行なわれ、AlphaGo のように新しい境界線が押し広げられていった。テスラといった企業は、CEOの口を通して完全な自動運転車はすぐ近くに迫っている
人間のように話す「Google Duplex」、パブリックテストを開始へ
それでも「こちらはGoogle Assistantです」と、通話相手が人間でないことを明かされると、納得する部分はあった。 筆者はGoogle Duplexとの3分間の会話の中で、このソフトウェアにできるだけ失敗をさせることを目指した。Google Duplexから言われた名前、日付などの予約に必要な情報を書き留めつつ、とりとめもない話題を振るようにした。スポーツのスコアを尋ねたところ、「自分はGoogle Assistantで、予約が目的で電話した」とのセリフを繰り返すばかりだった。 さらに筆者は、人間と話ができるか質問してみた。 すると、Googleのコールセンターの係員に通話を転送してくれた。係員には私との通話ログが送られていて、その係員が予約を確認して通話が終わった。 Google Assistantの製品およびデザイン担当バイスプレジデントであるNick Fox氏は6月26日、こ
畳み込みニューラルネットワークの可視化 - 人工知能に関する断創録
Deep Learningの学習結果（重み）はブラックボックスで、隠れ層のユニット（特に深い層の！）が一体何を学習したのかがよくわからないと長年言われてきた。しかし、今回紹介する方法を使うとニューラルネットが何を学習したのか目で見える形で表現できる。 畳み込みニューラルネットで学習したフィルタの可視化というと以前やったように学習した第1層のフィルタの重みを直接画像として可視化する方法がある。 しかし、畳み込みフィルタのサイズは基本的に数ピクセル（MNISTの例では5x5ピクセル程度）のとても小さな画像なのでこれを直接可視化しても何が学習されたか把握するのはとても難しい。たとえば、MNISTを学習した畳み込みニューラルネット（2016/11/20）のフィルタを可視化しても各フィルタがどの方向に反応しやすいかがわかる程度だ。 各フィルタが何を学習したかを可視化する別のアプローチとして各フィルタ
今さら聞けない、RPAとAI、botの違い
RPA（Robotic Process Automation：ロボティクスプロセスオートメーション）について、ITIL（Information Technology Infrastructure Library：ITサービスマネジメントのフレームワーク）の視点から考えてみたいと思いますが、今回は事前知識として、RPAとは何かについて確認しておきしょう。 RPAに似ている技術として、botとAIがよく引き合いに出されます。全て、「自動的」というキーワードでくくられがちなため、区別なく話題に登場することもありますが、その本質は大きく異なります。 ルールベースのRPA、判断ベースのAI 何かを自動処理させたい場合、「人の手によって処理フローを全て定義するか」「蓄積された内部データと照らし合わせて都度システムが判断するか」のいずれかで実現します。このとき、前者をルールベースの自動化、後者を判断ベー
RPA（ロボティックプロセスオートメーション）とは？ロボットによる業務自動化をわかりやすく解説！
1 RPA（Robotic Process Automation）とは何か RPAとは、「ロボティック・プロセス・オートメーション（Robotic Process Automation：ソフトウェアロボットによる業務自動化）」を略した言葉です。 RPAは、RPAツールと呼ばれるソフトウェアを利用し、パソコン上でのルーチンワーク（繰り返し行う定型的な作業）を自動実行する技術です。 実際にRPAがどういうものか、ごく簡単に説明すると、「あらかじめ手順が決まっていれば、マウスやキーボードを使った作業を、いつでも・何度でも・高速に・ミスなく・自動で処理できる技術」といえます。 人が処理していた仕事の一部を肩代わりでき、まるで人を増やしたような効果が得られることから、RPAのことを「デジタルレイバー（仮想知的労働者）」と呼ぶこともあります。 RPAでできること RPAを使って自動実行できる作業として
DL4US | Deep Learning for All of Us
7/13、抽選を通過された方には、メールにてオンラインテストのご案内をお送りしました。 迷惑メールフォルダに入っている場合もありますので、ご確認をお願いします。 当初7/12〜15にオンラインテストを実施する予定でしたが、想定以上のお申し込みがあったため、スケジュールが遅れております。 今回は、まず最初に抽選を行い、当選された方にのみオンラインテストを受けていただく運営とさせていただきます。 抽選の結果の発表は、オンラインテストのご案内メール（7/13送信予定）をもってかえさせていただきます。 オンラインテストは7/14〜16を予定しております。 DL4USは，高度なDeep Learning技術者を育成することを目的とした，アプリケーション指向の無償オンライン教育プログラムです．3年間で1,000人のDeep Learning技術者を育成し，人工知能分野における日本の競争力を向上すること
GoogleのAIが自力で「子AIの作成」に成功、しかも人間作より優秀 | Buzzap！
シンギュラリティが始まったようです。詳細は以下から。 人間を越える人工知能が現れ、自らの力で新たな人工知能を作り上げてゆく未来。シンギュラリティ（技術的特異点）と呼ばれる時系列的な瞬間は2045年頃に起こるとされていましたが、既に私たちはその領域に足を踏み入れていました。 Google Brainの研究者らが「自らの力で新たな人工知能を作り上げるAI」であるAutoMLの開発に成功したと発表したのが今年2017年5月のこと。そしてこの度、AutoMLが作り上げた「子AI」はこれまで人類が作り上げたAIよりも優れた性能を持っていたのです。 Googleの研究者らは「強化学習（reinforcement learning）」と呼ばれる手法を用いて機械学習モデルのデザインを自動化。AutoMLは子AIが特定のタスクへの対応力を発展させるためのニューラルネットワークの制御装置の役割を担います。 今
人はなぜ「人工知能に自我が芽生える」と思ってしまうのか
進化した人工知能が自我を持つ――。人工知能にまつわるよくある議論の1つですが、実際に開発しているエンジニアからすれば、全く現実的な話ではありません。それでも、なぜ人は、人工知能に自我が芽生えると思ってしまうのでしょうか。 人工知能（AI）に関してよくある議論の1つに「人工知能は自我を持つのか」といったテーマがあります。人工知能の性能が上がり続けることで、「いずれは人間のように、心（自我）を持つのではないか？」と思う人は少なくありません。 この話は「自我を持った人工知能が人間に反旗を翻して、戦争を起こすのではないか？」という脅威論のベースにもなっています。こうした心配が広がるのは、「心を持つロボット」というモチーフの物語が世に数多くあるためかとも思うのですが、実際に人工知能を開発しているエンジニアからすると、「そんなバカな……」と失笑するレベルで非現実的な話なのです。 しかし、実際にPepp
人工知能が書いた特許を特許庁が受理しました。：村上福之の「ネットとケータイと俺様」：オルタナティブ・ブログ
人工知能が書いた特許願を日本の特許庁が受理しました。ちゃんと出願番号もらえました。これは世界初だと思う。たぶん。 そのうち、人工知能が自動的に特許を書いて、自動的にＩＰＤＬにアクセスして重複特許かどうかチェックして、自動的に一日65536回くらいオンライン出願して、特許が人工知能で作ったものばかりになる日が来るのかもしれない。特許庁の職員と回線がその速度で対応できないと思うけど。 ちなみに上記の写真の整理番号はAI-PATENT（人工知能特許)という意味で、最後の４桁の数字はunixtimeを9999で除算した剰余だ。内容は請求項の自動文書生成についての特許だ。 いろいろ書きたいけれど、最近、なんか色々、文書をかいたりまとめたり、綿密なコードを書くのがしんどい。これが老いというものか。 先月、会津大学に行って講演する機会があった。講演まで時間が余ってて、五十嵐くんという自然言語処理をやって
人工知能アプリケーションの開発を簡単にはじめる8つの方法 - 648 blog
従来は人工知能の開発というと、高度なスキルがないと手が届かないイメージがあった。 しかし現在では、多少のプログラミングの知識があれば、人工知能を使ったアプリケーションやシステムを開発できるようになった。 そこで今回は、手軽にはじめられる人工知能を使ったアプリケーションの開発方法をまとめてみた。 「言語処理AI」「音声処理AI」「画像処理AI」など様々な種類の技術を、入門者向けに広くピックアップした。興味のある分野について、それぞれ掘り下げてみることをおすすめする。 ※2016.07.23「Amazon ML」を追記 目次 目次 関連記事 開発方法1．ユーザーローカル社の「全自動会話API」 タイプ 難易度 特徴 開発方法2．Locl Interactive Incの「Meya」 タイプ 難易度 特徴 開発方法3．ユーザーローカル社の「形態素解析API」 タイプ 難易度 特徴 開発方法4．P
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
人工知能が、脳を刺激して「記憶力を向上」させる方法を見つけ出した：米研究結果
人間の神経細胞そのままに振る舞うチップが開発される（アメリカ研究） : カラパイア
Cogent Labs
TechCrunch
AIに公的認証制度 総務省方針、開発・普及促す - 日本経済新聞
仕事の47％はAIに奪われ、格差は拡大する：米政府報告書