生成AIの「RAG」とは？ 知っておきたい重要キーワードを解説する【イニシャルB】
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
NVIDIAのCEOが「AIがコードを書くのでもうプログラミングを学ぶ必要はない」と発言して議論を巻き起こす
by Hillel Steinberg ハイテク企業やベンチャー企業のトップが、「これからの若者はプログラミングを身につけるべき」とアドバイスするのを見聞きしたことがある人は多いはず。こうした潮流とは裏腹に、NVIDIAのジェンスン・フアンCEOが「プログラミングはもはや不可欠なスキルではない」と提唱しました。 NVIDIA CEO: Every Country Needs Sovereign AI | NVIDIA Blog https://blogs.nvidia.com/blog/world-governments-summit/ Jensen Huang says kids shouldn't learn to code — they should leave it up to AI | Tom's Hardware https://www.tomshardware.com/tec
ベクトルデータベースとは何かを解説、生成AIで「必須の存在」はどんな役割を担うのか
生成AIの可能性を広げる「ベクトルデータベース」への関心が急速に高まっている。ベクトルデータベースとは、生成AIが扱う非構造化データの格納・管理・照会で利用されるデータベースのこと。ここではベクトルデータベースの基本をわかりやすく解説するとともに、生成AIの普及において、どのような役割を果たすのか、注目される理由などと合わせて紹介しよう。 バークリー音大提携校で2年間ジャズ／音楽理論を学ぶ。その後、通訳・翻訳者を経て24歳で大学入学。学部では国際関係、修士では英大学院で経済・政治・哲学を専攻。国内コンサルティング会社、シンガポールの日系通信社を経てLivit参画。興味分野は、メディアテクノロジーの進化と社会変化。2014〜15年頃テックメディアの立ち上げにあたり、ドローンの可能性を模索。ドローンレース・ドバイ世界大会に選手として出場。現在、音楽制作ソフト、3Dソフト、ゲームエンジンを活用し
“世界生成AI”到来か 画像生成AIのゲームエンジン化が進む (1/5)
Midjourneyの生成画像。12月のアップデートのv6では、写真と変わらないような画像が生成されることが話題となっている。この画像のような世界を動き回れるようになるのだろうか（筆者作成） 画像生成AIサービス「Midjourney」のオフィスアワーがあったのが1月4日。アメリカ時間で1月3日ですかね。オフィスアワーというのは、MidjourneyがDiscord上で月に1回開いて、いろいろユーザー向けに今後どのようにサービスが展開されるのかを説明するミーティングです。その会合に参加していたNick St. Pierreさんの報告によると、Midjourneyのデイヴィッド・ホルツCEOが「2024年末までにホロデッキに到達できる」と話したと言うんですね。「2024 年末までには、リアルタイムのオープンワールドが実現できればと思っています」とも言い、画像生成AIが、単にイラストといった画
ChatGPTのビジネス導入を目指すなら、 東京都の「文章生成AI利活用ガイドライン」を読もう
業務効率化、生産性向上のためにChatGPTなどの文章生成AI導入を検討する企業は多いだろう。しかし、ChatGPTには情報漏洩や不正確な記述、著作権侵害などの不安もあり、なかなか導入に踏み切れないという声も聞く。そこで、東京都が最近公開した利活用ガイドラインを参考に、文章生成AIの安全な導入・活用について見ていこう。 文／狐塚 淳 2023年8月23日、東京都デジタルサービス局は「文章生成AI利活用ガイドライン」（Version1.0）を公開した。同ガイドラインは都の職員が文章生成AIをデジタルツールとして活用し、行政サービスの質を高め、都政のQoS（Quality of Service）を向上させていくための指針を提供する。対象とする文章生成AIはChatGPTだ。デジタルサービス局では文章生成AI利活用のプロジェクトチームを4月に立ち上げて議論を重ね、8月から全局での導入にいたってい
「チャット・文章生成系AIカオスマップ 2023」が公開
株式会社LIFRELLは、生成AI分野で活躍するサービスがわかる「チャット・文章生成系AIカオスマップ 2023」を公開したと発表した。 本カオスマップは、チャット・文章生成AIの強みを「チャット」「大規模データ処理」「読み上げ・文字起こし」「言語生成」の4つのカテゴリー、18のジャンルに分け、合計122サービスをマッピングしたものだ。 ・カテゴリー・ジャンル チャット - 生成AI基盤チャットボット - チャット 大規模データ処理 - 検索エンジン - Ad collateral - LLM - 対話型生成AI - データ生成 - MLOps - プラットフォーム - データ分析 - クリエイティブオーガナイゼーション 読み上げ・文字起こし - 文字起こし・議事録作成 - 文章読み上げ・書き起こし - 合成音声生成 言語生成 - ライティング - 文章作成 - 文章要約 - 要約と考察
Humane、“ポストスマートフォン”のAIガジェット「Ai Pin」を699ドルで発売へ
米新興企業Humaneは、胸元にバッジのように装着して使うAI活用のためのデバイス「Ai Pin」を発表した。米国で699ドルで発売する。利用するにはネット接続のための月額24ドルのサブスクも必要だ。 元Appleの2人のエンジニアが立ち上げた米新興企業Humaneは11月9日（現地時間）、AIを活用するためのウェアラブルデバイス「Ai Pin」を発表した。米国では11月16日から注文を受け付ける。デバイスの価格は699ドル（約10万円）で、ネット接続などのためのサブスクリプションの価格は月額24ドル。 Ai Pin本体とマグネットで合体するバッテリーブースターで構成されており、サイズは47.50×44.50×（14.98＋8.25）mm、重さは34.2＋20.5g。本体とブースターで衣服を挟むことで胸元などに装着できる。 米Qualcommの8コアのSnapdragon、4GBのメモリ、
AIのみで『アングリーバード』を“コピー”したユーザーあらわる。コードは1行も書かず、実際にプレイ可能な『Angry Pumpkins』 - AUTOMATON
AI活用を模索するとあるユーザーが10月31日、『Angry Birds（アングリーバード）』に酷似したゲーム『Angry Pumpkins』を制作したと報告。同作はグラフィックもゲームコードもすべてAIで構築したとして、大きな反響を呼んでいる。 『アングリーバード』は、Rovio Entertainmentが手がけるパズルゲームシリーズだ。同作はAndroid/iOS向けゲームとして大人気に。続編『Angry Birds 2』やPC向け展開もされた。ゲームプレイとしては、スリングショット（パチンコ）で鳥を発射。物理演算や障害物との衝突も計算に入れつつ、フィールド上の敵を倒していくのが目的となる。シンプルなルールで多くのユーザーに親しまれる作品だ。 同作に類似したゲームを「AIのみで構築した」と報告する者があらわれた。AIの活用法を模索するユーザーのJavi López氏だ。同氏は、ルーム
OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる｜shi3z
凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡単 $ interpreter -yこれだけでOK。 あとはなんでもやってくれる。 たとえばどんなことができるのかというと、「AppleとMetaの株価の推移をグラフ化してくれ」と言うとネットから自動的に情報をとってきてPythonコード書いてグラフをプロットしてくれる。 凄いのは、ローカルで動くのでたとえばApplescriptを使ってmacOSで動いているアプリを直接起動したり操作したりできる。「Keynot
ジェネレーティブAIの進歩に大きな影響を与えた「Transformer」を開発した研究者らはなぜGoogleを去ったのか？
昨今のChatGPTやMidjourneyなど、さまざまなジェネレーティブAIを支えるニューラルネットワークアーキテクチャである「Transformer」は、2017年にGoogleの研究者8人によって発表されました。しかし、Transformerの開発に携わった研究者は全員Googleを退職していることが報じられています。 Ex-Google Scientists Kickstarted the Generative AI Era of ChatGPT, Midjourney - Bloomberg https://www.bloomberg.com/opinion/features/2023-07-13/ex-google-scientists-kickstarted-the-generative-ai-era-of-chatgpt-midjourney 2017年にGoogleの研究
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦 2023.08.19 Updated by Ryo Shimizu on August 19, 2023, 16:47 pm JST そろそろ業界の最深部でしか知られてなかった事実がニュースになって来始めているのでここで本当の問題を明らかにしておきたい。 AI開発に必須なのは、計算資源である。そしてこれは現在のところ、事実上NVIDIAが一社独占している。 NVIDIA以外の半導体がいくら「AIに特化しています」と能書きを垂れていてもごくわずかな例外を除いてはほとんど全部が誇大広告である。 たとえばApple Silliconは、「ニューラルエンジン」と称するモジュールを内蔵しているが、これを使ってAIの学習をすると、なんとCPUよりも遅い。信じられないかもしれないが、これが残酷な事実なのである
ChatGPTのコア技術「GPT」をざっくり理解する - Qiita
※本記事はOracleの下記Meetup「Oracle Big Data Jam Session」で実施予定の内容です。 ※セミナー実施済の動画に関しては以下をご参照ください。 本記事の対象者 これから機械学習を利用した開発をしていきたい方 機械学習のトレンド技術を知りたい方 なるべく初歩的な内容から学習したい方 はじめに Transformerの登場以降、著しい技術革新が続くここ数年、特にOpenAI社のChatGPTのサービス開始以降、おびただしい数の技術ブログや記事がインターネット上に存在する中、本記事に目を留めていただいてありがとうございます。 この勉強会では、専門用語や難解な公式を極力排除し、初学者の方々を対象に、「そもそも自然言語の機械学習ってどういうもの？」、「言語モデルって要するに何？」というところからGPTをざっくり理解することを目的としています。従って、本記事に記載のあ
ChatGPTの開発元OpenAIが「10年以内にAIがほとんどの分野で専門家のスキルレベルを超える」という懸念に基づき「超知能AI」の登場に備えるべく世界的な規制機関を立ち上げる必要があると主張
現地時間の2023年5月22日、対話型AI「ChatGPT」や大規模言語モデル「GPT-4」などを開発したAI研究団体のOpenAIが、専門家のスキルレベルを超え、高度な生産活動を行うAI「超知能(Superintelligence)」の登場を予期し、AIの安全な開発を進めるためには国際的な規制機関の立ち上げが必要になると提唱しています。 Governance of superintelligence https://openai.com/blog/governance-of-superintelligence 2023年5月22日にOpenAIはサム・アルトマンCEOやグレッグ・ブロックマン氏、イリヤ・スツケバー氏の連名で、AI研究における国際的な監視組織や規制機関を立ち上げる必要があると提唱しました。 Initial ideas for governance of superintel
「学校からChatGPTへのアクセスを禁止する」という決定を下したニューヨーク市教育局が方針転換して生成AIを受け入れている
アメリカ最大の学区であり約110万人もの生徒数を抱えるニューヨーク市教育局(New York City Public Schools)は、人間と同レベルの対話が可能な対話型AI・ChatGPTの台頭に際し、2023年1月に「学校からChatGPTへのアクセスを禁止する」と発表しました。ところが2023年5月、ニューヨーク市教育局のデビッド・バンクス理事長は、すでにニューヨーク市教育局は当初の方針から転換し、AIについての教育をサポートしていることを報告しました。 After a cautious start, our approach to AI technology is evolving.⁰ Our students will work in a world where understanding generative AI is crucial.⁰ @DOEChancellor wr
生成系人工知能（生成AI）についての学長からのメッセージ | 武蔵野美術大学
学生の皆さんへ 2023年5月11日 学長 樺山祐和 現在、ChatGPTをはじめとした生成系人工知能（生成AI）についての議論が高まっています。そして、今後ますます技術が進み、また社会にも深く広く浸透していくことが予想されます。 美術大学としてはよりよい「学び」を得てもらうべく、こうした新技術を柔軟に活用し、また危惧される側面にも十分に配慮し、制作や研究に真摯に向き合ってもらいたいと期待しています。このメッセージでは、以下の6点を軸に、生成AIをめぐる現状と課題について大学としての見解を記述します。 身近なツールとなってきた生成AIを、まずは自分の目で確かめてみよう。 生成AIの問題や可能性についてより深く考えていこう。 個人情報や機密情報、また悪意のある内容の入力は絶対にしてはいけません。 レポートや論文に、生成AIの回答をそのまま用いて提出することを禁止します。 生成AIを引用すると
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
米ニューヨーク・タイムズ、OpenAIを提訴 記事流用で数千億円損害 - 日本経済新聞
AIの報道利用、日経はこう考えます - 日本経済新聞
生成AIは職場のエースになれるか 「独自型」LLMで機密保持 - 日本経済新聞
