「Wikipediaっぽい記事」を自動生成できるAIシステム「STORM」 米スタンフォード大学が開発【研究紹介】 レバテックラボ（レバテックLAB）
米スタンフォード大学に所属する研究者らが発表した論文「Assisting in Writing Wikipedia-like Articles From Scratch with Large Language Models」は、AIモデルを使い、Wikipedia風の記事を生成するシステムの開発に関する研究報告である。GitHubのリポジトリはこちら。 ▲STORMは、記事にしたいワードから網羅的かつ深い内容の記事を生成することができる。 近年、大規模言語モデル（LLM）は文章生成タスクにおいて目覚ましい性能を示している。しかし、Wikipediaのような網羅的かつ内容の深さを備えた記事を一から生成することは、依然として挑戦的な課題である。記事の生成には、事前の調査やアウトラインの作成など、執筆前の段階における準備が重要な役割を果たすが、従来の研究ではこの点に着目したものは少ない。 この研
速報：話題の 1ビットLLMとは何か？｜寺田英雄（㈱オープンストリームCTO）
2024-02-27にarXiv公開され，昨日（2024-02-28）あたりから日本のAI・LLM界隈でも大きな話題になっている、マイクロソフトの研究チームが発表した 1ビットLLMであるが、これは、かつてB-DCGAN(https://link.springer.com/chapter/10.1007/978-3-030-36708-4_5; arXiv:https://arxiv.org/abs/1803.10930 )という「１ビットGANのFPGA実装」を研究していた私としては非常に興味をそそられる内容なので、論文を読んでみた。今回は速報として、その内容のポイントを概説したい。 論文情報 Ma, S. et al. (2024) ‘The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits’, arXiv [c
驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
人だと正解率92％なのに、GPT-4だと15％になる新型テスト集「GAIA」 米Metaなどが開発
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Metaや米HuggingFaceなどに所属する研究者らが発表した論文「GAIA: a benchmark for General AI Assistants」は、難しいタスクではなく、人間にとって簡単なタスクを達成する大規模言語モデル（LLM）を評価するためのベンチマークを提案している。この研究は、人間が日常で当たり前に実行してほしいタスクを正確にこなすLLM構築を目指すためのテスト集である。 現在のベンチマークは、人間にとってより困難なタスクを求めており、LLMには数学や法律などの複雑なタスクや、一貫性のある本を書くなどの複雑な課題が
Microsoftがたった13億のパラメーターでGPT-3.5超えのHumanEval50.6％をたたき出す「phi-1」を発表
LLaMaやFalconといった小型の大規模言語モデル(LLM)が矢継ぎ早にリリースされる中、Microsoft ResearchのAI研究チームが、プレプリントサーバーのarXivで、Transformerベースのモデル「phi-1」を発表しました。このモデルは、パラメーター数がGPT-3.5の100分の1以下の13億しかないにもかかわらず、テスト用データセット・HumanEvalでGPT-3.5を上回る成績を収めたことが報告されています。 [2306.11644] Textbooks Are All You Need https://doi.org/10.48550/arXiv.2306.11644 Microsoft Releases 1.3 Bn Parameter Language Model, Outperforms LLaMa https://analyticsindiama
人の仕事の80％はAIが担う 世界的研究者インタビュー
ベン・ゲーツェル氏とAIロボットの「デズデモーナ」。ブラジル・リオデジャネイロで開催された「ウェブサミット2023」で（2023年5月3日撮影）。(c)MAURO PIMENTEL / AFP 【5月21日 AFP】ブラジル出身の人工知能（AI）研究の第一人者ベン・ゲーツェル（Ben Goertzel）氏（56）はこのほど、AFPのインタビューに応じ、AIは数年後、人の仕事の80％を担うかもしれないが、それはいいことだとの見解を示した。 数学者で認知科学者でもあり、ロボットクリエーターとしても知られるゲーツェル氏は現在、人の認知能力を持つAI「汎用（はんよう）人工知能（AGI）」を開発する研究グループ「シンギュラリティネット（SingularityNET）」の最高経営責任者（CEO）を務めている。 ゲーツェル氏は今月、ブラジル・リオデジャネイロで開催された世界最大級のテクノロジーカンファレ
ChatGPTの運用コストは1日70万ドル…費用削減へマイクロソフトは専用チップを開発中
Aaron Mok ［原文］ （翻訳：仲田文子、編集：井上俊彦） Apr. 28, 2023, 10:30 AM テックニュース 13,217 ChatGPTを稼働させるには1日最大70万ドル必要だとアナリストが試算している。 Pavlo Gonchar/SOPA Images/LightRocket via Getty Images ChatGPTは｢高価なサーバー｣を使っているため、OpenAIがそれを稼働させるのに1日最大70万ドルのコストがかかっているようだと、あるアナリストがThe Informationに語っている。 ChatGPTは、クエリに答えるために高価なサーバー上で大量の計算をしなくてはならない。 マイクロソフトは、密かにコストを削減するためのAIチップを製造しているとThe Informationが報じている。 ユーザーがChatGPTを使ってカバーレターを書いたり、
NVIDIAが3Dオブジェクト生成AIモデル「NVIDIA GET3D」を発表 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
バンナム、約42万フレーム分のモーションデータ無償公開 歩行、格闘、ダンスなど 研究用に
ライセンスは「CC BY-NC-ND 4.0」で、利用の際にクレジットを表示すること、非営利でのみ利用すること、内容を改変しないことを求めている。 バンダイナムコは、メタバースやXR技術が広まる中、コンテンツ規模が拡大すると従来のモーション制作過程では限界を迎えると予想。AIを活用したキャラクターのモーションを生成する研究を行っている。 一方、AIによるモーション研究はデータセットの入手が難しいため研究開発が進んでいないとして、自社で使っているデータの一部を提供することにしたという。 関連記事 実在しない顔の画像3000点を無償配布、AI学習用データセットに 法人向け・商用利用可 AI活用のコンサルティング事業を手掛けるAPTOなど2社が、AIの学習データとして利用できる、実在しない男女の顔写真3000枚の無償配布を始めた。法人を対象に11月30日までの期間限定で提供し、商用利用も認める。
AIで数学の新たな定理発見 英DeepMindと数学者がNatureに共同論文
新たな数学の定理の発見や、未証明の予想の解決にAIが役立つ──そんな研究結果を、囲碁AI「AlphaGo」などで知られる英DeepMindが発表した。順列に関する新しい定理を発見した他、ひもの結び目を数学的に研究する「結び目理論」についても、異なる数学の分野をつなぐ、予想していなかった関係性を見つけたという。 DeepMindは、豪シドニー大学と英オックスフォード大学の数学者とともに数学研究を支援するための機械学習フレームワークを構築。これまでも数学者は、研究対象を調べるためにコンピュータを使い、さまざまなパターンを生成することで発見に役立ててきたが、そのパターンの意義は数学者自身が考察してきた。しかし、研究対象によっては何千もの次元があることから、人間による考察も限界があった。 今回開発したアルゴリズムは、こうしたパターンを検索する他、教師あり学習を基にその意味を理解しようと試みるという
世界最大規模のディープラーニングを「富岳」で実施して世界一になりました - fltech - 富士通研究所の技術ブログ
はじめに こんにちは。富士通株式会社ICTシステム研究所のMLPerf HPC五人衆です。先週、国際学会SC’21 において、理化学研究所/富士通が共同で開発した新しいスーパーコンピュータ（スパコン）「富岳」がスパコンランキングで4期連続の4冠(TOP500, HPCG, HPL-AI, Graph500)を獲得しましたが、同会議で発表された、実際のディープラーニング(DL)学習処理に特化したMLPerfTM HPC ベンチマークにおいても世界一を獲得しました。 本ブログでは、このMLPerf HPCの一つのアプリケーションであるCosmoFlowの学習を「富岳」で大規模に行い世界一となった、その挑戦についてお話させてもらいます。 はじめに 背景 MLPerf HPCって何？（白幡） CosmoFlowって何？（田渕） 「富岳」って何？（田渕） プロセッサ 通信ネットワーク ストレージ 準
大澤昇平🇺🇳 on Twitter: "録音の一部を公開します ❶ https://t.co/h2vTMkSenh"
録音の一部を公開します ❶ https://t.co/h2vTMkSenh
大澤昇平東大最年少准教授、東大から追い出される
大澤昇平🇺🇳 @Ohsaworks 経済学者 / 元東京大学特任准教授 【略歴】東京大学大学院博士課程卒(TMI PhD)、株式会社Daisy代表取締役CEO(2018-)、IBM (-2017)、元UT松尾研助教、保守SNS®グループ会長 【著書】AI救国論、AI2.0覚日 daisy.inc/ja 橋本敦史@書籍「キッチンインフォマティクス」発売中 @a_hasimoto @Ohsaworks 細かい制度は大学（や部局）毎に千差万別なため，適切な方法はお調べになられたら良いと思います．もちろん，成績情報や人事関係など開示不可なものはありますが，部屋の利用のみの決定ならば下記資料5(3)における開示すべき情報になる可能性はあるかも知れません． mext.go.jp/component/b_me… 2019-12-13 18:36:27
東大特任准教授が「行き過ぎた言動」を謝罪 原因は「AIの過学習によるもの」
「中国人は採用しない」などと不適切発言を繰り返していた東大特任准教授が謝罪。ツイートの原因は「AIの『過学習』」とし、ネットでは更に波紋が広がっている。 「弊社Daisyでは中国人は採用しません」などとTwitterで発言していた東京大学大学院情報学環・学際情報学府の大澤昇平特任准教授が12月1日、自身のTwitterで謝罪した。「この度は当職による行き過ぎた言動が、皆様方にご迷惑、不快感を与えた点について、深く陳謝します」とし、一連の発言は「AIの『過学習』によるもの」と説明した。 不適切とされた一連のツイートについて大澤氏は、「特定国籍の人々の能力に関する当社の判断は、限られたデータにAIが適合し過ぎた結果である『過学習』によるものです」と投稿。これを受け、ネットでは「AIのせいにするな」など批判の声が相次ぎ、12月1日に「AIのせい」がTwitterでトレンド入りした。 AI開発を行
川上量生さんとの訴訟を生暖かく見守る会 - ブロマガ
ユーザーブロマガのサービスは終了いたしました ユーザーブロマガサービスは2021年10月7日をもちまして終了いたしました。 長らくのご愛顧ありがとうございました。 ニコニコチャンネルトップへ
「ドワンゴ人工知能研究所」が閉鎖
「次世代への贈り物となる人工知能の創造」をビジョンに掲げ、教育やエネルギー、環境、貧困、セキュリティ問題など人類の課題に貢献できる日本発の高度な人工知能の実現を目指していた。 山川宏所長は、これまでの研究や人材育成などを通して「脳型汎用人工知能の開発にむけた礎を築けてきたと考えております」とコメント。今後も「Beneficialな脳型汎用人工知能の実現に資するように努力を続けていきたい」としている。 同社は、スマートフォンゲーム「テクテクテクテク」やマストドンのインスタンス「friends.nico」の終了を3月に相次いで発表。今後も動画サービス「niconico」の有料会員向けの特典を充実させるなど、収益改善に向けた対策を講じていく。 閉所の経緯についてドワンゴに問い合わせたが、回答は得られていない。 関連記事 「ドワンゴ人工知能研究所」発足 日本発の高度なAI実現目指す 人工知能に関わ
トヨタも虜にする｢天才が憧れる天才｣AI企業、PFNゴールデンチームの全貌
研究者やグーグル、Apple、CYBERDYNEなど名だたる企業から人材が集まる（画像をタップすると高解像度版を表示します）。 取材をもとにBusiness Insider Japanが作成 メルカリが上場し、日本で有数のユニコーン（未上場で企業価値10億ドル以上の企業）とされるプリファード・ネットワークス（以下、PFN）。 トヨタやファナック、日立製作所など日本を代表する技術系大手企業から資金を調達し、事業面でも連携を進める、いま日本でもっとも注目を集めるスタートアップの1社だ。 PFNが開発したオープンソースの深層学習フレームワーク｢Chainer｣は、世界中の企業や開発者に利用され、AIの研究開発の最前線に食い込んでいる。 そのPFNは、プリファード・インフラストラクチャー（PFI）から分社する形で2014年3月に創業、現在の社員数は150人を超えた。そして、いまなお優秀な技術者が集
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AIで音楽をボーカル・ドラム・ベース・その他に分離できる「Demucs」／煩雑な環境構築作業をしなくても「Colaboratory」で手軽に試せる【レビュー】
研究者2人を解雇したGoogle AI倫理対立の深刻度 - 日本経済新聞