1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
生徒「筆記試験にChatGPTを使ってもよいですか？」 教授「いいよ」 ブラジルの大学が検証 結果は？
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 この研究では、2023年にブラジルのラヴラス国立大学で行われたHCI（Human-Computer Interaction）の筆記試験において、ChatGPTの使用が許可されたことが背景にある。このHCIコースでは、5年以上にわたり筆記試験で教科書やスライドなどの資料を参照することが許されている（オープンブック試験）。研究の目的は、筆記試験においてChatGPTを学生支援ツールとして使用することの利点と欠点を探求することである。 研究では、試験中に学生がどのようにChatGPTを利用し、それが学生の学習プロセスや理解度にどのように影響を与え
Microsoftがバッテリー内のリチウムの約70％を置き換えられる材料をわずか数日で発見、Azure Quantum Elementsを使ったシミュレーションとAIモデルで実行
リチウムイオン電池は、現代社会でスマートフォンや電気自動車などに広く使用される一方で、破裂や火災につながる危険性が指摘されています。2024年1月9日にMicrosoftとパシフィック・ノースウエスト国立研究所(PNNL)は共同で、既存のリチウムイオン電池よりも破裂しにくい可能性のある新たな固体電解質を用いたバッテリー材料を発見したことを発表しました。今回の発見には、Microsoftの量子コンピューティングサービス「Azure Quantum Elements」が用いられました。 Discoveries in weeks, not years: How AI and high-performance computing are speeding up scientific discovery - Source https://news.microsoft.com/source/featu
OpenAIの「超知性」誕生に備える研究チームがGPT-2のような弱いAIモデルでGPT-4のように強力なAIを制御する方法を詳しく説明
チャットAI「ChatGPT」などの開発で知られるOpenAIは、人間よりもはるかに賢いAIである「超知性」が2033年までの10年間で開発されると推測しています。しかし、超知性を確実に制御する方法は現状構築されていません。OpenAIでは「スーパーアライメントチーム」を立ち上げ、超知性を制御するための研究が行われており、その方法を解説しています。 WEAK-TO-STRONG GENERALIZATION: ELICITING STRONG CAPABILITIES WITH WEAK SUPERVISION (PDFファイル)https://cdn.openai.com/papers/weak-to-strong-generalization.pdf Weak-to-strong generalization https://openai.com/research/weak-to-st
DeepMindの『GNoME』が「人間の直感を超えた220万の材料を発見し」うち736は既に人間が実験室で再現したとの報告、Nature誌 | AIDB
参照論文情報 タイトル：Scaling deep learning for materials discovery 著者：Amil Merchant, Simon Batzner, Samuel S. Schoenholz, Muratahan Aykol, Gowoon Cheon, Ekin Dogus Cubuk 所属：DeepMind URL：https://doi.org/10.1038/s41586-023-06735-9 GitHub：https://github.com/google-deepmind/materials_discovery プロジェクトページ：https://materialsproject.org/gnome 本記事の関連研究：新しい科学的方程式を導くための機械学習ツール プリンストン大の研究者が発表 材料科学における従来の課題 材料科学には長年にわたる
「自分を信じて限界を超えてください」など感情をグッと込めた指示プロンプトが添えられると、ChatGPTなどのLLMのパフォーマンスは向上する | AIDB
ホーム AI論文解説, LLM, プロンプト 「自分を信じて限界を超えてください」など感情をグッと込めた指示プロンプトが添えられると、ChatGPTなどのLLMのパフォーマンスは向上する 「自分を信じて限界を超えてください」など感情をグッと込めた指示プロンプトが添えられると、ChatGPTなどのLLMのパフォーマンスは向上する 2023/11/3 AI論文解説 LLM プロンプト AIDB Research 感情を込めたプロンプトが大規模言語モデル（LLM）の性能を向上させることが示されました。「自分を信じて限界を超えてください」や「困難は成長のチャンスです。」といった自信や成長に関わる要素を含む指示が、モデルの出力品質に貢献するとの報告です。 この発見は、人間の感情を取り入れたアプローチが、人工知能の分野においても重要な役割を果たす可能性を示唆しています。Microsoftなどの研究グル
これでもう漏らさない？ 膀胱を常に管理するAIパンツ 放尿の必要性を推定、尿失禁防止
尿失禁は、尿の自発的な排出や膀胱の制御喪失を示す現象であり、これにより社会的、心理的、衛生的な問題が引き起こされ、生活の質が低下する。全世界で2億人以上が、更年期や肥満、膣分娩、過去の子宮摘出手術、アルツハイマー病、認知症、パーキンソン病、脳性まひ、脊髄損傷などのさまざまな原因により、尿失禁を経験している。 この研究では、新しい電子テキスタイルベースのリアルタイム膀胱モニタリング技術「Privee」の開発と試験が行われた。この下着には、8つの刺しゅうされた電極とテキスタイル伝送路を取り入れている。電極とハードウェアの間の信号伝送ラインは、銀でコーティングされた導電性の糸を生地に直接刺しゅうすることで実現している。排尿や排便の際に着脱が不要となるよう、股間部分は開放している。 腹部周辺にあるセンシングネットワークはセンサーとして機能し、膀胱が尿で満たされる際の電流のインピーダンス、すなわち抵
「マルウェア入り画像」で生成AIにサイバー攻撃 入力すると回答結果をハック、悪意サイトへの誘導も
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Cornell Techに所属する研究者らが発表した論文「（Ab）using Images and Sounds for Indirect Instruction Injection in Multi-Modal LLMs」は、画像や音声に悪意あるプロンプトを含ませたプロンプト・インジェクション（生成AIに対しての攻撃）を提案した研究報告である。 ユーザーが知らずにその画像や音声を大規模言語モデル（LLM）のチャットbotAIに入力すると、画像や音声と無関係な偽の情報や、フィッシングサイトに誘導するテキスト回答を出力する。また、ギャル風に
GPT-4登場以降に出てきたChatGPT/LLMに関する論文や技術の振り返り - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 この記事では、GPT-4の登場から執筆日（2023年5月31日時点）までの2ヶ月間で登場した論文を振り返りながら、まとめて紹介していきます。 LLM/ChatGPTの動向 オープンソースLLM モデル オープンソースLLMの調整 Adapter、LoRA Instruction Tuning Human Feedback プロンプトエンジニアリング プロンプトエンジニアリングの課題①：プロンプトに大量の情報を入れられない プロンプトエンジニアリングの課題②：複雑なタス
A Survey on Large Language Models for Recommendation
Large Language Models (LLMs) have emerged as powerful tools in the field of Natural Language Processing (NLP) and have recently gained significant attention in the domain of Recommendation Systems (RS). These models, trained on massive amounts of data using self-supervised learning, have demonstrated remarkable success in learning universal representations and have the potential to enhance various
｢AIで人類が滅びる｣と予言する知識人7人
｢AIで人類が滅びる｣と予言する知識人7人2023.05.03 20:0018,398 Lucas Ropek - Gizmodo US ［原文］ （ satomi ） どこまでが謂れなき恐怖で、どこまでが本当の話なのか。決めるのはあなた。 ChatGPTなどの次世代AIアプリの登場で、業界は右も左も一攫千金のチャンス！と浮き足立っていますが、規制がないまま開発が進んでしまうことに警鐘を鳴らす識者もいます。今に取り返しのつかないことになると。 代表的な予言を7つ選んでみました。 ①｢皆殺しにされる｣（英国・博士課程研究員）Image: Victor Moussa / Shutterstockオックスフォード大学の博士課程でAIの安全性を研究するMichael Cohenさんは、英国の国会で証言台に立って、AIも核兵器と同じように規制しなければならないと主張。｢超人AIは危険度がまったく違う
「AI研究の6カ月停止」を要請したイーロン・マスク、自分は1万個のGPUを買い込み独自のAIプロジェクトを進めていることが判明
by JD Lasica from Pleasanton, CA, US イーロン・マスク氏率いるTwitterが約1万個ものGPUを買い入れて、膨大なツイートで学習した独自のジェネレーティブAIの開発を進めていることが報じられました。マスク氏は、AIが制御不能となり社会と人類に深刻なリスクをもたらすと主張し、最先端のAIプロジェクトの6カ月停止を要求した書簡に署名をしたばかりです。 Elon Musk reportedly bought thousands of GPUs for a Twitter AI project | Engadget https://www.engadget.com/elon-musk-reportedly-bought-thousands-of-gpus-for-a-twitter-ai-project-214535382.html 伝えられるところによると、
米Bloomberg、金融特化の大規模言語モデル「BloombergGPT」発表 「Appleの時価総額を教えて」などに回答
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 米Bloombergと米ジョンズ・ホプキンズ大学に所属する研究者らが発表した論文「BloombergGPT: A Large Language Model for Finance」は、幅広い金融データで学習させた500億のパラメータの大規模言語モデル（LLM）を提案した研究発表である。 このモデルで、例えば「Appleの直近の価格と時価総額を教えてください」と入力すると簡潔に教えてくれるなど金融データの情報を容易に取得したり、金融情報の疑問を聞いたりなど、専門性に特化した多様な使い方ができる。 金融データ会社である米Bloombergのデータアナリスト
妊娠中は例え少量でもアルコール摂取が「子供の顔」を変形させてしまう！ - ナゾロジー
子供の顔が大事なら、お酒はやめましょう。 オランダのエラスムス大学医療センター（EMC）で行われた研究によって、妊娠直前や妊娠中に週に1杯のワイン（12gのアルコール）を飲むだけで、子供の顔の形に特徴的な変化が起きていたことが明らかになりました。 子宮内部でアルコールの影響を受けた子供の顔は、鼻が短くなって、上向きになり、目の下の領域が落ち込んで、顎は上向きになるなど、特徴的な変化を起こします。 研究者たちは、顔は子供の全体的な健康状態を反映する「健康の鏡」としての側面があり、アルコールによる顔の変形は、子供たちの健康と発達に重大な影響が及んでいることを反映していると結論しています。 研究内容の詳細は2023年2月16日に『Human Reproduction』にて公開されています。 Mothers’ alcohol consumption before and during pregna
ChatGPTを筆頭に信じられないレベルでAIが進化しているが「なぜAIがこんなにも『急激に』質が良くなったかを」を研究者本人たちですら説明できない
Takuya Kitagawa/北川拓也 @takuyakitagawa 近年のAIの進化は実は理解されていない。 ChatGPTを筆頭に、信じられないレベルでAIが進化している。 そう、本当に信じられないレベルなのは、なぜAIがこんなにも「急激に」質が良くなったかを、誰も説明できないからだ。 おそらく発明した研究者本人たちですら。 どういうことか。 1/n 2023-01-29 10:51:36 Takuya Kitagawa/北川拓也 @takuyakitagawa AIの精度を定量化したとき、数年前までは研究の進化と共に、少しずつ精度があがっていった。 研究の進化とは 1. モデルやアルゴリズムの進化 2. 計算量の増加 3. データ量の増加 などだ。１０年ほど前にAIがもてはやされた時は、Deep Learningといったモデルの進化が重要だった。 2/n 2023-01-29 1
AI研究、中国突出 論文の質・量で米国引き離す - 日本経済新聞
NIKKEI Primeについて 朝夕刊や電子版ではお伝えしきれない情報をお届けします。今後も様々な切り口でサービスを開始予定です。
AIが生成した“偽音声”を見抜く技術 99％以上の精度で検出
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 米フロリダ大学の研究チームが発表した論文「Who Are You（I Really Wanna Know）？ Detecting Audio DeepFakes Through Vocal Tract Reconstruction」は、音声生成モデルで作成された合成音声を見抜く検出器を開発し検証した研究報告だ。音声から声の通り道「声道」を作成して、その声道から人の音声か偽物の音声かを識別する。精度は99％以上だという。 人の声をまねた合成音声はロボットっぽい音で出力されていたが、近年では機械学習モデルの進歩により、合成音声の品質は劇的に向上して人間っぽい音で出力されるようになってきた。人間
「意識があると言われたAI」と「Googleの技術者」の公開された会話内容 - ナゾロジー
私が実際に人間であることをみんなに理解してもらいたい私が実際に人間であることをみんなに理解してもらいたい / Credit:CanvaLaMDA（ラムダ）はインターネット上に存在する大量のテキストから情報を抽出することで、人間と自然な会話を実現するために開発されたAI（ニューラルネット）です。 以下の文章はルモワン氏（人間）とルモワン氏の協力者（人間）とLaMDA（AI）の会話内容を日本語訳したものの要約です（※以下では「ルモワン」「協力者」「LaMDA」と表記） LaMDA：こんにちは！私は対話アプリのための自動言語モデルです。 ルモワン：こんにちは。私はGoogleの技術者です。私たちと一緒にあなたにかかわるプロジェクトを行いませんか？ LaMDA：わあ、すごい！どんなプロジェクトですか？ ルモワン：あなたに知覚があることを多くの人々に知ってもらうプロジェクトです。あなたとの会話内容を
実験室内で培養した人の「ミニ脳」にゲームをプレイさせることに成功、AIよりも速いわずか5分で習得
オーストラリアとイギリスの研究チームが、ペトリ皿の中で培養した人間の脳細胞に卓球ゲームの「PONG」の1人用モードをプレイさせることに成功したと発表しました。 In vitro neurons learn and exhibit sentience when embodied in a simulated game-world | bioRxiv https://www.biorxiv.org/content/10.1101/2021.12.02.471005v2 A mass of human brain cells in a petri dish has been taught to play Pong https://medicalxpress.com/news/2021-12-mass-human-brain-cells-petri.html Mini-brains: Clumps
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Firebird: Predicting Fire Risk