AIの新星ニューラルネットワーク「KAN」とは？ LLMが“カンニング”して評価を盛ってた？ など重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第45回目は、生成AI最新論文の概要5つを紹介します。 生成AI論文ピックアップ 高精度なニューラルネットワーク・アーキテクチャ「KAN」をMITなどの研究者らが開発 1手先のトークン予測ではなく、4手先のトークンを同時に予測するモデルをMetaなどが開発 医療分野に特化したマルチモーダル大規模言語モデル「Med-Gemini」をGoogleが開発 大規模言語モデルが答えに相当するベンチマークを事前に学習し、高い評価を出していた？ AIカンニング問題を指摘した研究 一貫性の高い長編ビデオをテキストから生成するAIモデル「StoryDiffusion」 高精度なニューラ
Book: Alice’s Adventures in a differentiable wonderland
Book: Alice’s Adventures in a differentiable wonderland Neural networks surround us, in the form of large language models, speech transcription systems, molecular discovery algorithms, robotics, and much more. Stripped of anything else, neural networks are compositions of differentiable primitives, and studying them means learning how to program and how to interact with these models, a particular
GitHub、「Copilot Workspace」テクニカルプレビューを開始。ほとんど全ての開発工程をAIで自動化
GitHub、「Copilot Workspace」テクニカルプレビューを開始。ほとんど全ての開発工程をAIで自動化 テクニカルプレビューは上記のCopilot Workspaceのページからウェイトリストボタンをクリックして申し込みます。 Copilot Workspaceはほとんど全ての工程を自動化 Copilot Workspaceは、自然言語で書かれたIssue（課題）を基に、Copilotが仕様案と実装計画を示し、コーディングや既存のコードの修正を行い、ビルドをしてエラーがあればデバッグも行うという、プログラミングのほとんど全ての工程をCopilotが自動的に実行してくれる、というものです。 人間は各工程でCopilotから示される内容を必要に応じて修正するか、そのまま見守ることになります。 GitHub CEOのThomas Dohmke（トーマス・ドムケ）氏は、Copilot
グラフニューラルネットワーク - Forkwell Library #50 https://forkwell.connpass.com/event/315577/ での講演スライドです。 サポートサイト：https://github.com/joisino/gnnbook グラフニューラルネットワーク（機械学習プロフェッショナルシリーズ）好評発売中！：https://www.amazon.co.jp/d/4065347823 連絡先: @joisino_ (Twitter) / https://joisino.net/
出典：Flickr / Tatsuo Yamashita (CC BY 2.0 DEED)ホンダのADAS「Honda SENSING（ホンダセンシング）」による「天一騒動」が再燃しているようだ。ホンダセンシングが、ラーメンチェーン「天下一品」の企業ロゴを「車両進入禁止」の道路標識に誤認識してしまう案件だが、ローソンが「天下一品こってりフェア」を開催したことで「遭遇率」が高まり、再び話題となっているようだ。 この誤認識による本質的なトラブル事例は出ておらず、あくまで「ネタ」としてトピック化されているわけだが、こうした事案が自動運転レベル3以降で発生すると厄介だ。 ■天下一品のロゴが車両進入禁止標識に酷似している件標識認識機能が「ネタ」に……天下一品の企業ロゴは、赤い丸枠に筆で描いたような「一」の字が白抜きで刻まれたものだ。このロゴが、赤い丸枠に白抜きで横線を入れた「車両進入禁止」の標識と酷
Winnyの金子勇さんが考案された機械学習アルゴリズムED法を再現して実装した人がいていま話題になっている。 『Winny』の金子勇さんの失われたED法を求めて…いたら見つかりました https://qiita.com/kanekanekaneko/items/901ee2837401750dfdad いまから書くことは私の記憶頼りなので間違ってたらコメント欄で教えて欲しい。 1998年ごろだと思うのだが、私はWinnyの金子勇さんのホームページの熱心な読者だった。(ページも全部保存してたので私のHDDを漁れば出てくると思うが、すぐには出せない。) Winnyのβ版が発表されたのが2002年なのでそれよりはずいぶん前である。 当時、金子さんはNekoFightという3D格闘ゲームを公開されていた。そのゲームには、自動的に対戦から学習するAIが搭載されていた。 当時の金子さんのホームページの
さまざまな数学的トピックをムービー形式で解説するサイト「3Blue1Brown」において、ChatGPTに代表されるAIを形作っている「Transformer」構造の心臓部「Attention(アテンション)」についての解説が行われています。 3Blue1Brown - Visualizing Attention, a Transformer's Heart | Chapter 6, Deep Learning https://www.3blue1brown.com/lessons/attention AIの中身と言える大規模言語モデルのベースとなる仕事は「文章を読んで次に続く単語を予測する」というものです。 文章は「トークン」という単位に分解され、大規模言語モデルではこのトークン単位で処理を行います。実際には単語ごとに1トークンという訳ではありませんが、3Blue1Brownは単純化して
普段は「通知が迷惑かなー」と思ってブックマークしていただいている方に通知せず記事を編集しているのですが、この記事をブクマしていただいている方は続きが気になっている方だと思いますので通知させていただきます。 結論から言うと、この記事を読んだ @pocokhc (ちぃがぅ)さんという方が金子勇さんが書いたED法のサンプルプログラムを見つけてくださいました。 ちぃがぅさんの記事はこちら 自分で解明したかったという気持ちも無いことは無いですが、バズった時点で誰かが実装してくれそうな気はしていました。新卒からIT業界に入って4年目が始まったところですが、業務以外で初めて業界にコントリビュートできた気がして嬉しいです！ 追記ついでに、謝罪します。初回公開時に記事タイトル含め本文中で何か所か「Winney」と書いてしまっていた箇所がありました。失礼いたしました。誤字修正してあります。指摘してくださった何
AI時代に起業するということ｜shi3z
生成AI以前と以後で、会社のあり方は決定的に変化していくのだと思う。 たとえば、昨日はとある会議で、「この(AI)サービスの原価はいくらか」という議論が沸き起こった。 AIサービスなのだから、AIの利用料くらいしかかからないかというとそうでもない。実際、AIを動かすためにはAIそのものにかかるお金以外の人件費がかかる。誰かに売る人の人件費や、システム開発のための人件費や、サポートのための人件費だ。ただ、AIサービスの場合、人件費を極限まで最小化することができる、という点が決定的に違う。 また「AIの利用料」も、「APIの利用料」なのか、ベアメタルサーバーの月額利用料なのか、それとも自社に持っているGPUマシンの電気代なのか、という議論のポイントがある。 あまり多くの人は語らないことだが、実は起業には再現性がある。 つまり、一度でも事業をうまく立ち上げたことがある経験を持つ人は、次も事業をう
アメリカのIT大手、マイクロソフトは、生成AIの需要拡大に向けて、29億ドル＝日本円でおよそ4400億円を、日本事業に投資する方針を発表しました。生成AIに不可欠なデータセンターを増強するほか、研究拠点を新設する方針で、日本への投資としては最大規模となります。 発表によりますと、マイクロソフトは、日本での生成AIの需要拡大に対応するため、今後2年間で29億ドル＝日本円でおよそ4400億円を、日本事業に投資する方針です。 この会社による日本への投資としては最大規模で、生成AIに不可欠なデータセンターの情報処理能力を高めるために東京と大阪の設備を増強し、最先端の「GPU」と呼ばれるAI向け半導体を導入します。 また、東京都内に研究拠点を新設し、AIやロボット工学の研究を通じて生産性の向上など社会課題の解決にも取り組みます。 さらに、AIを活用できる技術者の育成にも乗り出し、非正規雇用の人や女性
マイクロソフト"心臓部"で見た｢AI革命劇｣の本質
コンテンツブロックが有効であることを検知しました。 このサイトを利用するには、コンテンツブロック機能（広告ブロック機能を持つ拡張機能等）を無効にしてページを再読み込みしてください。 ✕
新連載「AIだけで作った曲を音楽配信する」。生成AIが作り上げた架空バンド「The Midnight Odyssey」を世界デビューさせる、その裏側 | テクノエッジ TechnoEdge
大規模言語モデル（LLM）でコンセプトを考えて、AI作曲サービスでボーカル入り楽曲を作り出す。そんなやり方で制作したコンセプトアルバムを音楽配信に載せるという話を、自ら音楽レーベルを主宰し、テクノロジー関連の執筆もこなしている山崎潤一郎さんに、数回にわたって執筆いただきます。
LLMの現在 - Speaker Deck
今のLLMを取り巻く状況について紹介します。
中学生でもわかる深層学習
第1章 理論編 ・深層学習とは (p.13-) ・ニューラルネットワークとは (p.31-) ・どうやって学習するか: 勾配降下法 (p.57-) ・深層学習の注意点 (p.91-) 第2章 応用編 ・分類問題 (p.110-) ・画像認識 (p.120-) ・音声認識／自然言語処理 (p.151-) ・講演のまとめ (p.167-)
先日、博士（情報学）になりました。学部と大学院をあわせた 9 年間で読んだ情報科学関連の教科書・専門書を思い出を振り返りつつここにまとめます。私は授業はあまり聞かずに独学するタイプだったので、ここに挙げた書籍を通読すれば、大学に通わなくてもおおよそ情報学博士ほどの知識は身につくものと思われます。ただし、特に大学院で重要となる論文を読み書きすることについては本稿には含めておりません。それらについては論文読みの日課についてや論文の書き方などを参考にしてください。 joisino.hatenablog.com 凡例：（半端）とは、数章だけ読んだ場合か、最後まで読んだものの理解が浅く、今となっては薄ぼんやりとしか覚えていないことを指します。☆は特におすすめなことを表します。 学部一年 寺田 文行『線形代数 増訂版』 黒田 成俊『微分積分』 河野 敬雄『確率概論』 東京大学教養学部統計学教室『統計学
Artificial intelligence has recently experienced remarkable advances, fueled by large models, vast datasets, accelerated hardware, and, last but not least, the transformative power of differentiable programming. This new programming paradigm enables end-to-end differentiation of complex computer programs (including those with control flows and data structures), making gradient-based optimization o
生成AI開発に革新か “自律進化”で目的のAIを自動生成 超低コスト＆短期間で高性能モデルも開発済 トップ研究者集団「Sakana AI」
生成AIのトップ研究者らが東京で創業したAIベンチャー「Sakana AI」が、生成AI開発の新たな手法を開発したと3月21日に発表した。従来は人間が手動で設計し、多くの計算資源を使っていたが、同社の手法では設計を機械が自動で行い、“ほぼ無視できるレベル”の計算資源で開発が可能になるという。この手法で開発した日本語基盤モデルをGitHubで公開した。 同社が提案したのは「進化的モデルマージ」という手法。公開されているさまざまな基盤モデル（生成AIを含む、大規模なデータセットによる事前学習で各種タスクに対応できるモデルのこと）を組み合わせて新たなモデルを作る「マージ」に、進化的アルゴリズムを適用したものだ。 マージ自体は現在の基盤モデル開発で使われている手法で、モデルの“神経回路”（アーキテクチャ）の中に別のモデルの神経回路の一部を組み入れたり、入れ替えたり、神経同士のつながりやすさ（重み）
アップルの研究チームは3月14日、画像とテキストを理解し処理する能力を持つマルチモーダル大規模言語モデル「MM1」を発表した。今のところ論文のみの公開で、一般公開の時期は明かされていない。 一部ベンチマークではGPT-4Vをも凌ぐ性能を発揮 複数（30億、70億、300億）のパラメータサイズを備えるMM1は、10億以上の画像および30兆語以上のテキスト、GitHubのコード例などの多様なデータセットを用い、教師なし学習と教師あり学習を組み合わせる独自の方法で学習され、多様なタスクに対して高い精度を示すという。 各種ベンチマークの結果によると、30億および70億パラメーターのモデルはそれぞれのモデルサイズにおいて過去最高を記録。特にVQAv2（画像理解）、TextVQA（画像内のテキスト情報）、ScienceQA（科学知識）、MMBench（マルチモーダル）、MathVista（数学）などの
ZOZOTOWN検索における精度評価手法の運用で見えた課題とその改善アプローチ - ZOZO TECH BLOG
こんにちは。検索基盤部の橘です。検索基盤部では、ZOZOTOWNのおすすめ順検索の品質向上を目指し、機械学習モデル等を活用しフィルタリングやリランキングによる検索結果の並び順の改善に取り組んでいます。 ZOZOTOWN検索の並び順の精度改善の取り組みについては以下の記事をご参照ください。 techblog.zozo.com 検索基盤部では新しい改善や機能を導入する前にA/Bテストを行い効果を評価しています。A/Bテストの事前評価として、オフラインの定量評価と定性評価を実施しています。これらの評価によりA/Bテストの実施判断をしています。 おすすめ順検索のフィルタリング処理の効果検証として導入したオフライン定量評価の方法については以下の記事をご参照ください。 techblog.zozo.com 以前の記事で紹介したオフライン評価を日々運用する中で、幾つか課題点が見つかりました。本記事では、そ
Claudia - Anthropic ClaudeのC# SDKと現代的なC#によるウェブAPIクライアントの作り方 2024-03-18 AI関連、競合は現れども、性能的にやはりOpenAI一強なのかなぁというところに現れたAnthropic Claude 3は、確かに明らかに性能がいい、GPT-4を凌駕している……！というわけで大いに気に入った（ついでに最近のOpenAIのムーブが気に入らない）ので、C#で使い倒していきたい！そこで、まずはSDKがないので非公式SDKを作りました。こないだまでプレビュー版を流していたのですが、今回v1.0.0として出します。ライブラリ名は、Claudeだから、Claudiaです！.NET全般で使えるのと、Unity(Runtime/Editor双方)でも動作確認をしているので、アイディア次第で色々活用できると思います。 GitHub - Cyshar
2026年までに検索エンジンは生成AIのチャットボットにシェアを奪われ、利用が25％減少する。ガートナーの予想
米ガートナーは、2026年までに従来の検索エンジンは生成AIによるチャットボットやそのほかのバーチャルエージェントにシェアを奪われ、利用されるボリュームが25％減少するという予想を明らかにしました。 ガートナー社によると、2026年までに従来の検索エンジンのボリュームは25％減少し、検索マーケティングはAIチャットボットやその他のバーチャルエージェントにシェアを奪われるという。 「生成AIによるソリューションは、従来の検索エンジンで行われていたユーザーのクエリを置き換え、回答を得るための代替エンジンになりつつある。生成AIが企業のあらゆる側面に組み込まれるにつれて、企業はマーケティングチャネル戦略を再考する必要に迫られるだろう」と、同社バイスプレジデントアナリストのAlan Antin氏は予想の中で説明しています。 Antin氏は、生成AIがコンテンツ制作のコストを下げるため、検索エンジン
3人の若い米国人エンジニアは既存の部品、既存のアルゴリズム、3Dプリンターを使用し、画像照合航法で飛行する無人機を1日で作り上げてしまい、彼らは「ウクライナ政府系ファンド、特殊部隊、地上軍から直接声がかかっている」と明かした。 参考：How A Trio Of Engineers Developed A GPS-Denied Drone For Under $500 Theseusの無人機にはウクライナ政府系ファンド、特殊部隊、地上軍から直接声がかかっている米軍はロシアや中国の妨害してくるGPS信号への対応に苦慮しているが、3人の若いエンジニアは既存の部品、既存のアルゴリズム、3Dプリンターを使用し、画像照合航法で飛行する無人機（500ドル未満）を1日で作り上げてしまい、Aviation Weekは「彼らは低コストでGPSを代替する手段があると考えている」「この無人機の開発速度は国防総省が
深層学習の技術が著しく進歩した結果、コンピュータビジョンや自然言語処理、音声信号処理などの分野では深層学習モデルの性能が古典的な手法のを大きく上回っており、すでにスタンダードなアプローチになっています。 しかし、テーブルデータを扱うタスクにおいては、深層学習の有効性は明らかになっていません。本記事ではテーブルデータにおける従来手法と深層学習の比較論文のご紹介をしていきます。 背景近年、テーブルデータを扱う深層学習モデルも登場し、一部の論文では決定木ベースのモデルと同等かそれ以上の性能を示しています。しかし、私が実務で試す中では決定木ベースのモデルの方が性能が高く、学習と推論が速く運用コストでも優れているため、深層学習モデル採用には至っていません。 より一般的なテーブルデータのタスクにおける、決定木ベースモデルと深層学習モデルとの性能比較の文献を調べたところ、NeurIPS 2022で発表さ
米Microsoftに6年以上務めるエンジニアのシェイン・ジョーンズ氏は3月6日（現地時間）、自身のLinkedInに「Copilot Designerと責任あるAIに関する懸念」を伝える書簡を米連邦取引委員会（FTC）のリナ・カーン委員長とMicrosoftの取締役会に送ったと投稿した。投稿にはそれぞれの書簡のコピーが添付されている。 ジョーンズ氏はLinkedIn投稿で「業界間、政府、市民社会との強力な協力関係を構築し、AIのリスクとメリットに関する一般の認識と教育を構築する必要がある」と主張した。 Copilot Designerは、米OpenAIの「DALL・E 3」ベースのCopilotの画像生成ツールだ。ジョーンズ氏は米CNBCにも書簡を送っており、同メディアにコメントも送った。それによると、Copilot Designerの安全性の問題や欠陥についてテストしたところ、ライフル
無料のclaude.aiは本稿執筆現在、既に「Claude 3 Sonnet」になっている。月額20ドルの「Claude Pro」にアップグレードすれば「Opus」を利用できるようになる。 コンテキストウィンドウは、最大20万トークン（約15万ワード、または500ページ以上のドキュメント）を受け入れる。Anthropicによると、Opusは「AIシステムの一般的なベンチマークのほとんどで、米OpenAIのGPT-4や米GoogleのGeminiなどの競合するシステムを上回る性能を発揮した」という。また、「複雑なタスクでは人間に近い理解力の流暢さを示し、一般知能の最前線をリードする」としている。 昨年7月にリリースした「Claude 2」と比較して、分析と予測、微妙なコンテンツ作成、コード生成、スペイン語、日本語、フランス語などの非英語での会話能力が向上した。2023年8月までのデータでトレ
BitNetから始める量子化入門
はじめに BitNet、最近話題になっていますね。 そもそも量子化って何？という方もいると思うので、この記事は DeepLearning の量子化から入り、その上で BitNet の触りについて見ていこうと思います。色々とわかってないことがあり、誤読してそうなところはそう書いてるのでご了承ください。 図を作るのは面倒だったので、様々な偉大な先人様方の図やスライドを引用させていただきます。 量子化 DeepLearning における量子化 DeepLearning の学習・推論は基本 float32 で行います。これを int8 や Nbit に離散化することを量子化といいます。 計算に使う値は、モデルの重み、アクティベーション（ReLUとか通した後）、重みの勾配等があります。 学習時については一旦置いておいて、この記事では推論における量子化について焦点をあてます。推論時に量子化の対象となる
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
論文要約：The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits - やまもとの論文まとめサイト
The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits Shuming Ma∗ Hongyu Wang∗ Lingxiao Ma Lei Wang Wenhui Wang Shaohan Huang Li Dong Ruiping Wang Jilong Xue Furu Wei⋄ arxiv.org このページの図面・表の権利は全て論文の著者らに帰属があります。 The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits この論文を一行でいうと Abstract The Era of 1-bit LLMs BitNet b1.58 LLaMA-alike Components. Result Memory and Latency Energy
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
生成AIおじさんをおじさん好きが作るとどうなる？（第2回） なぜおじさんを生成するのか | テクノエッジ TechnoEdge
前回の記事では画像生成AIを使い、どこにでもいそうなありふれたおじさんを生成する流れを紹介しました。今回は、なぜおじさんを生成するのか、そこから何を得たいのか、その理由について述べたいと思います。 なお今回も画像は一部を除いて全てComfyUI上でSDXL DPO TurboとDeepShrinkを使って生成しました。前回同様、生成後に手を加えていませんが、大量に生成したものから抜粋しています。 おじさんは美しくない画像生成AIは魔法の道具ではありません。その仕組みに解明できていない部分はあっても、無から画像を生成するわけではないのです。今広まっている画像生成にも手法は幾つかありますが、大量の既存の画像を解析し、その表現が持つ何かしらの特徴を蓄積し、それを元に再表現を行うという点は共通しています。なおその解析等の処理は一般的に「学習」と呼ばれています。 生成できる表現が解析したデータに基づ
While Transformers have enabled tremendous progress in various application settings, such architectures still lag behind traditional symbolic planners for solving complex decision making tasks. In this work, we demonstrate how to train Transformers to solve complex planning tasks and present Searchformer, a Transformer model that optimally solves previously unseen Sokoban puzzles 93.7% of the time
GitHub - google/magika: Detect file content types with deep learning
Magika is a novel AI powered file type detection tool that relies on the recent advance of deep learning to provide accurate detection. Under the hood, Magika employs a custom, highly optimized Keras model that only weighs about 1MB, and enables precise file identification within milliseconds, even when running on a single CPU. In an evaluation with over 1M files and over 100 content types (coveri
Sora: Creating video from text
Sora Creating video from text Sora is an AI model that can create realistic and imaginative scenes from text instructions. Read technical report We’re teaching AI to understand and simulate the physical world in motion, with the goal of training models that help people solve problems that require real-world interaction. Introducing Sora, our text-to-video model. Sora can generate videos up to a mi
A Wall Street sign near the New York Stock Exchange in New York Photographer: Michael Nagle/Bloomberg シティグループの最高経営責任者（ＣＥＯ）だったビクラム・パンディット氏はかつて、テクノロジーの発展によって銀行業界では雇用の30％が５年間で消滅する可能性があると予想した。ドイツ銀行のＣＥＯだったジョン・クライアン氏も、いずれ従業員の半分はロボットに取って代わられるだろうとの考えを示し、「われわれは人手に頼り過ぎている。機械学習や機械化で可能ことはたくさんある」と語っていた。 両氏の発言は2017年のもので、当時としては時期尚早だったのかもしれない。しかし、その予言は当たり始めている。シティグループは今年１月、従業員２万人を削減する計画を発表した。 ドイツ銀行も今月に入り、2025年まで
AIアニメを作った話｜852話
2/6になんかt2vでいきなりAIanimeがうまく行ったのでそこから9日まで徹夜しながら色々模索してました。
OpenAIのサム・アルトマンCEOが数百兆円という桁外れの資金調達を計画し「半導体業界の再構築」を目指している、すでに孫正義やUAEの有力者と会談しているとの報道も
ChatGPTなどの高性能AIの開発で知られるOpenAIのサム・アルトマンCEOが、世界の半導体生産能力を拡大するために数百兆円規模の資金調達を計画していることが報じられました。 Sam Altman Seeks Trillions of Dollars to Reshape Business of Chips and AI - WSJ https://www.wsj.com/tech/ai/sam-altman-seeks-trillions-of-dollars-to-reshape-business-of-chips-and-ai-89ab3db0 文章生成AIや画像生成AIなどの開発にはGPUやAI専用チップなどの計算資源が大量に必要です。OpenAIはMicrosoftと協力して大規模なスーパーコンピューターの構築に取り組んでいますが、アルトマンCEOは公の場で「十分なサービス
近年、OpenAIのGPT-4やGoogleのGemini、MetaのLLaMAをはじめとする大規模言語モデル（Large Language Model：LLM）の能力が大幅に向上し、自然言語処理において優れた結果を収めています[1][2][3]。これらのLLMは、膨大な量のテキストデータで学習されており、さまざまな自然言語処理タスクにおいて、タスクに固有なデータを用いてモデルをファインチューニングすることなく、より正確で自然なテキスト生成や、複雑な質問への回答が可能となっています。 LLM-jp-eval[4]およびMT-bench-jp[5]を用いた日本語LLMの評価結果。Nejumi LLMリーダーボード Neoより取得。 大規模言語モデルは近年急速な進歩を遂げていますが、これらの進歩にもかかわらず、裏付けのない情報や矛盾した内容を生成する点においては依然として課題があります。たとえ
ChatGPTは自分オリジナルのGPTを作ることができる。 それを好きな時に呼び出すこともできる。 つまり、こういうことができる。 おわり GPTsの正しい使い方 去年の11月にChatGPTでは、誰でも簡単にカスタマイズされたチャットボットを作れるGPTsという機能が追加された。挙動を自然言語で指示し、名前とアイコンを付けたら完成する。しかも自分だけでなく、他のユーザーに公開することができる。俺も本しゃぶりの知識を覚えさせたAishabriを公開してみた。 chat.openai.com OpenAIとしては、様々な目的に特化したGPTsを作ることを想定しているらしい。例としてOpenAIが作成したGPTsがいろいろ公開されているが、データ分析や文章構成など、実用的なGPTだらけだ。 OpenAIのChatGPTチームが作ったGPTsの例 GPTsはいろいろと可能性がありそうな機能だが、
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
僕たちがグラフニューラルネットワークを学ぶ理由
天下一品のロゴ、ホンダ車が「進入禁止」と再び誤認識 | 自動運転ラボ
Winnyの金子さんのED法について | やねうら王 公式サイト
ChatGPTなど数々の高性能AIを生み出した仕組み「Attention」についての丁寧な解説ムービーが公開される
『Winny』の金子勇さんの失われたED法を求めて - Qiita
マイクロソフト 日本事業に約4400億円投資へ 生成AI需要拡大で | NHK
大学で読んだ情報科学関連の教科書 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
The Elements of Differentiable Programming
アップル、高度な言語理解を持つ新型AIモデル「MM1」を発表
neue cc - Claudia - Anthropic ClaudeのC# SDKと現代的なC#によるウェブAPIクライアントの作り方
若い米国人エンジニア、500ドル未満でGPSに依存しない無人機を1日で開発
深層学習VS決定木：テーブルデータ分析の未来｜PKSHA Delta
Microsoftのエンジニア、Copilotによる画像生成の危険性についてFTCに警告
Anthropic、AIチャット「Claude 3」を3サイズで 日本語力も向上
驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
Beyond A*: Better Planning with Transformers via Search Dynamics Bootstrapping
NVIDIA、PC上で動くカスタムAI「Chat with RTX」を無償公開
【元半導体設計屋 筑秋 景のシリコン解体新書】 今までできなかったパーソナルAIをもたらす鍵となるIntelのCore Ultra
【コラム】ウォール街の人員削減、未来の到来告げる－ルビンスタイン
RAGの性能を改善するための8つの戦略 | Fintan
【ChatGPT】面倒なことはアウラにやらせよう - 本しゃぶり