⼤規模⾔語モデルの拡張（RAG）が 終わったかも知れない件についてZero Waste, Radical Magic, and Italian Graft – Quarkus Efficiency Secrets
“LLM for SRE“の世界探索 - ゆううきブログ
ChatGPTが登場した当初、対話や要約、翻訳、コード生成などの典型的な言語タスクができても、SREやAIOpsの研究開発にはあまり関係ないのではないかと正直思っていた。AIOpsでは典型的にはいわゆるObservabilityデータ（メトリクス、ログ、トレースなど）が入力となるため、自然言語ではなく数値のデータを解析することが求められる。自然言語のタスクを研究対象としていなかったため、AIOpsとChatGPTに強い関係性は見いだせなかった*1。 しかし、自分で大規模言語モデル（Large Language Model: LLM）を日常的に使用したり、表題にあるようにSREのためのLLM（LLM for SRE, LLM4SRE）に関する論文を読むうちに、LLMのテキスト生成器としての性質よりもその優れた推論機械としての性質に注目するようになった。特にSREの障害診断は、人間の専門家が推
画像生成AIが爆速で進化した2023年をまとめて振り返る (1/5)
Stability AIが画像生成AI「Stable Diffusion」を公開したのは2022年8月のこと。すさまじい勢いで発展してきた画像生成AIの1年を振り返ってみようと思います。 初めに見てもらいたいのは「これが無料でいいのか!? “爆速生成AI”がペイントソフトに革命を起こした」で紹介した、KritaとGenerative AI for Kritaを組み合わせて作成した設定資料的な画像です。 キャラクターの3面図のサンプル。Vroidで簡単な3Dで当たり（左）として、右の画像を作成する。それを元に、プロンプトや画像に描き込んだりして、最終画像を作成していく。2枚目には前面図の頭部のカチューシャや、胸部分のフリルがなかったりするが、そこに色を加筆して、プロンプトで指示すると、最終画像にそれが追加されるのをリアルタイムに確認しながら修正できる（筆者作成） Stable Diffusi
IBM、大規模言語モデル「Granite」日本語版を2024年第1四半期に提供、シングルGPUで動作 | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ AI ＞ 新製品・サービス ＞ IBM、大規模言語モデル「Granite」日本語版を2024年第1四半期に提供、シングルGPUで動作 AI AI記事一覧へ [新製品・サービス] IBM、大規模言語モデル「Granite」日本語版を2024年第1四半期に提供、シングルGPUで動作 2023年9月20日(水)日川 佳三（IT Leaders編集部） リスト 日本IBMは2023年9月20日、米IBM開発の大規模言語モデル「Granite（グラナイト）」の日本語版を2024年第1四半期（1～3月）に提供開始すると発表した。2023年12月に先行リリース版を提供する。AIモデル作成・運用ツール「watsonx.ai」で利用できる。現在、watsonx.aiではIBM独自の基盤モデルとして情報抽出や分類などを実行する「Slate」を利用可能だが
LLMを利用したRAG（Retrieval Augmented Generation）と著作権侵害｜知的財産・IT・人工知能・ベンチャービジネスの法律相談なら【STORIA法律事務所】
1 はじめに 近時、LLMを利用し、社内外の文書データを用いた精度の高いチャットボットを構築するために、RAG（Retrieval Augmented Generation）という手法が注目されています。 LLMをそのまま利用してチャットボットの構築を行うと、通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができないか、あるいは正しくない回答を返してしまいます。 この問題を解決する手法として注目されているのがRAGです。 この手法は、あらかじめ社内外の文書データをデータベース（DB）として準備しておき、ユーザからの質問がなされた場合には、当該質問と関連性が高い文書データを検索し、その文章データを質問文に付加してLLMに入力することで、精度が高い、かつ実際の文書データに紐付いた回答を生成することができるというものです。 ここで、プロンプトに入力するためにDBとして
Self-Supervision is All You Need for Solving Rubik’s Cube
Open Peer Review. Open Publishing. Open Access. Open Discussion. Open Recommendations. Open Directory. Open API. Open Source. Abstract: Existing combinatorial search methods are often complex and require some level of expertise. This work introduces a simple and efficient deep learning method for solving combinatorial problems with a predefined goal, represented by Rubik's Cube. We demonstrate tha
The Deep Learning Compiler: A Comprehensive Survey
The difficulty of deploying various deep learning (DL) models on diverse DL hardware has boosted the research and development of DL compilers in the community. Several DL compilers have been proposed from both industry and academia such as Tensorflow XLA and TVM. Similarly, the DL compilers take the DL models described in different DL frameworks as input, and then generate optimized codes for dive
Paper page - Optimized Network Architectures for Large Language Model Training with Billions of Parameters
Abstract This paper challenges the well-established paradigm for building any-to-any networks for training Large Language Models (LLMs). We show that LLMs exhibit a unique communication pattern where only small groups of GPUs require high-bandwidth any-to-any communication within them, to achieve near-optimal training performance. Across these groups of GPUs, the communication is insignificant, sp
Preferred Networksを退職しました - iwiwiの日記
2016年から約7年弱勤めたPreferred Networks (PFN)を退職しました。6/1より次の職場で仕事を開始します。次の職場については6月以降気が向いたときにTwitterかどこかに書きます。 PFNはどうだった？ PFNでの日々は、一言で言うと最高でした。技術的にも立場的にも多岐にわたる経験をさせてもらいました。そして、何より、めちゃくちゃ楽しかったです。PFNで働けたことは幸運で、心から感謝しています。今後も他の人に相談されたら多くの人に勧めると思います。 PFNでの思い出を色々書きたいのはやまやまなのですが、とても長くなりそうなので、別の記事にしようと思います。 では、なぜ転職するのか？ Generative AI Generative AI (LLM, 拡散モデル)の最近のブレイクスルーに大きな衝撃を受け、Generative AI分野の研究開発に、私にとって一番望ま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://twitter.com/swyx/status/1671272883379908608
https://twitter.com/soumithchintala/status/1671267150101721090
How San Francisco staged a surprising comeback
AI-Driven Earthquake Forecasting Shows Promise in Trials
Can large language models provide useful feedback on research papers? A large-scale empirical analysis
Nvidia's dominance in AI chips deters funding for startups
Writing AlexNet from Scratch in PyTorch
GPT-4 architecture, datasets, costs and more leaked
IBM Research’s Vela is an AI supercomputer in the cloud | IBM Research Blog
Enterprises Are Not Going To Miss The Fourth Wave Of AI
IBM watsonx is now available to help meet enterprises' AI for business needs