コード生成用オープンアクセスLLM「StarCoder2」を公開 ServiceNow、Hugging Face、NVIDIA
コード生成用オープンアクセスLLM「StarCoder2」を公開 ServiceNow、Hugging Face、NVIDIA：パフォーマンス、透明性、コスト効率の新たな基準を設定 ServiceNow、Hugging Face、NVIDIAは、コード生成用のオープンアクセスLLMファミリー「StarCoder2」を公開した。 ServiceNow、Hugging Face、NVIDIAは2024年2月28日（米国時間）、コード生成用のオープンアクセス大規模言語モデル（LLM）ファミリー「StarCoder2」を公開したと発表した。 StarCoder2は、ServiceNowが運営する「BigCode」コミュニティー、Hugging Face、NVIDIAのパートナーシップによって開発された。BigCodeは、コーディング用LLMの責任あるトレーニングに取り組んでいるオープンな共同科学研
2016年の初めころから、週刊文春のスクープ記事により政治家・著名人が辞任や活動停止に追い込まれるケースが増えたことから『文春砲』と恐れられるようになった。2004年に鈴木が編集長に就任して以来、読売新聞および読売新聞グループ本社会長・渡邉恒雄を徹底的に批判しているが、読売から損害賠償請求や謝罪広告を求める訴訟を起こされ、その多くで敗訴している。他の大手出版社と異なり、ジャニーズ事務所が影響力をほとんど持たないため、1999年から2000年にかけて社長・ジャニー喜多川の児童(ジャニーズJr.の研修生たち)への性的虐待疑惑を報道した。ニューヨーク・タイムズやオブザーバーなどの国外メディアも後追いし、国会でも取り上げられるなど内外に波紋を広げた。
BERTopic は、Transformersを用いて文書のトピックモデリングを行うためのPythonライブラリです。本記事では、自分がKaggleコンペの初手EDAによく使うコードをまとめました。 入出力のイメージ 入力： 文章のリスト （例：["I am sure some bashers of Pens fans ...", "My brother is in the market for a high-performance video card that supports VESA local bus with 1-2MB RAM. Does anyone hav...", ...]） 出力： 各文書の関係性を表した2次元座標図 ソースコード 以下にもあります Github Google colab import pandas as pd from umap import UMA
BitNetから始める量子化入門
はじめに BitNet、最近話題になっていますね。 そもそも量子化って何？という方もいると思うので、この記事は DeepLearning の量子化から入り、その上で BitNet の触りについて見ていこうと思います。色々とわかってないことがあり、誤読してそうなところはそう書いてるのでご了承ください。 図を作るのは面倒だったので、様々な偉大な先人様方の図やスライドを引用させていただきます。 量子化 DeepLearning における量子化 DeepLearning の学習・推論は基本 float32 で行います。これを int8 や Nbit に離散化することを量子化といいます。 計算に使う値は、モデルの重み、アクティベーション（ReLUとか通した後）、重みの勾配等があります。 学習時については一旦置いておいて、この記事では推論における量子化について焦点をあてます。推論時に量子化の対象となる
以下の記事が面白かったので、簡単にまとめました。 ・Towards Long Context RAG - LlamaIndex 1. はじめにGoogleは、1Mコンテキストウィンドウを持つ「Gemini 1.5 Pro」をリリースしました。初期ユーザーは、数十もの研究論文や財務報告書を一度に入力した結果を共有しており、膨大な情報を理解する能力という点で印象的な結果を報告しています。 当然のことながら、ここで疑問が生じます。「RAG」は死んだのでしょうか？そう考える人もいますが、そうではない人もいます。 幸運にも「Gemini 1.5 Pro」の機能をプレビューすることができ、それを試してみることで、ロングコンテキストLLMを適切に使用するには、RAGがどのように進化するのかについてのまとめました。 2. Gemini 1.5 Pro の 初期観察「Gemini」の結果は印象的で、テクニカ
東京工業大学の畠山歓助教と早川晃鏡教授らは、化学の専門知識を学んだ大規模言語モデル（ＬＬＭ）を開発した。６万５０００報の論文データセットを構築した。学習データでは、論文の要約よりもイントロダクションが性能向上に役立った。論文の結論の学習は、性能面でネガティブに働いた。小さなＬＬＭにとっては結論の内容が専門的過ぎた可能性がある。専門知識を備えたＬＬＭを構築するための知見になる。 米メタが公開しているＬＬＭ「Ｌｌａｍａ２」に化学論文を追加学習させた。モデルのパラメーター数は７０億―７００億。低ランク適応（ＬｏＲＡ）という手法で計算コストを抑えた。研究室で始めやすい構成になる。 モデルの性能は論文を元に作成した問題で評価した。模範解答とＬＬＭの回答の類似度を計る。すると異分野の論文を学習させるほど性能が落ちた。利用したい専門領域に絞ってデータ量を確保する必要がある。 論文は要約とイントロ、結論を
2024-02-27にarXiv公開され，昨日（2024-02-28）あたりから日本のAI・LLM界隈でも大きな話題になっている、マイクロソフトの研究チームが発表した 1ビットLLMであるが、これは、かつてB-DCGAN(https://link.springer.com/chapter/10.1007/978-3-030-36708-4_5; arXiv:https://arxiv.org/abs/1803.10930 )という「１ビットGANのFPGA実装」を研究していた私としては非常に興味をそそられる内容なので、論文を読んでみた。今回は速報として、その内容のポイントを概説したい。 論文情報 Ma, S. et al. (2024) ‘The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits’, arXiv [c
はじめに この記事では、巷で「この技術によりGPUが不要になるかもしれない、NVIDIAなどの半導体関係の株価が...」と話題になっている、BitNet b1.58についての論文を丁寧に解説します。このMicrosoftが先日発表したBitNet b1.58はそのエネルギー効率の凄まじさから2024年初めの大きな技術改革となるかもしれません！！ 筆者の見解 関する論文解説に入る前に、この技術に関する私の個人的な意見を述べたいと思います。 1bitの技術を用いることで達成されたその驚異的なエネルギー効率の高さは、既存の大規模言語モデル（LLM）とは一線を画しています。この技術が今後のAI技術の発展にどのように影響を与えるかについては以降の発表がとても楽しみです。 一方で、「GPUが不要になるかもしれない」という意見に関しては、ある程度の限定的な視点からの意見と言えます。BitNet b1.5
GitHub - frodo821/BitNet-Transformers: 0️⃣1️⃣🤗 BitNet-Transformers: Huggingface Transformers Implementation of "BitNet: Scaling 1-bit Transformers for Large Language Models" in pytorch with Llama(2) Architecture
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Tiny Predictive Text - Adam Grant
Amazon Bedrock で Titan Image Generator を使って画像生成 - Taste of Tech Topics
今度、寝台列車で旅行に行きたいな、と思って先日予約に挑んでみたのですが、残念ながら予約競争に敗北してしまった、菅野です。 寝台列車は、今も人気が高いんですね。 ChatGPTでもDALL·E 3を用いることが出来るようになるなど、生成AIでも画像生成や読み込みなど一般的に用いられるようになってきました。 Amazonで利用できる生成AIプラットフォーム、Amazon Bedrokでも、以前から画像生成モデルとして世界的にも最も有名なStability AIが提供するStable DiffusionSDXLモデルを用いた画像生成が可能でしたが、 AmazonオリジナルのモデルTitanからも画像生成を行えるモデル、Titan Image Generatorも利用できるようになっています。 今回は、Titan Image Generatorを用いて実際にどのような画像生成ができるのかを見ていき
GGUF, the long way around
Feb 28 2024 Table of Contents How We Use LLM ArtifactsWhat is a machine learning modelStarting with a simple modelWriting the model codeInstantiating the model objectSerializing our objectsWhat is a fileHow does PyTorch write objects to files?How Pickle worksFrom pickle to safetensorsHow safetensors worksCheckpoint filesGGMLFinally, GGUFConclusionHow We Use LLM ArtifactsLarge language models today
AWSの生成AIで社内文書検索！ Bedrockのナレッジベースで簡単にRAGアプリを作ってみよう - Qiita
この記事について AWSコミュニティ最大級のイベント「JAWS DAYS 2024」内のワークショップにて実施したハンズオンコンテンツとなります。 イベントでは口頭で説明しながら実施しますが、この記事さえ読めば誰でも体験できるように作っていますので、当日イベントにお越しになれない方もぜひご活用ください。（スムーズにいけば30分程度で完了します） 本ハンズオンの実施にあたり、多少の課金（数十円〜数百円以内）が発生することをご了承ください。実施後には忘れず不要なリソースの削除をお願いします。 なお、Bedrockのモデル呼び出し料金はAmazon製のTitanシリーズを除き、マーケットプレイス扱いとなるためAWSクレジット（クーポン）の適用範囲外となります。 ※事前にAWSアカウントの作成をお願いします。クレジットカード情報が必要です。ログイン用のEメールアドレスとパスワードをお忘れなく！ 0
GitHub - bigcode-project/starcoder2: Home of StarCoder2!
[🤗 Models & Datasets] | [Paper] StarCoder2 is a family of code generation models (3B, 7B, and 15B), trained on 600+ programming languages from The Stack v2 and some natural language text such as Wikipedia, Arxiv, and GitHub issues. The models use Grouped Query Attention, a context window of 16,384 tokens, with sliding window attention of 4,096 tokens. The 3B & 7B models were trained on 3+ trillio
Microsoftの研究チームがモデルのウェイトを「-1」「0」「1」の3つの値のみにすることで大規模言語モデルの計算コストを激減させることに成功したと発表しました。 [2402.17764] The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits https://arxiv.org/abs/2402.17764 従来のモデルであれば入力に対して「0.2961」などのウェイトをかけ算してから足し引きする必要がありましたが、「-1」「0」「1」の3値のみであればかけ算が不要になり、全ての計算を足し算で行えるようになります。 そのため、同じ性能を出すのに必要なコストが通常の大規模言語モデルに対して激減するとのこと。なお、それぞれのパラメーターが「-1」「0」「1」という3つの値を取るためlog[2](3)の値より「1.
ベクトルデータベース（Vector Database）／ベクトルストア（Vector Store）とは？
ベクトルデータベース（Vector Database）／ベクトルストア（Vector Store）とは？：AI・機械学習の用語辞典 ベクトルデータベースとは、テキストなどのデータを数値ベクトル（埋め込み）として保存するデータベースを指す。「ベクトルストア」とも呼ばれる。ベクトル検索により、意味的に類似する情報を探せるのが特徴で、チャットAIのRAG構築に役立つ。本稿ではベクトル検索の機能を持つ代表的な製品の概要もそれぞれ簡単に紹介する。 連載目次 用語解説 生成系AI／自然言語処理におけるベクトルデータベース（Vector Database、ベクターデータベース、ベクトルDB）とは、主に単語や文章（テキスト）、画像、音声などの複雑なデータを、AI／機械学習／言語モデルが処理しやすい数値ベクトル表現として保存するデータベースのことである。この数値ベクトル表現は「埋め込み表現（Embeddin
米メタ、ＡＩ言語モデル最新版を今年7月リリースへ＝報道
米メタ・プラットフォームズは、フェイスブックに表示されるニュース記事に対する豪メディアへの対価支払いを停止すると発表した。写真は２０２２年１２月、ベルギーのブリュッセルで撮影（２０２４年 ロイター/Yves Herman） [２８日 ロイター] - 米メタ(META.O), opens new tabはＡＩ（人工知能）大規模言語モデルの最新版「ＬＬａＭＡ（ラマ）３」を今年７月にリリースする予定だ。ユーザーからの質問に対する回答が改善するという。米ニュースサイト「ジ・インフォメーション」が２８日、複数の関係者の話として報じた。
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
いまこそ学ぶLLMベースのAIエージェント入門―基本的なしくみ／開発ツール／有名なOSSや論文の紹介
大規模言語モデル（LLM）の応用例として「AIエージェント」が大きな話題の1つとなっています。 AIエージェントは、与えられた目的に対して、何をすべきか自律的に判断して動作します。 たとえば、必要に応じてWeb上の情報を検索して回答してくれたり、試行錯誤しながらプログラムを実装してくれたりします。 2024年2月現在では、OpenAIのAssistants APIやGPTs、Agents for Amazon BedrockやLangGraphなどがリリースされ、AIエージェントを開発するエコシステムも急速に発展しています。 そんな中、この勉強会では「いまこそ学ぶLLMベースのAIエージェント入門」と題して、LLMベースのAIエージェントの基本を解説します。 LLMベースのAIエージェントの基本的なしくみ（MRKLやReActなど）や各種開発ツール、有名なOSSや論文で実装されたAIエージ
Recent research, such as BitNet, is paving the way for a new era of 1-bit Large Language Models (LLMs). In this work, we introduce a 1-bit LLM variant, namely BitNet b1.58, in which every single parameter (or weight) of the LLM is ternary {-1, 0, 1}. It matches the full-precision (i.e., FP16 or BF16) Transformer LLM with the same model size and training tokens in terms of both perplexity and end-t
GitHub - Beomi/BitNet-Transformers: 0️⃣1️⃣🤗 BitNet-Transformers: Huggingface Transformers Implementation of "BitNet: Scaling 1-bit Transformers for Large Language Models" in pytorch with Llama(2) Architecture
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
LCEL (LangChain Expression Language）完全に理解した - Amazon Bedrock APIで始めるLLM超入門⑨ - Qiita
LCEL (LangChain Expression Language）完全に理解した - Amazon Bedrock APIで始めるLLM超入門⑨PythonAWSbedrocklangchainLCEL LCELからBedrockを呼び出してみます。 LCELとは LangChainでコンポーネントをchain（連続呼出）する共通のInterfaceおよびその記法です。 Interfaceは以下のページが分かり易かったですが、要はRunnable共通のメソッドを実装しているというのと、入出力の型はコンポーネント毎に異なる（chainを組む時に入出力の型を意識して合わせる必要がある）というのが理解のポイントかなと思いました。 使い方は公式のクックブックがわりと分かりやすいです。 LangChainの最新化 langchainとlangchain-communityを最新にします。安定バ
2023年5月にフランスで設立されたAIスタートアップ、Mistral AI（ミストラルAI）がOpenAIを猛追しています。 同社はわずか9ヵ月でOpenAIの大規模言語モデル「GPT-4」に匹敵する「Mistral Large」を発表しました。 さらに、マイクロソフトとの複数年にわたる戦略的パートナーシップを発表して、より一層開発を加速させていくことが明らかに。 改めて、このMistral AIとはどんな会社なのかをおさえていきましょう。 サムネイル画像：Mistral AI ☕️coffee break ミストラルAIの創業者は、Google DeepMind出身のArthur Mensch（アーサー・メンシュ）氏、Meta出身のTimothée Lacroix（ティモテ・ラクロワ）氏とGuillaume Lample（ギョーム・ランプル）氏の3名。 全員が30代前半で、学生時代から
進化を続ける生成AIの最前線、ChatGPT。既に多くの業界で注目される中、まだこの革命的な技術を手にしていないあなたへ。本連載では、具体的なコードを交えながら、ChatGPT APIの可能性とその活用法を徹底解説します。今回は、チャットBot以外の様々な利用目的で組み込むノウハウについて紹介します。 はじめに 前々回、前回の記事ではChatGPTの最もオーソドックスな使い方として、ユーザーとの会話を主軸とするチャットBotの開発に焦点を当てて解説してきました。しかしながら、ChatGPTの活用方法について未だイメージを掴めていない方々の中には、ChatGPTの活用方法で迷っているというよりも、チャットというインターフェースを取り入れるイメージが沸かないという方も少なくないのではないでしょうか。もしもこのケースに当てはまる場合は、「ChatGPTは会話をするもの」という先入観を捨て、システ
GitHub - kyegomez/BitNet: Implementation of "BitNet: Scaling 1-bit Transformers for Large Language Models" in pytorch
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
日本IBMは2024年2月27日、AI基盤モデル「Granite日本語版モデル」の提供開始を発表した。 Graniteは、AI／データプラットフォームである「IBM watsonx」の生成タスク用に設計されたIBM独自の基盤モデル（LLM：大規模言語モデル）で、IBM Researchが開発。今回発表したのは、すでに提供を開始している英語版Graniteモデルと同じ設計思想を持ち、日本語性能を向上した「granite-8b-japanese」と呼ばれる日本語版モデルである。パラメーター数は80億。 同日の記者発表会に出席した日本IBM 技術理事 東京基礎研究所 AI Technologies担当シニアマネージャーの倉田岳人氏は、この日本語版モデルは同社の東京基礎研究所が構築を担当していると紹介し、「日本IBMのテクノロジー事業部門、コンサルティング部門との連携により、日本のお客様の現場で、
はじめまして。株式会社ナレッジセンスの門脇です。普段はエンジニア兼PMとして、「社内データに基づいて回答してくれる」チャットボットをエンタープライズ企業向けに提供しています（一応、200社以上に導入実績あり）。ここで開発しているチャットボットは、ChatGPTを始めとしたLLM（Large Language Models）を活用したサービスであり、その中でもRAG（Retrieval Augmented Generative）という仕組みをガッツリ利用しています。本記事では、RAG精度向上のための知見を共有していきます。 はじめに この記事は何 この記事は、LlamaIndexのAndrei氏による『A Cheat Sheet and Some Recipes For Building Advanced RAG』[1]という記事で紹介されている「RAGに関するチートシート」について、And
Googleが公開したローカルLLMのgemma.cppをLinuxとAndroidのTermuxで動かしてみた。とりあえず2bだけど日本語で返事が帰ってくる程度に賢い。llama.cppでGGUF版があるけどこちらもチャット形式で良い。NetBSD上でもビルドし動作しました
Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224 Googleが公開したローカルLLMのgemma.cppを参考サイトを見ながら動かしてみた。先駆者に感謝 とりあえず2bだけど日本語で返事が帰ってくる程度に賢い。llama.cppでGGUF版があるけどこちらもチャット形式で良い note.com/ngc_shj/n/n3f5… pic.twitter.com/8bfoGYRrnF 2024-02-26 22:28:22
Introducing Mistral-Large on Azure in partnership with Mistral AI | Microsoft Azure Blog
The AI industry is undergoing a significant transformation with growing interest in more efficient and cost-effective models, emblematic of a broader trend in technological advancement. In the vanguard is Mistral AI, an innovator and trailblazer. Their commitment to fostering the open-source community and achieving exceptional performance aligns harmoniously with Microsoft’s commitment to develop
GitHub - SciPhi-AI/R2R: A framework for rapid development and deployment of production-ready RAG systems
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Hallucination has been widely recognized to be a significant drawback for large language models (LLMs). There have been many works that attempt to reduce the extent of hallucination. These efforts have mostly been empirical so far, which cannot answer the fundamental question whether it can be completely eliminated. In this paper, we formalize the problem and show that it is impossible to eliminat
EMNLP2023に採択された論文を眺めていたところ、ある論文が目に止まりました。 「Discovering Universal Geometry in Embeddings with ICA」という論文です。 これは京大下平研の山際さんの論文で、ざっくりとサマると「Word EmbeddingなどのEmbeddingを独立成分分析（ICA）で次元削減することで、人間にとって解釈性の高い成分を取り出すことができる」という論文です。 Vision TransformerやBERTを用いた実験から、モーダルや言語に関わらず解釈性の高い表現が得られたという結果を得ています。 論文内では、文を対象としたEmbeddingであるText Embeddingには触れられていないですが、おそらくうまく動くだろうという見込みがあったため、本手法をText Embeddingに対して実行してみました、という
Isolated for six months, scientists in Antarctica began to develop their own accent
Isolated for six months one winter, a group of scientists changed how they spoke.
AIスタートアップGroqがLLMを超高速で処理するLPUを発表、ほぼリアルタイムでのテキストを生成が可能に AIスタートアップGroqは、公開ベンチマークで全ての競合を上回る、非常に高速なLPU推論エンジンを発表した。 Groqによると、LPU（Language Processing Unit™）は、大規模言語モデル（LLM）のような逐次的な要素を含む計算集約的なアプリケーションに最速の推論を提供する新しいタイプのエンドツーエンド処理ユニットシステムだという。 GroqのLPUは、言語モデルを実行するために特別に設計されており、最大500トークン/秒の速度を提供する。ちなみに、比較的高速なLLMであるGemini ProとGPT-3.5は、負荷、プロンプト、コンテキスト、配信によって異なりますが、1秒間に30～50トークンを処理する。 この推論エンジンは、性能、効率、スピード、精度のため
今日は、ローカルにてRAG(Retrieval-Augmented Generation)を使って、あるPFDについて質問するチャットを作ろうと思う。 OpenAIを使うので、無料ではないので注意されたい。 今回のソースは LangChain 完全入門 という本を参考にしていて、とても勉強になるので購入をお勧めする。 行いたいこと ローカルでPDFを読み込ませて、内容を質問したり、要約させること。 大きな流れ 環境準備 チャットアプリの土台の作成 プロンプトを定義 アップロードされたPDFファイルを分割 内容をベクトル化し保存 入力された質問とPDFから抽出した適した文をOpenAIに送信 回答を得る。 詳細 環境準備 環境構築 Python : 3.11.6 pip ライブラリ chainlit==1.0.101 チャット画面を簡単に作るライブラリ chromadb==0.4.22 ベク
グーグルGemini、法人／デベロッパー向けに展開 サードパーティの最新分析が示すGeminiの実力とは？ | AMP[アンプ] - ビジネスインスピレーションメディア
大規模言語モデルのランドスケープとグーグルGeminiの位置付け 2023年は、コンシューマ領域における生成AIの利用が爆発的に増えた年となった。同年11月時点の情報によると、OpenAIが展開するChatGPTのアクティブユーザー数は1週間あたり1億人に達したとされる。 これに続き2024年はエンタープライズ（法人）領域における利用が増える見込みだ。 ブルームバーグは2024年1月12日OpenAIのブラッド・ライトキャップCOOの話として、同社が2023年8月に法人向けにリリースした「ChatGPT for Enterprise」に関して、現在260社の顧客がおり、15万人のユニークユーザーが利用していると伝えた。OpenAIはブルームバーグの取材で、法人顧客の具体的な社名には言及していないが、自社ブログでCanva、PwC、Zapierなどの多くの有力企業が利用していることを明らかに
![グーグルGemini、法人／デベロッパー向けに展開 サードパーティの最新分析が示すGeminiの実力とは？ | AMP[アンプ] - ビジネスインスピレーションメディア](https://cdn-ak-scissors.b.st-hatena.com/image/square/83c422f8b1c45e2abdb17e0ef1bdb2ffc7f4ecdc/height=288;version=1;width=512/https%3A%2F%2Fampmedia.jp%2Fwp-content%2Fuploads%2F2024%2F01%2Fshutterstock_2397564351-1.jpg)
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
hotchpotch/JQaRA · Datasets at Hugging Face
KaggleのNLPコンペで初手に使える可視化 〜BERTopicを用いた文書クラスタリングと可視化〜
ロングコンテキストLLMに対応したRAGの新アーキテクチャ｜npaka
化学の専門知識を学んだＬＬＭ開発、東工大が見出したこと ニュースイッチ by 日刊工業新聞社
速報：話題の 1ビットLLMとは何か？｜寺田英雄（㈱オープンストリームCTO）
【論文丁寧解説】BitNet b1.58とは一体何者なのか - Qiita
Tiny Predictive Text - Adam Grant
600以上の言語で学習したオープンなコード生成用AIモデル。NVIDIAらが開発
AIDB on X: "RAGで取得した外部情報とモデルの事前知識が矛盾する場合、LLMは、RAGで得られた知識に説得力がある（ロジカルで明確な）ときにはそれを受け入れるとのこと。 一方で、取得した外部情報同士に矛盾が生じている場合は、事前知識との整合性に固執する傾向があるとのことです。 "Adaptive Chameleon or… https://t.co/3xgIiqPOQt"
Microsoftが1.58ビットの大規模言語モデルをリリース、行列計算を足し算にできて計算コスト激減へ
Daisuke Okanohara / 岡野原 大輔 on X: "BitNet b1.58はBitNet(https://t.co/mUKvWKMcsM)の重みを2値でなく3値{-1, 0, 1}で持ち学習。3BでPPLと後続タスク性能で元のLLMに匹敵か超える性能を達成。活性値は8bitで持つので行列乗算は効率的なINT8加減算に置き換えられる。https://t.co/cZSBZMC2yp == コメント：…"
驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits
わずか9ヵ月でOpenAIに匹敵するAIモデルを開発したフランス「Mistral AI」とは
チャットBotだけじゃない！ChatGPTを汎用自然言語処理エンジンとして利用する方法
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
IBM、高い日本語性能を持つLLM「Granite日本語版モデル」提供開始
RAGでの回答精度向上のためのテクニック集（基礎編）
Hallucination is Inevitable: An Innate Limitation of Large Language Models
独立成分分析（ICA）を使ってText Embeddingを分析してみた - Qiita
AIスタートアップGroqがLLMを超高速で処理するLPUを発表、ほぼリアルタイムでのテキストを生成が可能に | TEXAL
ローカルで気軽にRAGを使って会話することが簡単すぎてビビった。 - Qiita