「知的単純作業」を自動化する、地に足の着いた大規模言語モデル (LLM) の活用LayerX 部門執行役員・AI・LLM事業部長 中村龍矢 2024/5/8 生成AI Conf
日経、大規模言語モデル「NiLM」を開発 約40年分の記事データのみ学習、経済領域に特化
日本経済新聞社は4月24日、経済情報に特化した大規模言語モデル「NIKKEI Language Model」（NiLM、にるむ）を開発したと発表した。約40年分の日本経済新聞などの記事のみを学習したAIモデル。130億と700億パラメータの2つのモデルを開発したという。 NiLMの学習には、ネット上の公開情報は利用していない。約40年分の日本経済新聞の記事や、日経産業新聞と日経MJ、日経ヴェリタス、NIKKEI Primeなどの専門媒体、日経BPの各媒体から同社が著作権と使用権を持つ記事だけを学習に使ったとしている。 130億パラメータのモデルは、一般公開されているモデルは使わず、独自にモデルを構築。700億パラメータのモデルは、米Metaの「Llama 2」の700億パラメータモデルと、Llama 3の80億パラメータのモデルなどをベースに開発した。学習に使った日本語コーパスのトークン量
アウェアファイ AI コーチングの裏側 / GPT-4 + Claude 3 で実現するマルチLLM活用とメタプロンプトの可能性
概要AI メンタルヘルスアプリ Awarefy（以下、アウェアファイ） は、2024年4月9日に、「AI コーチング」機能をリリースした「AI コーチング」の実装にあたり、プロンプトの調整を行う「メタプロンプト」を考案。対話用AI と、コーチングプロセス管理用AI に役割を分割することで円滑なAIコーチング体験を提供できるようになった「AI コーチング」では、アウェアファイとしてはじめて、Anthropic 社の Claude 3 を導入したAI 機能の安定供給のため、Amazon Bedrock と GCP Vertex AI との冗長化構成、および AWS Step Functions による非同期処理の構成をとっている本記事でお伝えしている要旨は上記のとおりですが、読み進めることで読者は以下についての知見を得ることができます。 「メタプロンプト」とはなにか「AIコーチング」の事業上の
OpenAIのライバル:Cohereが最高にイケている件 - Qiita
はじめに Cohere(コーヒア)とは、生成AI関連のスタートアップ企業であり、オラクル、エヌビディア（NVIDIA）、セールスフォース・ベンチャーズ（Salesforce Ventures）、センチネルワン（SentinelOne）などが支援しています。 これまでにCommand-R+などのモデルを公開しています。 今回はCohereのイケている部分について紹介させていただきます。 UIがイケている こちらCohereのダッシュボードです。実際に使ってみるとわかるのですが、全ての画面がわかりやすいです。この画面だけでもやりたいことがすぐ見つけられますし、サイドバー、ヘッダーの選択肢も適切です。（筆者の感想ですが） PlayGroundはChatだけではなく、ClassifyとEmbedも選択できます。 さらにConnectorsでWeb検索を有無を選択できます。 このUIの偉いところは、
ChatGPTのライバル「Claude 3」の使い方 良い点、悪い点まとめ (1/5)
3月4日の公開以来、「Claudeやばくない？」「GPT-4を越えた」と、界隈で話題の「Claude 3」は、OpenAIの元メンバーによって設立されたAIベンチャー「Anthropic」が開発する最新の大規模言語モデル（LLM）だ。今回はChatGPTのライバルClaude 3の有料版を2週間ほどヘビーに使ってみて感じたことを、良い点と悪い点どちらも書いていきたいと思う。 Claude 3とは？ 既報の通り、Claude 3はAnthropicが開発する大規模言語モデルの名称だ。 パラメーターのサイズなどが異なる3つのモデルがラインアップされている。 「Claude 3 Opus」は最も知能が高く、複雑なタスクでも最高のパフォーマンスを発揮する強力なモデル。APIやデータベースを介した複雑なアクションの計画や実行、インタラクティブコーディングなどの高度な活用が想定されている。 「Clau
楽天グループが大規模言語モデルを公開 Mistralベースの70億パラメータ 商用利用も可能
楽天グループは3月21日、日本語に特化した大規模言語モデル（LLM）「Rakuten AI 7B」などを公開した。フランスのAIスタートアップ・Mistral AIのLLM「Mistral-7B-v0.1」をベースに開発した70億パラメータのLLM。ライセンスは「Apache 2.0」で、Hugging Faceからダウンロードできる。商用利用も可能。 インストラクションチューニング（ファインチューニングの一種）済モデル「Rakuten AI 7B Instruct」と、このモデルを基にファインチューニングしたチャットモデル「Rakuten AI 7B Chat」も公開。いずれもライセンスは同じく、Apache 2.0。 どのモデルも、Mistral-7B-v0.1を基に、ネット上に存在する日本語と英語のデータによって繰り返し事前学習したという。使ったデータは、内製のフィルタリング機能や、
「公開するApple vs. 隠すOpenAI」アップルが300億パラメータのマルチモーダルAI「MM1」発表。重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第38回目は、生成AI最新論文の概要5つを紹介します。 Appleが最大300億パラメータを持つマルチモーダル大規模言語モデル「MM1」を開発 OpenAIなどのクローズド大規模言語モデルの一部を許可なく取得する攻撃、Googleなどが開発 GPT-3.5の隠れ層のサイズを約4096と推定。非公開LLMの中身を抽出する手法 WebページのスクリーンショットからHTMLコードを生成するAIモデル「Sightseer」をHugging Faceが開発 実世界に強いマルチモーダル大規模言語モデル「DeepSeek-VL」 Appleが最大300億パラメータを持つマルチモーダ
イーロン・マスク氏のxAI、LLM「Grok-1」をオープンに
イーロン・マスク氏が昨年7月に立ち上げたAI企業xAIは3月17日（日曜日）、同社のLLM「Grok-1」の基本モデルの重みとアーキテクチャをリリースすると発表した。GitHubで、Apache 2ライセンスで配布されている。 Grok-1は、同社が昨年11月に発表したチャットbot「Grok」のベースとなるLLM。マスク氏がオーナーである米Xの「Xプレミアムプラス」のユーザーは、Grokと会話できている。 xAIは「3140億パラメータのMixture-of-Experts（MoE）」モデルと説明しているが、トレーニングデータについては「特定のタスク用に微調整されていない大量のテキストデータ」としか開示していない。ちなみに、Grok-1と競合する米OpenAIの「GPT-3」のパラメータ数は約1750億で、「GPT-4」については公表されていない。 マスク氏は2月、OpenAIを“契約違
RAGでの回答精度向上のためのテクニック集（基礎編）
はじめまして。株式会社ナレッジセンスの門脇です。普段はエンジニア兼PMとして、「社内データに基づいて回答してくれる」チャットボットをエンタープライズ企業向けに提供しています（一応、200社以上に導入実績あり）。ここで開発しているチャットボットは、ChatGPTを始めとしたLLM（Large Language Models）を活用したサービスであり、その中でもRAG（Retrieval Augmented Generative）という仕組みをガッツリ利用しています。本記事では、RAG精度向上のための知見を共有していきます。 はじめに この記事は何 この記事は、LlamaIndexのAndrei氏による『A Cheat Sheet and Some Recipes For Building Advanced RAG』[1]という記事で紹介されている「RAGに関するチートシート」について、And
米OpenAI「公表しないで……」 ブラックボックスであるLLMの中身を“盗む”攻撃 米Googleらが発表
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Google DeepMindなどに所属する研究者らが発表した論文「Stealing Part of a Production Language Model」は、米OpenAIのGPT-4や米GoogleのPaLM-2などのクローズドな大規模言語モデル（LLM）から、モデルの一部を盗み出す攻撃を提案した研究報告である。言語モデルのAPIへのクエリを通じて、低コストでモデルの内部構造に関する情報を抽出することに成功した。 GPT-4やPaLM-2などの最先端AIモデルは、APIを通じて一般ユーザーに提供されているが、内部構造や学習に使用され
llama.cppでHuggingFaceにあるモデルを自分で量子化して動かす方法
はじめに 自作PCでローカルLLMを動かすために、llama.cppを用いて量子化したモデルを動かす手法がある。ほとんどのローカルLLMはTheBlokeが量子化して公開してくれているため、ダウンロードすれば簡単に動かすことができるが、一方で最新のモデルを検証したい場合や自前のモデルを量子化したい場合など、TheBlokeに無いモデルを動かしたい時がある。 今回、私は以下のXwin-LM/Xwin-Math-70B-V1.0を検証したくて、llama.cppを用いて自前で量子化を行いました。その手法をまとめておく。 ちなみに、このモデルは、数学問題に特化しているモデルで、既存の数学問題に特化したローカルLLMの中でベンチマーク上は最も優秀なモデルとされている。[1] 私の PC のスペック[2] i7 13700K 3090 24GB DDR5 128GB Docker環境の準備 私はVS
自分を模倣するLLMを作成する方法 - Qiita
はじめに 最近はChatGPTなどの大規模言語モデル(LLM)の発展がめざましく、自分で文章を考えなくても勝手にAIが書いてくれる世の中になりました しかし、ChatGPTなどの既存のLLMに意見とかを述べさせると、中立的で一般的な意見しか述べず、明らかにAIが書いたんだろうな～という文章しか作れません。 そんなわけで、今回は自分の意見に近い文章を出力してくれるLLMを作成しようという試みを書きたいと思います！！ 最初に まずはベースとなるLLMを用意するところから始めます ChatGPTやBIng AIは高性能なのですが、実際のモデルはダウンロード出来ないので自分好みにカスタマイズできないという欠点があります。 そこでダウンロード可能なChat型LLMであるLlama2をゲットしましょう！！ Llama2はMeta社が開発したオープンモデルでChatGPT3.5にいくつかの指標で勝つなど
ollamaが便利だから使用方法をメモる｜JohnK.Happy
ollamaはどうやらコンテナを扱う様なノリでローカルLLMを実行可能にするツールらしい。 データセットを作成させたりプロンプトを作成させたり出来る。 Macなら使い方は簡単だ GitHub - ollama/ollama: Get up and running with Llama 2, Mistral, and other large language models locally. Linux OR WSL2 環境の場合はこれで入る curl https://ollama.ai/install.sh | shDockerイメージも用意されているのでDockerで起動してもよさそう llama2 を実行したい場合は次のようにする ollama run llama2 Dockerfileを書く様なノリでModelfileを書いてビルド出来る １ローカルにダウンロード済みのモデルを指定して
驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
最強のツール「LangSmith」が登場した話【Python / LangChain】
【📩 仕事の相談はこちら 📩】 お仕事の相談のある方は、下記のフォームよりお気軽にご相談ください。 https://forms.gle/G5g1SJ7BBZw7oXYA7 もしもメールでの問い合わせの方がよろしければ、下記のメールアドレスへご連絡ください。 info*galirage.com（*を@に変えてご送付ください） 🎁 「生成AIの社内ガイドライン」PDFを『公式LINE』で配布中 🎁 「LINEで相談したい方」や「お問い合わせを検討中の方」は、公式LINEでご連絡いただけますと幸いです。 （期間限定で配信中なため、ご興味ある方は、今のうちに受け取りいただけたらと思います^^） https://lin.ee/3zRuqKe おまけ①：生成AIエンジニア塾 より専門的な「生成AIエンジニア人材」を目指しませんか？ そんな方々に向けて、「生成AIエンジニア塾」というプログラムを
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データクラウド | Snowflake Japan
Apple、300億パラメータのマルチモーダル大規模言語モデル「MM1」
GitHub - Programming-from-A-to-Z/transformers-js-examples
Googleが公開したローカルLLMのgemma.cppをLinuxとAndroidのTermuxで動かしてみた。とりあえず2bだけど日本語で返事が帰ってくる程度に賢い。llama.cppでGGUF版があるけどこちらもチャット形式で良い。NetBSD上でもビルドし動作しました
日本語LLM の学習に関する技術記事まとめ｜npaka
