1つの大きなLLM（大規模言語モデル）を複数のGPUで力を合わせて動かそう | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 LLM群雄割拠の時代 昨今、ローカルGPUで駆動できるようなLLM（大規模言語モデル）もかなり増えてきて、キャッチコピー的に「ついに我が家にもGPT-4が！」とか言われるようになってまいりました。パラメータ規模で言えば70億～130億(7B-13B)パラメータ、700億(70B)パラメータ、1400億(140B)パラメータあたりのモデルが活発にリリースされているように見受けられます。 大きなモデルをGPU寄せ集めしつつ遊びたい！ しかしながら、コンシュマー向けのGPUにおいては、7B
Snowflake の Copilot が優秀すぎる件について
マーケティングテクノロジーの情報やノウハウ・TIPS、エクスチュア社の情報を発信。【ブログネタ募集】ご興味のある分野を教えてください！ご要望の内容を記事に起こします！メニューの「ブログへの」リクエストよりお送りください。 menu こんにちは、喜田です。 いままでSnowflakeのライトユーザーで一部機能だけに特化して触っている状態でしたが、最近はData Superheroes 2024になったこともあり、いままで関わりの薄かった製品領域も調査したり、海外リージョンでしか出ていないプレビューを触ったりしています。 そのうちの一つがCopilotで、いまは北米など一部リージョンでのみパブリックプレビュー中の、Snowflakeコード開発が一段と捗るAIおしゃべり機能です。 この右側のパネルがCopilotとのチャット。出力が多くてチャットっぽくないですが、上から会話が続いております。 C
ラズパイでLLM 普通にローカル動きました。Raspberry Pi 5です。DockerでOllamaを動かしています。簡単にメモします。 ラズパイのセットアップ 以下でラズパイの基本的なセットアップをします。 Dockerをセットアップします。 Ollamaセットアップ 続いてOllamaをセットアップします。ラズパイでDockerを使えば、以下コマンドを実行するだけでOllamaをインストールできます。 $ docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
Amazon BedrockにCohere Command R と Command R+ が来たよ！RAGがすげーよ！ - Qiita
Amazon BedrockにCohere Command R と Command R+ が来たよ！RAGがすげーよ！AWSragbedrockCohereCommand-R+ GW真っ只中の4/30、Amazon BedrockにCohere Command RとCommand R+がやってきました！！🎊🎊🎊 Command R+はただのテキスト生成の枠を超えたAPIになっています！（と勝手に解釈しています！！） いろいろ特徴がありそうですが、まずは、RAGをやってみました。 なにがすごいの？ Command R+のInvoke ModelのBodyが特徴的で、 documentを渡す専用項目があります 。
GitHub、「Copilot Workspace」テクニカルプレビューを開始。ほとんど全ての開発工程をAIで自動化
GitHub、「Copilot Workspace」テクニカルプレビューを開始。ほとんど全ての開発工程をAIで自動化 テクニカルプレビューは上記のCopilot Workspaceのページからウェイトリストボタンをクリックして申し込みます。 Copilot Workspaceはほとんど全ての工程を自動化 Copilot Workspaceは、自然言語で書かれたIssue（課題）を基に、Copilotが仕様案と実装計画を示し、コーディングや既存のコードの修正を行い、ビルドをしてエラーがあればデバッグも行うという、プログラミングのほとんど全ての工程をCopilotが自動的に実行してくれる、というものです。 人間は各工程でCopilotから示される内容を必要に応じて修正するか、そのまま見守ることになります。 GitHub CEOのThomas Dohmke（トーマス・ドムケ）氏は、Copilot
最近RAGアプリケーションの評価やその管理ツールについて調べることがありました。 今回はRAGアプリケーションでの実験管理に使用できるPhoenixを使ってみたのでそのメモです。 RAGアプリケーションと評価 RAGアプリケーションの評価 Arize Phoenix 類似ツール 使ってみる Tutorial ローカルでの管理 参考文献 感想 RAGアプリケーションと評価 Retrieval-Augmented Generation (RAG)は、LLMに外部の知識ソースからの追加情報を提供することで、LLM自体が知らない知識を補い、より正確で文脈に沿った答えを生成するアプリケーションです。 大まかには下記のような流れで動作します。 ユーザーからのクエリをもとに関連するドキュメントを検索 (retrieve) ユーザーのクエリ、関連するドキュメントを含めた形でプロンプトを動的に作成 (Aug
60行スクリプトシリーズ第二弾。前回はこちら この記事はMultiAgent作成フレームワーク「LangGraph」に興味がある人が手っ取り早く動かしてみることを目標にした記事です。 この記事を見てできること 指定のお題に対して、関数で定義したツール実行（Web検索など）をする。 実行結果を元に答えを返す。答えがわかるまでツール実行を繰り返す。 このワークフローの拡張性も意識して、組み込みのワークフローは利用しない方針で作成しています。 まずはセットアップ # 必要なライブラリをインポート import argparse from langchain_community.tools.tavily_search import TavilySearchResults from langchain_openai import ChatOpenAI from langgraph.checkpoin
![[LangGraph] 自律的にプログラムを実行するLLM Agentを作るための60行スクリプト](https://cdn-ak-scissors.b.st-hatena.com/image/square/cb93b014e915816e18f67fbbcf590ed6f72ea843/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--CGAekK_6--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BLangGraph%25255D%252520%2525E8%252587%2525AA%2525E5%2525BE%25258B%2525E7%25259A%252584%2525E3%252581%2525AB%2525E3%252583%252597%2525E3%252583%2525AD%2525E3%252582%2525B0%2525E3%252583%2525A9%2525E3%252583%2525A0%2525E3%252582%252592%2525E5%2525AE%25259F%2525E8%2525A1%25258C%2525E3%252581%252599%2525E3%252582%25258BLLM%252520Agent%2525E3%252582%252592%2525E4%2525BD%25259C%2525E3%252582%25258B%2525E3%252581%25259F%2525E3%252582%252581%2525E3%252581%2525AE60%2525E8%2525A1%25258C%2525E3%252582%2525B9%2525E3%252582%2525AF%2525E3%252583%2525AA%2525E3%252583%252597%2525E3%252583%252588%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Ahikae%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2VmZjczZjNlODUuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
2.3k{icon} {views} 複数のLLM（GPT/Claude3）とArxivの検索APIをRAGで統合し、論文サーベイの自動生成を作りました。検索結果の前処理や、サーベイ特有のプロンプトエンジニアリングやソートが重要で、最適化手法として古くからある巡回セールスマン問題（TSP）が有効に機能しました。また、生成部分ではGPTよりClaude3の明確な有効性を確認できました。 できたもの Arxivの検索APIを使って検索拡張生成（RAG）したらサーベイを自動生成できた やっていること Arxivの検索ワードをGPT-4-Turboで生成 ArxivのAPIを叩いてヒューリスティックでフィルタリング OpenAIのEmbedding APIを叩く Embeddingに対して巡回セールスマン問題（TSP）を解いてソートをかける 論文の要旨をGPT-3.5-Turboで要約 ソートした
生成AI (Cohere)＋LangChain＋Vector Database (PostgreSQL)でRAGを試してみた - Qiita
生成AI (Cohere)＋LangChain＋Vector Database (PostgreSQL)でRAGを試してみたPostgreSQLlangchainLLMVectorStorepgvector 生成AIを企業が使う場合、社内データを使った回答を得るにはファインチューニング、もしくは Retrieval-Augmented Generation (RAG、検索拡張生成) を行う必要があります。 企業では毎日データが更新される中で、ファインチューニングを頻繁に行うのはコスト高で現実的ではありません。 そこでRAGを使った方法が注目されています。 ということで、今回は以下の組み合わせでRAGを試してみました。 生成AI: Cohere Command Vector Database: PostgreSQL (pgvector) 生成AIとVector Databaseの連携: La
ゼロから始めるVue.jsコミュニティ貢献 / first-vuejs-community-contribution-link-and-motivation
はじめに Microsoft社が2024年4月23日に商用利用可な小型言語モデル（SLM)のPhi-3（mini(3.8B)、small(7B)、medium(14B)）を発表し、同日miniについて公開しました。 ＊3.8B〜14Bのため大規模言語モデル（LLM）とは言わず小規模言語モデル（SLM)と言っているのは共感が持てます。他の言語モデルも名称を共通化して欲しいですね😁 どのくらいの精度のものなのか早速検証してみました。 検証環境 今回は、Phi-3-mini-4k-Instructモデルを使用しました。 Googleコラボ Pro+ で A100 環境を使用しました。GPU RAMが8.4GB程度で動いているのでV100等でも動くと思います（なお、CPUでも動くとありましたがCPUリソースでは筆者の環境では残念ながらレスポンスが返ってきませんでした）。 パラメータは、max_n
MLX で Llama2 を動かしてみる
Appleシリコン上での実行に対応した機械学習ライブラリMLXが公開されました。 今回は公式が公開している"mlx-examples"リポジトリの"llama"を使って、llama2-7b-chatの実行を試してみます。 commit: 3cf436b529ea58d6c0c0a29c0dd799908cd4497d 2023/12/22 検証環境 MacBook Pro Apple M3 Pro メモリ 36GB 公式要件としては、以下の環境が示されています。以下要件を満たしていてもメモリが少ない場合、実行するモデルによっては推論ができない可能性があります。 Using an M series chip (Apple silicon) Using a native Python >= 3.8 macOS >= 13.3 環境構築 まず"mlx-examples"のリポジトリをローカルにク
Heroku PostgresとAWS BedrockとHugging FaceでRAGを作ってみた - Qiita
2023年11月にHeroku Postgresql 15 がpgvectorに対応しました。これによりHeroku Postgresがベクトルデータベースとして利用できるようになりました。 本記事では、最近話題のClaude2.1やText Embeddingと組み合わせ、Heroku Postgres内データを元に生成AIが回答してくれる、 Retrieval Augment Generation (RAG) を試作し、実際どんな回答を返してくれるか？検証してみました。 今回使用したもの 個人的に興味のあるものや、使いやすいものを選びましたので、特にこの組み合わせでないといけないわけではないです。 ■ ベクトルデータベース & ナレッジベース Heroku Heroku Postgres (PostgreSQL) pgvector ※今回の主役！ ■ 大規模言語モデル AWS Bedr
はじめに この記事で想定している読者の方: LangChainで簡単でもコードを書いたことがある人 LLM chainについてざっくりと理解している人 公開されているLLMをapi経由で用いて様々な処理を記述できるライブラリ 「LangChain」にて, 主に外部から文書を与える際に用いられる以下の4つのchainをご存知の方も多いと思います。 stuff chain map reduce chain map rerank chain refine chain 今回は, 実際にstreamlitを用いて4つのchainを使用したchatアプリのデモ作成し, それを用いてchainごとの性能比較を行いました! 比較では単純な応答能力の比較に加えて, 生成時間やAPI料金の観点からも比較を行なったので, ぜひ読んでみてください! TL;DR 今回の実験は以下のgif画像のようなデモアプリを用い
Do your best work with Gemini for Workspace Gemini for Workspace helps you work smarter, not harder, increasing productivity and saving time so you can focus on higher-impact work. This guide explores different ways to quickly jump in and gain mastery of the basics to help you accomplish your day-to-day tasks. Explore foundational skills for writing effective prompts organized by role and use case
はじめに Vercel AI SDK (React 等から LLM の API をいい感じに stream で呼び出せるようにするやつ) から Ollama （OSS の LLM をローカルで動かすやつ） を呼び出す方法を調べました。 参考 課題 Vercel AI SDK の サンプルコードを、OpenAI から Ollama の langchain のモデルを使って、置き換えて動かそうとしたけど、なぜかうまくいかなかった。 解決方法 ここのディスカッションにいろんな解決方法が記載されている。その中からいくつか試した。 解決方法 1 OpenAI Compatibility API を使う OpenAI API と同じ API で呼び出す方法。呼び出せるモデルに制約がある。マルチモーダルの llava は呼び出せない。 URL 変えるくらい。シンプル。すんなり動いた。 解決方法 2 la
今回は、ローカルで動かせるCommand R+の量子化モデルを色々使ってそれぞれにElyzaTasksベンチマークを解かせるという事をやる。 何故そんな事をする必要があるんですか？ まず、LLMのパラメータは本来1パラあたり16bitの精度で保存されている。しかし、LLMを動かすとメチャクチャメモリやVRAM食う。だから、精度を下げちゃえば省メモリになっていんじゃね？という話で、8bitやら4bitやら2bitに精度を下げちゃう事が、特にLlama.cpp界隈では常識的に行われている。これが量子化だ。というか、コンシューマレベルのPCでLLMを実用的に動かしたいと思えば、量子化はもはや必須テクである。 量子化でbit数を下げれば下げるほど、当たり前だがLLMの回答の精度、クオリティは下がっていく。要するにアホになってく。8bitはまったく問題なし。6bit、5bitも全然問題なし。4bit
生成AIグラビアをグラビアカメラマンが作るとどうなる？ 第22回：Stable Diffusion 3リリース。ComfyUIを使いAPI経由で生成（西川和久） | テクノエッジ TechnoEdge
API経由ながらStable Diffusion 3が利用可能に！今年、2024年2月24日に次世代Stable Diffusion、Stable Diffusion 3が発表された。いろいろな特徴があるのだが、画像品質の向上はもちろんのこと、Stable Diffusion (XL) が苦手だった文字 (但し日本語などは除く) にも対応し、早く使いたかったものの、まだ一般が試せる状態ではなかった。 ところがつい先日の4月17日、Stability AI Developer PlatformのAPI経由で利用可能となったので、使ってみたのが今回の内容となる。 APIを使うにあたって必要なAPI Keyは、Stability AI にアカウントを作ると用意され、自動的に24クレジットが付加される。1枚作って消費するクレジットは以下の通り。 Stable Diffusion 3は1枚6.5クレ
最近、一部のローカルLLM勢のあいだでChatVectorで遊ぶのが流行っている。 ChatVectorとは何か？というとこちらの論文で発表された技術だ。 [2310.04799] Chat Vector: A Simple Approach to Equip LLMs with Instruction Following and Model Alignment in New Languages (arxiv.org) こちらの解説記事が分かりやすい。 Chat Vectorを使って日本語LLMをチャットモデルに改造する – Qiita 要するに、ChatVectorとは指示チューニングでチャット能力を獲得したモデルのウエイトから、ベースになったモデルのウエイトを差し引いた差分の事である。 そしてChatVectorを別のモデルのウエイトに加算すれば、そのモデルにチャット能力を付与する事が
AIを使った論文の読み方
近年の AI の進歩により、論文の読み方も大きく変化を遂げました。AI を活用することで以前と比べてはるかに簡単かつ早く論文が読めるようになりました。 以前私の個人ブログにて、論文の読み方やまとめ方を紹介しました。その時には要約ツールは用いていませんでしたが、最近はすっかり要約ツールを多用するようになりました。 本稿では、最新の AI を使った論文の読み方を丁寧に紹介します。 基本的な流れ 本稿でおすすめするのは ChatGPT か Claude で要約を生成して論文の概要をつかみ、Readable で精読するという方法です。ChatGPT や Claude では単に全体の要約を生成するだけでなく、肝となる箇所を特定したり理解するためにも用います。具体的な手順については後の項で解説します。 私が特定のテーマについて調査を行う場合には、テーマに関係する論文を被引用数の多いものを中心に 10
Claude 3 Opus、ずっと待ってました！ AWSの生成AIサービス、Amazon Bedrock。 多数の生成AIモデルがAPIとして利用できますが、テキスト生成で非常に高性能なのがAnthropic社のClaude 3シリーズです。 OpenAI社のGPT-4シリーズと日々、追いつけ追い越せを続けています。 Claude 3登場後、3モデルあるうち最上位の Opus モデルだけはなかなかBedrockにリリースされませんでしたが、ついに先ほどオレゴンリージョンに出現したようです！ まだAWS公式リリースはないですが、近日中にWhat's New等でアナウンスされるものと思われます。 ※今回も宇宙最速の発見者はひるたさんでした。いつもありがとうございます🙌 そもそもBedrockって何だっけ？ こちらの資料で紹介していますのでご覧ください！ なお、凄腕Bedrockerの @he
SnowflakeからClaude3(Bedrock)を呼び出して、文章作成や画像認識させてみた。 - Qiita
SnowflakeからClaude3を呼び出して、文章作成やさせてみる 今回はSnowflakeのUDFでClaude3(Amazon Bedrock)を呼び出して、文章作成や画像認識させる方法について紹介したいと思います。 最初は文章作成させる方法だけで記事を作成しようと思ったのですが、クイックスタートをなぞるだけの記事になりそうだし、もうSnowflake Cortexでも出来ることなので、ステージ上の画像ファイルを認識する機能も追加してみました。 ちなみに、以下はステージに配置したとある画像をClaude3に説明させた結果です。何だと思いますか。Snowflakeヘビーユーザにはお馴染みのあいつです。 この画像には、可愛らしい白いぬいぐるみのクマが写っています。クマの体はふわふわと柔らかそうに見え、青いニットのマフラーを巻いて寒さから身を守っているように見えます。クマの顔は丸く優しい
前回Chat Vectorについて簡単に予習したので、とりあえず「LightChatAssistant 2x7B」の作成手順を再現してみたいと思います。 作者さんがモデルカードで丁寧に説明してくださっているので、基本的にそれをなぞるだけです。まずはまったく同じモデルを作ってみます。 huggingface.co Chat Vectorによる処理 Google ColabのCPU（ハイメモリ）で試します。3つ分のモデルファイルを扱えるだけのRAM容量さえあればよく、GPU無しで完結するようです。 まずは、Chat Vector処理を行うための依存関係をインストールします。ColabだとTransformersはプリインストールされてます。 # 依存関係のインストール !pip install accelerate protobuf さてChat Vectorは、追加学習したチャットモデルの重
エアプにならないために、実際に moonbit を使ってコードを書いてみた感想を書く。 JSON Parser を書いた パッケージレジストリである https://mooncakes.io を見た限り、使いやすい json parser がなさそうなので、とりあえず自分用のをでっち上げた。 mooncakes.io に publish してあるので、 moon add mizchi/json で使える。品質が良くなくても ネームスペース付きで publish するので別に邪魔にならない気がした。 なんで作ったかというと、公式 example の cloudflare workers の example は単純なフィボナッチを計算するだけで、構造的なデータを返すことができない。 moonbit と js 間の文字列の受け渡しについては、あとで別の記事を書く。 使い方 fn main { l
Amazon Bedrockで電話での問い合わせ内容の種別を判定し、担当者に振り分けてみた[AIチャットボット] | DevelopersIO
Amazon Bedrockで電話での問い合わせ内容の種別を判定し、担当者に振り分けてみた[AIチャットボット] はじめに 本記事では、Amazon Connect + Amazon Bedrock + Amazon Lexを組み合わせて、電話での問い合わせ内容を種別判定し、最適な担当者に振り分ける方法と、その精度結果をまとめました。 ユーザーのお問い合わせの種別を判定し、種別ごとに担当者に振り分けるコンタクトセンターでのAIチャットボットによる一次対応を想定し、生成AIであるBedrockのClaudeが種別判定機能を担います。 お問い合わせの種別判定は、以前Amazon Kendraを利用して試しましたが、今回は、BedrockのClaudeを利用してみます。 構成 構成としては、下記の通りです。 以下は、ユーザーがお問い合わせした内容を種別判定し、内容によって担当者に振り分けするまで
![Amazon Bedrockで電話での問い合わせ内容の種別を判定し、担当者に振り分けてみた[AIチャットボット] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/87df14d8322101852bf1ce7d1cd3f121f6b1a7a9/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F04%2F2024-04-11-cm-hirai-1200x630-1.png)
前回の続きです。次はChat Vector処理によってどれくらい日本語チャット機能が改善しているのかを具体的にみてみます。 下記の記事で、Chat Vectorを使わなくても単純に2モデルをMoEマージするだけで一定の性能向上が観察できることは確認しています。 sc-bakushu.hatenablog.com では、Chat Vectorを加えることでモデルのチャット性能はどのように影響を受けるののでしょうか。 単体の7BモデルにおけるChat Vectorの効果 まず「LightChatAssistant 2x7B」の再現過程で得られた「ChatNTQ 7BにMistral-7B-v0.2-InstructのChat Vectorを適用したモデル」の性能を測定してみます。 名称 LightChat Assistant 2x7B Chat NTQ 7B random MoE ChatNT
はじめに CysharpからAnthropic Claude APIの.NET用、非公式クライアントライブラリClaudiaが登場しました。このライブラリの登場により、Unity上で簡単にClaude3のAPIを呼び出すことができます。また、Function Callingと呼ばれるLLMの出力から関数を呼び出す機能も簡単に実装できます。今回はClaudiaのチュートリアルとして、自然言語の入力からプレイヤーを操作できる2Dプラットフォームを実施します。 要所のコードを解説したのちに、最後は簡単に試せるサンプルコードを添付しています。 使用するライブラリ 今回使用するライブラリとして、Cysharpから登場したAnthropic Claude APIの.NET用、非公式クライアントライブラリClaudiaを使用します。Claudiaの導入方法に関しては、今回は触れませんがClaudiaリポ
![[Claudia][Unity]自然言語によって動く2Dプラットフォーム](https://cdn-ak-scissors.b.st-hatena.com/image/square/907da11f6a175f288c4e0e8aeb8931f3bb360312/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--Ke9nsqsO--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BClaudia%25255D%25255BUnity%25255D%2525E8%252587%2525AA%2525E7%252584%2525B6%2525E8%2525A8%252580%2525E8%2525AA%25259E%2525E3%252581%2525AB%2525E3%252582%252588%2525E3%252581%2525A3%2525E3%252581%2525A6%2525E5%25258B%252595%2525E3%252581%25258F2D%2525E3%252583%252597%2525E3%252583%2525A9%2525E3%252583%252583%2525E3%252583%252588%2525E3%252583%252595%2525E3%252582%2525A9%2525E3%252583%2525BC%2525E3%252583%2525A0%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E5%2525BA%252583%2525E5%2525A4%2525A2%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2Y1Mjc1NTMyNjguanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
G-gen 又吉です。本記事は Google Cloud Next '24 in Las Vegas の1日目のキーノートで発表された Vertex AI Agent Builder を触ってみたのでご紹介します。 他の Google Cloud Next '24 の関連記事は Google Cloud Next '24 カテゴリの記事一覧からご覧いただけます。 概要 Agent とは Vertex AI Agent Builder とは 料金 概要 試算例 Vertex AI agents 概要 Agents の構成要素 Goal Instructions Examples Tools 概要 Built-in tools OpenAPI tools Data store tools 触ってみた 関連記事 概要 Agent とは 生成 AI アプリケーションにおける Agent とは、人間
「Gemini API」でラジオ番組の音声からの文字起こしを試したので、まとめました。 1. Gemini 1.5 Pro の 音声データ入力「Gemini 1.5 Pro」で音声データでの入力が可能になりました。 サポートしているファイル形式は、次のとおりです。 ・MIMEタイプの制限 ・WAV - audio/wav ・MP3 - audio/mp3 ・AIFF - audio/aiff ・AAC - audio/aac ・OGG Vorbis - audio/ogg ・FLAC - audio/flac ・1プロンプトでの音声データの最大長は 9.5 時間。 ・1プロンプト内の音声ファイルの数には制限ない。 ・音声ファイルは16Kbpsのデータ解像度までリサンプリングされ、複数のオーディオ チャネルは1チャネルに結合される。 2. ラジオ番組の音声の準備今回は、「Claude 3」と
はじめに 最近Command R+が界隈を賑わせています。 その賑わいの中でも「Command R+の日本語の応答速度が速い。」という声を良く聞きます。(半分以上X経由なので、よく聞くというよりも良く見るが近いですが、) そこで今回はCommand R+の日本語の応答速度が本当に速いのか、なぜ速いのかについてトークナイザー観点で述べたいと思います。 応答速度とトークナイザーの関係及びCommand R+のトークンナイザー まず前提として、入力あたりのトークン数が少なければ少ないほど応答時間が短くなります。よってトークナイザーは応答速度に大いに関係します。 詳しくは以下の記事で解説しています。少しだけ述べるとトークン数縮小に伴う語彙数増加によるEmbedding層肥大化による速度遅延<<トークン数増加による速度遅延となっています。ELYZAのfastのモデルが速い理由の一つもこの理由です。
Google検索から生成AIの根拠付けが出来るようになった！！Vertex AI Grounding for Google Searchが公開されました #GoogleCloudNext | DevelopersIO
ども、 Google Cloud Next'24 現地参加組の もこ@札幌オフィスです。 初日のキーノートで、Google Cloud の機械学習プラットフォームである、 Vertex AIにおいて、Grounding for Google Search(Preview)が公開されました！ Grounding overview | Generative AI on Vertex AI | Grounding with Google Search Ground responses for Gemini models Vertex AI Grounding for Google Search とは？ 生成AIにおける Groundingは、生成した回答が何を元に生成したかを、参照先を示しつつ生成する仕組みです。 キーノートでは、「401kの拠出限度額はいくらですか？」といった質問に対する回答と
本記事では、よく聞く「Self-RAG」についてざっくり理解します。軽めの記事です。 はじめまして。ナレッジセンスの門脇です。生成AIやRAGシステムを活用したサービスを開発しています。 この記事は何 この記事は、RAGの新手法として昨年発表された「Self-RAG」の論文[1]について、日本語で簡単にまとめたものです。 この論文は「CRAG」[2]など、最近出ている別のRAGアーキテクチャにも影響を与えているので、理解する価値がありそうです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー RAGの性能を高めるための新しい手法です。ワシントン大学などの研究者によって2023年10月に提案されました。Self-RAGという手法を使うメリットは、回答品質を上げられること、ハルシネーション（幻覚）を減らせるこ
Chain-of-Thoughtを使ったText-to-Cypher - Insight Edge Tech Blog
はじめに はじめまして、InsightEdge 分析チームの中野です。 今回は自然言語からCypherクエリを生成する手法について、LLM（大規模言語モデル）を用いたアプローチを紹介します。 最近、RAG（Retrieval-Augmented Generation）という手法が注目されています。これは、LLMが外部の知識ベースを検索し、その情報を基に回答を生成するプロセスです。また、外部知識にナレッジグラフを利用することでデータを構造化し、より関連性の高い情報を抽出することも注目されています。 ナレッジグラフを使用するにはneo4jのようなグラフデータベースを使用することが一般的です。 しかし、このRAGプロセスではテキストからグラフクエリ言語であるCypherクエリを生成する必要があります。 この記事では、このRAGプロセスでCypherクエリを生成する際の課題と、Chain-of-T
はじめに 最近の機械学習の発展はすごいですね。 特に大規模言語モデル（LLM;Large Language Model）の発展が目覚ましく、ChatGPTをはじめ目に見える形で成果が出始めています。1 この技術の進歩に置いて行かれないようにLLMを勉強しつつ強化学習に実装してみました。 記事としては前半はLLMの利用、後半は強化学習のDQNにLLMを組み込んだ実装となります。 PythonからLLMの利用 LLMの利用はBERTでもお世話になったHugging Faceを使います。 ドキュメントがかなり充実しており、チュートリアルをベースに進めてみました。 また今回実行している環境は以下です。 OS : Windows11 Python: 3.12.2 GPU : GeForce RTX3060(memory 12GB) CUDA : 12.1.1 (Torchに合わせています) # To
こんにちは。PharmaX共同創業者の上野（@ueeeeniki）です！ LLMアプリケーションの実験管理サービスであるPromptLayerの使い方をご紹介したところ、非常に多くの方にお読みいただき、LLMの実験管理で検索してもかなり上位に出てくる記事になりました。 そこで今回は、発展編としてPromptLayerの使い方だけではなく、PharmaXでの実験管理のリアルなプラクティスを徹底解説したいと思います。 PharmaXで行っている実験管理のプラクティスは下記のように何度か発表しているのですが、記事の形できちんとまとめるのは初めてなので、改めてガッツリご紹介します！ PharmaXでのリアルな実験管理のノウハウが、LLMアプリケーションを運用されている方々の参考になれば嬉しいです。 PromptLayerはマネージドなSaaSサービスにはなるので、セキュリティの問題などは各社の規定
UB Researchチームで2週間の短期インターンをしている梶川です。 現在、UB ResearchではRAGシステム構築に向けた研究を行っており、社内のさまざまなデータを正確に拾い上げるための検索エンジンの開発と評価を行っています。 今回、その検索エンジンに代わるモデルを用いて、実際の検索テキストで検索を実施した結果を報告します。 概要 近年、LLMを用いた文書生成が流行しており、その中でも外部情報を検索し、LLMに追加して生成させるRAGという技術が活用されています。RAGによって、LLMが知らない情報に対して正確な応答を返すことができ、UB Researchでもニュース記事や有価証券報告書などの情報に対してRAGを適用することを考えています。既存の検索エンジンには、国内データで学習されたBERTベースのモデルを用いていますが、今回、最新のモデルであるBGE-M3を用いて、検索を実施
AutoPrompt: プロンプト作成の自動化
HiCustomerの小田です。週明けから東京でも桜の開花が始まるようです。最近はわざわざお花見に行くことはないんですが、ちらちら落ちる桜の中をこうなんとなく歩いているときが結構好きだったりします。たぶん匂いとか華やかな色とか、そのへんから自然の美しさを感じられて好きなのかな。たぶん栽培品種で人工的に作られたものなので、正確には自然ではないんですが。 まあそんなことを考えながら、東京ではいつ頃咲くかなと思ってさくらの開花前線を見ていました[1] 。日本列島にいくつも線が入った画像を見ていると、ふとLLMが簡単なplanningを解けるのか気になったので以下のプロンプトをなげてみました。 生成結果は以下になります。 この画像は、日本のさまざまな場所で桜の開花予想日を示していますね。 この情報に基づいて、仙台、新潟、そして東京に住んでいる3人がお花見をするための候補日を提案します。 桜の開花日
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
LangGraph を用いた LLM エージェント、Plan-and-Execute Agents の実装解説 - Algomatic Tech Blog
はじめに こんにちは。Algomatic LLM STUDIO 機械学習エンジニアの宮脇（@catshun_）です。 Wang+’23 - A Survey on Large Language Model Based Autonomous Agents ChatGPT が発表されてからおよそ 1 年が経ち、AutoGPT, BabyAGI, HuggingGPT, Generative Agents, ChatDev, Mind2Web, Voyager, MetaGPT, Self-Recovery Prompting, OpenCodeInterpreter, AutoAgents などなど、大規模言語モデル (LLM) の抱負な知識および高度な推論能力を活用した LLM エージェント (AIエージェント) が発表されています。 直近ではコード生成からデバッグ、デプロイまで自律的に行う
InfraCopilotを試してみる インフラ基盤のアーキテクチャ設計のあり方を変えてくれそうなサービスとして最近登場してきた「InfraCopilot」を試しに触ってみたので紹介します。 InfraCopilotとは？ https://infracopilot.io/ ここの公式サイトで紹介されている通り、インフラの構成をエディタ上で描いてIaCのコードを生成してくれたり、設定を調整したりできるツールです。 設定の調整や構成を作る部分を、チャットベースで指示を出してその意図に合わせて構成を調整してくれるといったこともできます。 このサービスのインプットとアウトプットのイメージは以下のようになります。 インプット ブラウザ内のエディタ上でグラフィカルに設計要素を入力 設計要素(リソース)のパラメータは手動で調整も可能 チャットベースで実現したい構成を指示 アウトプット PulumiのIaC
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Raspberry Pi（ラズパイ）のローカル環境でLLMを動かす
Arize Phoenixで始めるお手軽RAG実験管理 - Re:ゼロから始めるML生活
[LangGraph] 自律的にプログラムを実行するLLM Agentを作るための60行スクリプト
Arxiv RAGによる論文サーベイの自動生成 | Shikoan's ML Blog
IaCジェネレーターとBedrockで詳細設計書を生成してみた
Microsoftの最新SLM Phi-3-miniをGoogleコラボで動かしてみた - Qiita
LangChainを用いた4種類のRAG質問応答chainの実装と性能比較
Gemini for Google Workspace prompt guide
Vercel AI SDK で Ollama を使う方法
Command R+はどこまで量子化するとアホになってしまうのか？
ChatVectorで新モデル作って評価して遊ぶヤツ、自分もやりたい
Claude 3最強のOpusがついにAWSのBedrockに来た！！ - Qiita
LightChatAssistant 2x7B を再現する - ローカルLLM自由帳
moonbit で json パーサーを書いてみた 感想
Chat Vector の効果 vs. MoEマージ の効果 - ローカルLLM自由帳
[Claudia][Unity]自然言語によって動く2Dプラットフォーム
Vertex AI Agent Builderを使ってみた - G-gen Tech Blog
Gemini API でラジオ番組の音声からの文字起こしを試す｜npaka
Command R+はトークナイザーもすごかった - Qiita
RAGの性能を高める「Self-RAG」を3分で理解する
大規模言語モデルと強化学習：強化学習にLLMを組み込んで実装してみた（ローカルLLM） - Qiita
LLMアプリケーションの実験管理の運用をまとめてみた〜PromptLayerを使った本番運用〜
インターンでRAGシステムの検索エンジンの改善をおこないました - Uzabase for Engineers
GitHub - ynqa/jnv: interactive JSON filter using jq
インフラ開発のやり方に変革がもたらされるかも？ InfraCopilotを試してみた - Qiita