軽量LLMをGoogle ColabでPPO ファインチューニング - Qiita
超軽量LLMのflan-t5-baseをPPO(Proximal Policy Optimization)でファインチューニングしてみました。今回の目的はプログラムを動かすことなので訓練のハイパーパラメータやモデル改善度など基本的に見ていません。いずれ本格的に実行する時の足がかりに、と思ってやりました。 CPUでは実行できませんでしたが、Google Colabで無料でも使えるT4 GPUで実行できました。動かすことを目的としているので、精度などはあまり見ていません(時間制限を気にせず使えるようにColab Pro契約してます)。 実行環境 2024/4/14時点のGoogle Colab で、Python3.10.12で、以下のパッケージを主に使っています。numpyなど少しだけ使っているやつは省略。 Package Version 備考
LangGraphで作ったAgentアプリケーションをChainlitで利用できるようにしました。 - CCCMKホールディングス TECH Labの Tech Blog
こんにちは、CCCMKホールディングスTECH LABの三浦です。 いつの間にか桜が散って、街の中で緑が目立つようになってきました。外に出るのが心地よい時期なので、ベランダでのんびり出来るようにしようとこの前の休みにベランダの掃除をしました。半日くらいかけてきれいにし、なんだか部屋に入ってくる空気もきれいになったように感じました。ベランダの掃除はついつい後回しにしがちだったのですが、家全体の雰囲気が良くなるので、もっと定期的にベランダの掃除をしようと思いました。 前回LangGraphを使ってPDFファイルとBing Searchを使って質問に回答してくれるAgentアプリケーションを作った話をご紹介しました。 techblog.cccmkhd.co.jp これまではNotebookで開発をし動作を確認していたのですが、GUIを通じてチャット形式で使えるようにしたいな・・・と考えました。そ
phi3とollamaを使ってローカルでデータ処理を行ってみる① 文章分類
ISSUE_SAMPLE = [ {"title": "Add support for dark mode", "label": "enhancement"}, {"title": "Fix crash when clicking on 'Save' button", "label": "bug"}, {"title": "Update README with new installation instructions", "label": "documentation"}, {"title": "Improve performance of data processing module", "label": "enhancement"}, {"title": "Error message not clear when login fails", "label": "bug"}, {"ti
[LangGraph] 自律的にプログラムを実行するLLM Agentを作るための60行スクリプト
60行スクリプトシリーズ第二弾。前回はこちら この記事はMultiAgent作成フレームワーク「LangGraph」に興味がある人が手っ取り早く動かしてみることを目標にした記事です。 この記事を見てできること 指定のお題に対して、関数で定義したツール実行（Web検索など）をする。 実行結果を元に答えを返す。答えがわかるまでツール実行を繰り返す。 このワークフローの拡張性も意識して、組み込みのワークフローは利用しない方針で作成しています。 まずはセットアップ # 必要なライブラリをインポート import argparse from langchain_community.tools.tavily_search import TavilySearchResults from langchain_openai import ChatOpenAI from langgraph.checkpoin
![[LangGraph] 自律的にプログラムを実行するLLM Agentを作るための60行スクリプト](https://cdn-ak-scissors.b.st-hatena.com/image/square/cb93b014e915816e18f67fbbcf590ed6f72ea843/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--CGAekK_6--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BLangGraph%25255D%252520%2525E8%252587%2525AA%2525E5%2525BE%25258B%2525E7%25259A%252584%2525E3%252581%2525AB%2525E3%252583%252597%2525E3%252583%2525AD%2525E3%252582%2525B0%2525E3%252583%2525A9%2525E3%252583%2525A0%2525E3%252582%252592%2525E5%2525AE%25259F%2525E8%2525A1%25258C%2525E3%252581%252599%2525E3%252582%25258BLLM%252520Agent%2525E3%252582%252592%2525E4%2525BD%25259C%2525E3%252582%25258B%2525E3%252581%25259F%2525E3%252582%252581%2525E3%252581%2525AE60%2525E8%2525A1%25258C%2525E3%252582%2525B9%2525E3%252582%2525AF%2525E3%252583%2525AA%2525E3%252583%252597%2525E3%252583%252588%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Ahikae%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2VmZjczZjNlODUuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
Microsoftの最新SLM Phi-3-miniをGoogleコラボで動かしてみた - Qiita
はじめに Microsoft社が2024年4月23日に商用利用可な小型言語モデル（SLM)のPhi-3（mini(3.8B)、small(7B)、medium(14B)）を発表し、同日miniについて公開しました。 ＊3.8B〜14Bのため大規模言語モデル（LLM）とは言わず小規模言語モデル（SLM)と言っているのは共感が持てます。他の言語モデルも名称を共通化して欲しいですね😁 どのくらいの精度のものなのか早速検証してみました。 検証環境 今回は、Phi-3-mini-4k-Instructモデルを使用しました。 Googleコラボ Pro+ で A100 環境を使用しました。GPU RAMが8.4GB程度で動いているのでV100等でも動くと思います（なお、CPUでも動くとありましたがCPUリソースでは筆者の環境では残念ながらレスポンスが返ってきませんでした）。 パラメータは、max_n
Copilot ChatとOpenAI APIとPandas - たーせる日記
アウトプットをサボりすぎた。 書き残しておきたい事はそれなりにあったのだが、生来の筆無精がこのところ加速してしまい、様々なことをやりっぱなしにしてしまっていた。 そんなわけで今日はテーマが非常に雑多である。 それぞれゆるく繋がってはいるが、いかんせんとりとめが無く申し訳ない。 本来は話題を一つだけに精選し、丁寧なチュートリアルの形でお届けしようかとも考えたが、そんなことはどこかの誰かがとうの昔にやっていそうなので、今回は純粋に「僕は今こんなことをやっています」という実況中継にしたい。 Copilot Chatとの邂かい逅こう 最近、遅ればせながらGitHub Copilot Chat（以下Copilot Chat）との会話に嵌はまっている。 VOICEVOXのずんだもんで遊んでいた(´ω｀*) 声が聞き取りやすくてびっくりー。 pic.twitter.com/g18aKzYdzf— たーせ
料理のリバースエンジニアリングをするアプリ（※GPT4-Vision APIとStreamlitで料理の写真からレシピを生成する） - Qiita
import base64 import json import requests import time import streamlit as st PROMPT_TEMPLATE = """画像の料理のレシピを考えてください。 自分を信じて限界を超えてください。 # 制約条件 ・料理の画像が入力された場合は、以下の形式でレシピを出力してください。 # 出力形式 【画像の料理の名称】 【材料】 ・豚肉の薄切り：100g ・玉ねぎ：1/2個 ・生姜：一片 【調理工程】 ・豚肉は一口大に切り、塩コショウをふる。 ・玉ねぎは薄切りにする。 """ def get_gpt_openai_apikey(): with open("secret.json") as f: secret = json.load(f) return secret["OPENAI_API_KEY"] def encode
LangChainを用いた4種類のRAG質問応答chainの実装と性能比較
はじめに この記事で想定している読者の方: LangChainで簡単でもコードを書いたことがある人 LLM chainについてざっくりと理解している人 公開されているLLMをapi経由で用いて様々な処理を記述できるライブラリ 「LangChain」にて, 主に外部から文書を与える際に用いられる以下の4つのchainをご存知の方も多いと思います。 stuff chain map reduce chain map rerank chain refine chain 今回は, 実際にstreamlitを用いて4つのchainを使用したchatアプリのデモ作成し, それを用いてchainごとの性能比較を行いました! 比較では単純な応答能力の比較に加えて, 生成時間やAPI料金の観点からも比較を行なったので, ぜひ読んでみてください! TL;DR 今回の実験は以下のgif画像のようなデモアプリを用い
ChatGPTとNoteableによる科学技術情報分析
ChatGPTとNoteableプラグインを使って、科学技術情報分析ができるかを試した記録と所感メモです。本資料では、下記の分析プロセスにおける活用を試しています。 1. 論文情報収集 arXivから指定した検索条件にヒットするプレプリント情報を収集する。 2. 書誌情報分析 時系列推移、カテゴリ集計、著者集計を実施する。 3. テキストマイニング キーフレーズ抽出・集計、クラスタリングと解釈、 俯瞰可視化(二次元可視化)を実施する。 汚いままですが、実際のChatGPTとのやり取りや、生成されたスクリプトも資料の中でURLを公開しています。参考になれば幸いです。 noteでも簡単な説明と補足・追加コメントをまとめました。 https://note.com/hayataka88/n/ndfd913dab62f
[Meta] 新しいLLM の Llama 3 が発表されました - Qiita
Meta Llama 3の登場！業界をリードする最新AIモデル Metaから「Meta Llama 3」がリリースされました。 なかなか凄そうなのですが、まとまった情報が日本語で無さそうなのでまとめてみます。 とりあえず試したい方用 特徴 利用可能なプラットフォーム Llama 3は、AWS、Google Cloud、Microsoft Azure、NVIDIA NIMなどの主要なクラウドプラットフォームに加え、Hugging FaceやKaggleなどのプラットフォームで利用可能になる予定。 Claude 3 Sonnet・Gemini Pro 1.5を上回るスコア 出典 ほとんどの部分でClaude 3 Sonnet・Gemini Pro 1.5を上回るスコアを出しています。 ただ、Claude 3にはSonnetより上のOpusもおり、こちらのスコアよりは低め。 改めてClaude
![[Meta] 新しいLLM の Llama 3 が発表されました - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/97777087e9305bbfb6d47b2d7933a0cc731ff02d/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCTWV0YSU1RCUyMCVFNiU5NiVCMCVFMyU4MSU5NyVFMyU4MSU4NExMTSUyMCVFMyU4MSVBRSUyMExsYW1hJTIwMyUyMCVFMyU4MSU4QyVFNyU5OSVCQSVFOCVBMSVBOCVFMyU4MSU5NSVFMyU4MiU4QyVFMyU4MSVCRSVFMyU4MSU5NyVFMyU4MSU5RiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MmFjNmVlNDE3YjU1OTAzMDRjN2VlZjUyMmQ5MmJmMDg%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBvd2F5byZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MDA4Y2QwMmU5ZDZlYTdjMjg1NzRmNmJmN2Y4ZmQ3MzY%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D376780cd3f4230be21fa63393f894ea2)
langchainとDatabricksで(私が)学ぶRAG : BGE-M3を使った埋め込み - Qiita
最近、Embedding周りの進歩が著しい。 導入 ※ 本シリーズの一覧はこちら。 BAAI(Beijing Academy of Artificial Intelligence)から、BGE-M3というEmbedding用のモデルが公開されました。 上記サイトの一部を邦訳すると、 本プロジェクトでは、多機能・多言語・多粒性において汎用性に優れたBGE-M3について紹介します。 多機能性:埋め込みモデルの3つの一般的な検索機能(密検索、マルチベクトル検索、疎検索)を同時に実行できます。 多言語対応:100以上の作業言語をサポートできます。 多粒性: 短い文から最大 8192 トークンの長いドキュメントまで、さまざまな粒度の入力を処理できます。 という特性を持ったモデルとなります。 単一の埋め込み手段（Dense Vector）だけでなく、Sparse VectorやColBERTのようなM
LangChain Templatesを使って研究アシスタントをサクッと作る - Ahogrammer
最近はLangChain Templates[1]を使って、LangChainベースのアプリケーションを簡単に作れるようになっていますが、テンプレートのリストを何気なく見ていたら、GPT Researcher[2]を基にした研究アシスタント[3]のテンプレートがありました。仕事で似たような機能を作っていたこともあり、興味深い内容だったので、この記事ではLangChain Templatesを活用し、研究アシスタントを作成する方法を紹介します。 研究アシスタントの例。リサーチクエスチョンを入力すると、文書を検索し、レポートにまとめてくれる。 研究アシスタントのアーキテクチャは以下のとおりです。大きくは、ユーザーが入力したリサーチクエスチョンから検索クエリを生成し、各クエリで検索した情報を要約してから結合し、レポートを生成しています。要約を結合してからLLMに入力しているため、それなりに長いコ
LangGraph を用いた LLM エージェント、Plan-and-Execute Agents の実装解説 - Algomatic Tech Blog
はじめに こんにちは。Algomatic LLM STUDIO 機械学習エンジニアの宮脇（@catshun_）です。 Wang+’23 - A Survey on Large Language Model Based Autonomous Agents ChatGPT が発表されてからおよそ 1 年が経ち、AutoGPT, BabyAGI, HuggingGPT, Generative Agents, ChatDev, Mind2Web, Voyager, MetaGPT, Self-Recovery Prompting, OpenCodeInterpreter, AutoAgents などなど、大規模言語モデル (LLM) の抱負な知識および高度な推論能力を活用した LLM エージェント (AIエージェント) が発表されています。 直近ではコード生成からデバッグ、デプロイまで自律的に行う
LangChain Expression Language (LCEL)を使って色々Chainを組んでみました！ - CCCMKホールディングス TECH Labの Tech Blog
LangChain Expression Language (LCEL)を使って 色々Chainを組んでみました！ こんにちは、CCCMKホールディングスTECH LABの三浦です。 先日申請していた子どものパスポートを子どもと一緒に取りに行きました。子どものパスポートは有効期限が5年なので、次回は5年後、新しいパスポートを取りに行くことになります。5年後、子どもは今よりもきっと成長していて、もしかしたら一人でパスポートを取りに行くのかもな、と思うと、少ししんみりしました。 さて、ChatGPTを使ったアプリケーションを開発していると、ChatGPTに対してあるプロンプトを実行させ、その結果を入力とした別のプロンプトを実行する、といった、シーケンシャルなロジックを組むことがあります。こういったロジックを組むのに便利なのがLangChainというフレームワークです。 LangChainは先日
Table TransformerとGPT-4Vを用いたPDF内の表の解析｜QunaSys
RAGは非常に有用なツールですが、PDFの論文などを扱う際には、表データを正しく読み取れない場合があります。 表の構造を適切に処理することは難しく、いくつかの改善策が提案されています。 例えば、RAGを構築するのに使われるライブラリであるLlamaIndexのドキュメントに以下のような情報があります。 このドキュメントでは表を含むデータを扱う方法として、PDFを一旦すべて画像データに変換し、画像として表の形式を保持したままGPT-4Vでデータを解析することを提案しています。 ただ、PDF1ページ分の画像をそのままGPT-4Vに解析させても精度はあまり良くないようで、後述するTable Transformerを使って表部分の画像のみ抽出してから解析を行うことで、より良い結果が得られたのことでした。 本記事では、この方法を用いてPDF内の表の解析を試してみます。 手順としては 1. PDFの全
Raspberry Pi 5上で軽量LLM、TinyLlamaを動かしてみる - Qiita
先日、日本で発売されたRaspberry Pi 5 (メモリ4GB)が届いたので、流行りのLLMを動かしてみました。動作の様子は次のツイートに掲載しています。 ニューヨークにあるエンパイアステートビルの説明をしてくれています。 用いたOSは、2023-12-05にリリースされたRaspberry Pi OS (64-bit) with Desktopです。 Raspberry Pi Imagerを用いてSDカードにイメージを書き込み起動しました。 TinyLlamaの環境準備 まずターミナル上で以下のコマンドを実行して、Hugging FaceのサイトからTinyLlamaのモデルをダウンロードしてきます。操作は/home/pi/直下で行っています。 wget https://huggingface.co/TheBloke/TinyLlama-1.1B-Chat-v1.0-GGUF/res
ベクトル検索の高速化アルゴリズムと量子化パラメータの速度・データサイズ・精度の計測 - RAGでの利用時にはtop-N を意識する - A Day in the Life
最近、文をembeddingsといった特徴ベクトルに変換するユースケースが増えている。そのベクトルから類似ベクトルを探す時に、数千ベクトルならほぼ何も考えなくともよく、数万ベクトル〜になると検索速度を高速化するためHNSW等のANNの近似最近傍探索アルゴリズムを使い、そして数百万ベクトル〜になってくると現実的なデータサイズ収めるために量子化等々を組み合わせた最適化を行うことが多いだろう。 これら類似ベクトル検索のための最適化(HNSW・IVFといったアルゴリズムや量子化)では、検索速度、データサイズ(メモリに乗るか)、精度、三つのトレードオフが発生する。これらトレードオフを踏まえた最適化戦略を考えるのだが、最適化時の正確さの計測結果として recall@10 や recall@100 が掲載されていることを多く見かける。例えばChoose the k-NN algorithm for yo
LangChainを格段に使いやすくするtips | cloud.config Tech Blog
LangChainの用意しているプロンプトやラッパーは英語以外を意識していないことが多く、特に検索系のtoolがUSのサイトを引っ張ってくるということが多々ある。 こういったケースはtoken数に制限のあるChatGPT APIにとっては大きな問題になってくる。USのサイトが検索上位にかかってくることで得られる情報が減る上に、これを解消するために検索数を増やせばそれだけtoken数を消費するためである。当然だがtoken数の上限を超えればエラーを吐いて異常終了する。 こういった問題の多くは、LangChainのライブラリが用意しているクラスをそのまま使うことによって発生している。 またLangChainはagentの定義を行うだけで簡単に基本的な機能が使えてしまうため、agentがどのようなロジックで動いているのか理解しにくい。 本記事はLangChainを少しだけ掘り下げて、これらの問題
言葉で定義した問題を解いてくれるAIを作ろう：OpenPromptを試してみた - Qiita
はじめに 昨今、AIの利用が様々な場面で進んでおり、企業の実業務での利用も珍しくありません。 しかし、AIを作るためには様々な知識が必要になるため、作れる人はまだまだ限られています。 理論を学んで、TensorflowやPytorch等のFWの使い方を覚えて、コードを書いて、試行錯誤して・・・とても大変ですね。 創作のように言葉で問題を与えたら解いてくれるAIが実現できたら、誰もが気軽にAIを作成・利用できるようになるでしょう。 そうすれば、人々は解くべき問題を考えることにより集中できるようになるのではないでしょうか。 そんな未来を予感させるAIモデルがすでに2020年に登場しています。 そう、GPT-3です。 GPT-3って？ GPT-3は、OpenAIが開発した超大規模言語モデルです。 詳細はググってもらった方が早いので説明は省略しますが、雑にいうと超大規模なコーパスを材料に物理（計算
大規模言語モデルと外部リソースとを融合させたアプリケーションを作ろう－langchainのご紹介－ - Qiita
はじめに 近年、深層学習を用いた自然言語処理技術の進展が目覚ましいです。 その中でも、GPT-3をはじめとする大規模言語モデル（LLM）には大きな可能性を感じています。 最近ですと、AI技術者以外にも大きなインパクトを与えたChatGPTが記憶に新しいでしょう。 今後もLLMの進化は止まらないと予想されており、私たちもどうやって活用するかを具体的に検討すべきフェーズに入ったのではないでしょうか。 しかし、LLMを実業務に適用するとなると、越えなければならない課題がいくつも出てきます。 今回は、以下にあげた第2・第3のハードルを越えるために役立つlangchainというライブラリをご紹介します。 第1のハードル：機密データの扱い LLMはOpenAPIのGPT-3等、モデル自体は公開されておらずWebAPIだけが提供されているというパターンが多いです。 そのため、機密データを社外に送信すると
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
