Arxiv RAGによる論文サーベイの自動生成 | Shikoan's ML Blog
2.3k{icon} {views} 複数のLLM（GPT/Claude3）とArxivの検索APIをRAGで統合し、論文サーベイの自動生成を作りました。検索結果の前処理や、サーベイ特有のプロンプトエンジニアリングやソートが重要で、最適化手法として古くからある巡回セールスマン問題（TSP）が有効に機能しました。また、生成部分ではGPTよりClaude3の明確な有効性を確認できました。 できたもの Arxivの検索APIを使って検索拡張生成（RAG）したらサーベイを自動生成できた やっていること Arxivの検索ワードをGPT-4-Turboで生成 ArxivのAPIを叩いてヒューリスティックでフィルタリング OpenAIのEmbedding APIを叩く Embeddingに対して巡回セールスマン問題（TSP）を解いてソートをかける 論文の要旨をGPT-3.5-Turboで要約 ソートした
Agents for Amazon Bedrock の "ユーザー入力" を CloudFromation で有効にする
この内容は執筆時点の2024年4月26日ごろに確認した結果です。きっと、直ぐにもっとスマートな方法が公開されると思います。（してくれ。） HogeHogeAgent: Type: AWS::Bedrock::Agent Properties: AgentName: HogeHogeAgent AgentResourceRoleArn: !Ref AgentRoleArn FoundationModel: anthropic.claude-3-haiku-20240307-v1:0 Instruction: | あなたはユーザーからの質問や要望に対応するエージェントです。 質問には丁寧に回答してください。 AutoPrepare: true ActionGroups: - ActionGroupName: UserInputAction ActionGroupState: ENABLED P
Amazon Bedrock+Anthropic Claude 3 Sonnetで会話履歴を保持するSlackチャットボットを作成する - Qiita
Amazon Bedrock+Anthropic Claude 3 Sonnetで会話履歴を保持するSlackチャットボットを作成するDynamoDBslackbotAWSSAMbedrockclaude3 はじめに 前回の記事｢Amazon Bedrock+Anthropic Claude 3 SonnetでSlackチャットボットを作成する｣では､会話履歴を保持しないシンプルなSlackチャットボットを作成しました｡ 本記事では､DynamoDBを使って会話履歴を保持するチャットボットを作成してみました｡会話履歴の呼び出しや更新にLangchainのChatMessageHistoryを使うことで､DynamoDBに会話履歴を保存する処理を簡単に実装できました｡ デモ動画 チャットボットとの会話履歴 このように､追加の質問に対し､チャットボットは会話履歴を踏まえた回答を生成しました｡
MLX で Llama2 を動かしてみる
Appleシリコン上での実行に対応した機械学習ライブラリMLXが公開されました。 今回は公式が公開している"mlx-examples"リポジトリの"llama"を使って、llama2-7b-chatの実行を試してみます。 commit: 3cf436b529ea58d6c0c0a29c0dd799908cd4497d 2023/12/22 検証環境 MacBook Pro Apple M3 Pro メモリ 36GB 公式要件としては、以下の環境が示されています。以下要件を満たしていてもメモリが少ない場合、実行するモデルによっては推論ができない可能性があります。 Using an M series chip (Apple silicon) Using a native Python >= 3.8 macOS >= 13.3 環境構築 まず"mlx-examples"のリポジトリをローカルにク
AI時代に悩ましくなるカスタマーサービス事情 - Thoughts and Notes from CA
アメリカ生活とカスタマーサービスは切っても切り離せない。とにかく、細かなオペミスの多いアメリカ。何かあるたびにカスタマーサービスに問い合わせをしないといけない。以前、『アメリカでカスタマーサービスとやりとりする際の十箇条』という記事を公開したが、最近AIの進歩に伴い、事態は益々複雑になっている。何が複雑になったのかというと、そう、なかなか人につながらないのだ。 空の封筒から始まる不毛な日曜の午後 今日、家にAmazonの封筒が届いた。ひょいっと封筒を持ち上げたところ、かなり軽い。かなり小さめのトングを頼んだので、「こんなもんかな？」と思い、封筒を開ける私。中を見て目が点になる。何も入っていないのだ。 思わず、「おいっ！」と突っ込むも、空の封筒も「私はただ届けられただけですので、私に言われましても、、、」とばかりに所在なげに佇むのみ。家族と改めて確認をしたが、送られてきたのは空の封筒のみ。
Google Cloud Next ’24 振り返り勉強会でCloud RunとGKEのコスト最適化のRecapを話しました #GoogleCloudNext | DevelopersIO
Google Cloud Next ’24 振り返り勉強会でCloud RunとGKEのコスト最適化のRecapを話しました #GoogleCloudNext ども、 もこ@札幌オフィスです。 少し遅くなってしまいましたが、4月17日に Google Cloud Next '24 の振り返り勉強会である【4/17(水)ハイブリッド】クラスメソッドGoogle Cloud Next ’24ふり返り勉強会 に登壇してきたので、その内容をブログにまとめます。 資料 Cloud RunのアップデートRecap Cloud RunのProduct Ownerの方が喋るセッション、 Cloud Run: What's new に参加したところ、たくさんのアップデート情報を知ることが出来たため、本登壇ではCloud Runの最新情報をRecapしました。本記事でも口頭で話した内容を記載していきます。 V
Copilot ChatとOpenAI APIとPandas - たーせる日記
アウトプットをサボりすぎた。 書き残しておきたい事はそれなりにあったのだが、生来の筆無精がこのところ加速してしまい、様々なことをやりっぱなしにしてしまっていた。 そんなわけで今日はテーマが非常に雑多である。 それぞれゆるく繋がってはいるが、いかんせんとりとめが無く申し訳ない。 本来は話題を一つだけに精選し、丁寧なチュートリアルの形でお届けしようかとも考えたが、そんなことはどこかの誰かがとうの昔にやっていそうなので、今回は純粋に「僕は今こんなことをやっています」という実況中継にしたい。 Copilot Chatとの邂かい逅こう 最近、遅ればせながらGitHub Copilot Chat（以下Copilot Chat）との会話に嵌はまっている。 VOICEVOXのずんだもんで遊んでいた(´ω｀*) 声が聞き取りやすくてびっくりー。 pic.twitter.com/g18aKzYdzf— たーせ
GitHub Copilot Chatでハッシュ(#)を使ったコンテキスト変数を試してみた | DevelopersIO
はじめに GitHub Copilot Chat で #file, #editorのように # を利用すると、質問と同時に渡したい情報を投げることができる context variables という機能があります。 今回は現在(2024/2/8)までで利用可能な context variables を全て試してみました。 #file : 選択したファイル チャットプロンプトと共にワークスペース内の指定されたファイルをコンテキストとして含めるために#fileを追加しました。入力の提案コントロールから#fileを選択し、表示されるクイックピックからファイルを選択してください。 可能であれば、ファイルの完全な内容が含まれます。コンテキストウィンドウに収まりきらないほど大きい場合は、実装を除いた関数とその説明を含むファイルのアウトラインが含まれます。アウトラインも大きすぎる場合は、ファイルはプロン
Cohere Command R+とGPT4, Claude3, Gemini1.5の引用段落抽出精度を比較してみた - CreateField Blog
はじめに 先日、2024/4/4 CohereからCommand R+という新たなLLM(大規模言語モデル)が発表されました。 Cohereは、Transformerモデルを提唱した論文共同執筆者の人が立ち上げたカナダのAIベンチャー企業のようです。 https://ascii.jp/elem/000/004/192/4192907/ Command R+とは、最大で128Kトークンが処理が可能で、コストはGPT4Turboの3~5倍ほど安いモデルです(Claude3 Sonnetと同等)。 先日、以下の記事にてGPT, Claude3, Gemini別に審査官による特許引用文献段落の再現率の検証を行いました。 ChatGPT, Claude3, Gemini別に審査官による特許引用文献段落抽出の再現率を検証してみた - CreateField Blog Gemini 1.5 Pro AP
Command R+はどこまで量子化するとアホになってしまうのか？
今回は、ローカルで動かせるCommand R+の量子化モデルを色々使ってそれぞれにElyzaTasksベンチマークを解かせるという事をやる。 何故そんな事をする必要があるんですか？ まず、LLMのパラメータは本来1パラあたり16bitの精度で保存されている。しかし、LLMを動かすとメチャクチャメモリやVRAM食う。だから、精度を下げちゃえば省メモリになっていんじゃね？という話で、8bitやら4bitやら2bitに精度を下げちゃう事が、特にLlama.cpp界隈では常識的に行われている。これが量子化だ。というか、コンシューマレベルのPCでLLMを実用的に動かしたいと思えば、量子化はもはや必須テクである。 量子化でbit数を下げれば下げるほど、当たり前だがLLMの回答の精度、クオリティは下がっていく。要するにアホになってく。8bitはまったく問題なし。6bit、5bitも全然問題なし。4bit
Heroku PostgresとAWS BedrockとHugging FaceでRAGを作ってみた - Qiita
2023年11月にHeroku Postgresql 15 がpgvectorに対応しました。これによりHeroku Postgresがベクトルデータベースとして利用できるようになりました。 本記事では、最近話題のClaude2.1やText Embeddingと組み合わせ、Heroku Postgres内データを元に生成AIが回答してくれる、 Retrieval Augment Generation (RAG) を試作し、実際どんな回答を返してくれるか？検証してみました。 今回使用したもの 個人的に興味のあるものや、使いやすいものを選びましたので、特にこの組み合わせでないといけないわけではないです。 ■ ベクトルデータベース & ナレッジベース Heroku Heroku Postgres (PostgreSQL) pgvector ※今回の主役！ ■ 大規模言語モデル AWS Bedr
最近の大規模言語モデルはDNAのシーケンスを解析できるらしい｜shi3z
GPTのようなTransformerモデルは処理量がN^2に比例して大きくなるという欠点がある。 この欠点を解消し、さらに長いシーケンスを学習できるようにしたHyenaというモデルがある(logNに比例する)。なぜかHyenaを用いた自然言語モデルはあまり大きいものが作られていないのだが、DNA解析をするモデルが公開された。 ヒトゲノムのような長大なシーケンスを大規模言語モデルが扱えるようになると、話がだいぶ変わってくる。 というのも、そもそも大規模言語モデルはマルチモーダル学習が可能なことが知られている。マルチモーダルとは、複数の性質(モード)が異なるデータを同時に学習することだ。 例えば、顔写真とその人のDNAを学習させておけば、「顔写真からDNAを生成」できるようになる。 逆にDNAから顔写真を生成することもできる。 ということは、例えば犯行現場に残ったDNAから、犯人の顔を生成した
PaLM APIのファインチューニングではてな匿名ダイアリー風文章生成モデルを作る - laiso
PaLMとは PaLM APIのファインチューニング はてな匿名ダイアリー風文章生成モデルとは Quotaの申請 データセットの作成 トレーニングJobの実行 チューニング済みモデルで文章生成する おまけ: gpt-3-5-turboでも同じファインチューニングしてみた チューニングなし チューニングあり ジョブの実行部分 PaLMとは PaLMはGoogleの大規模言語モデルです。先日、日本語に対応しました。 www.itmedia.co.jp PaLM APIのファインチューニング PaLM APIの基本的な利用方については以下の記事が参考になります。 zenn.dev 6月頃に「PaLMって英語の受け答えにしか対応していないけど日本語でファインチューニングしたらどうなるんだろう*1」と思って実行してみたんですけど、当然のごとくエラーが出て失敗しました。 今回日本語に対応したので、再度
料理のリバースエンジニアリングをするアプリ（※GPT4-Vision APIとStreamlitで料理の写真からレシピを生成する） - Qiita
import base64 import json import requests import time import streamlit as st PROMPT_TEMPLATE = """画像の料理のレシピを考えてください。 自分を信じて限界を超えてください。 # 制約条件 ・料理の画像が入力された場合は、以下の形式でレシピを出力してください。 # 出力形式 【画像の料理の名称】 【材料】 ・豚肉の薄切り：100g ・玉ねぎ：1/2個 ・生姜：一片 【調理工程】 ・豚肉は一口大に切り、塩コショウをふる。 ・玉ねぎは薄切りにする。 """ def get_gpt_openai_apikey(): with open("secret.json") as f: secret = json.load(f) return secret["OPENAI_API_KEY"] def encode
LangChainを用いた4種類のRAG質問応答chainの実装と性能比較
はじめに この記事で想定している読者の方: LangChainで簡単でもコードを書いたことがある人 LLM chainについてざっくりと理解している人 公開されているLLMをapi経由で用いて様々な処理を記述できるライブラリ 「LangChain」にて, 主に外部から文書を与える際に用いられる以下の4つのchainをご存知の方も多いと思います。 stuff chain map reduce chain map rerank chain refine chain 今回は, 実際にstreamlitを用いて4つのchainを使用したchatアプリのデモ作成し, それを用いてchainごとの性能比較を行いました! 比較では単純な応答能力の比較に加えて, 生成時間やAPI料金の観点からも比較を行なったので, ぜひ読んでみてください! TL;DR 今回の実験は以下のgif画像のようなデモアプリを用い
データマーケティングの強い味方！？BigQueryと大規模言語モデル(LLM)の統合で始める検索意図分析の事例｜田口 信元
データマーケティングの強い味方！？BigQueryと大規模言語モデル(LLM)の統合で始める検索意図分析の事例 初めまして、Ubie Product Platformのグロースチームでエンジニアをしてる田口です。「健康が空気のように自然になる世界」を目指し、症状検索による発症から受診までのサポートするサービス症状検索エンジン「ユビ―」を提供しています。 さて、サービスを成長させる上で、ユーザーの行動を理解することが不可欠です。ユーザーが何を求め、どのようにサービスを利用しているのかを知ることで、サービスの満足度を向上させるための改善策が見えてきます。 しかし、大規模なウェブサイトの場合、分析すべき検索クエリが膨大になっているという課題がありました。 今回は、ML.GENERATE_TEXTを用いてプロンプトベースのデータパイプラインを作り、ユーザーの検索意図分析を行ってみた事例を紹介します
Chain-of-Thoughtを使ったText-to-Cypher - Insight Edge Tech Blog
はじめに はじめまして、InsightEdge 分析チームの中野です。 今回は自然言語からCypherクエリを生成する手法について、LLM（大規模言語モデル）を用いたアプローチを紹介します。 最近、RAG（Retrieval-Augmented Generation）という手法が注目されています。これは、LLMが外部の知識ベースを検索し、その情報を基に回答を生成するプロセスです。また、外部知識にナレッジグラフを利用することでデータを構造化し、より関連性の高い情報を抽出することも注目されています。 ナレッジグラフを使用するにはneo4jのようなグラフデータベースを使用することが一般的です。 しかし、このRAGプロセスではテキストからグラフクエリ言語であるCypherクエリを生成する必要があります。 この記事では、このRAGプロセスでCypherクエリを生成する際の課題と、Chain-of-T
Vercel AI SDK で Ollama を使う方法
はじめに Vercel AI SDK (React 等から LLM の API をいい感じに stream で呼び出せるようにするやつ) から Ollama （OSS の LLM をローカルで動かすやつ） を呼び出す方法を調べました。 参考 課題 Vercel AI SDK の サンプルコードを、OpenAI から Ollama の langchain のモデルを使って、置き換えて動かそうとしたけど、なぜかうまくいかなかった。 解決方法 ここのディスカッションにいろんな解決方法が記載されている。その中からいくつか試した。 解決方法 1 OpenAI Compatibility API を使う OpenAI API と同じ API で呼び出す方法。呼び出せるモデルに制約がある。マルチモーダルの llava は呼び出せない。 URL 変えるくらい。シンプル。すんなり動いた。 解決方法 2 la
「PokéLLMon」をAIで実況してみた【Style-Bert-VITS2】 - Sun wood AI labs.2
近年、ゲームの実況はただの趣味から一つのカルチャーへと進化しました。特に、AI技術を駆使してゲームの実況を行うことは、視聴者に新鮮な体験を提供します。この記事では、戦術バトルゲームで人間並みのパフォーマンスを達成した最初のLLM体現エージェント「PokéLLMon」と、感情豊かな音声生成に特化した「Style-Bert-VITS2」を使用して実況を行う過程を紹介します。 PokéLLMonとは？ PokéLLMonは、テキストで説明されたフィードバックを戦闘から即時に摂取して、生成ポリシーを反復的に洗練する「インコンテキスト強化学習」、外部知識を活用して幻覚を抑制し、エージェントがタイムリーかつ適切に行動することを可能にする「知識拡張生成」、そして強力な対戦相手に直面した際のパニックスイッチング現象を緩和する「自己一貫性のあるアクション生成」の3つの鍵戦略を取り入れています。オンラインでの
Quest3とLLMで現実世界で魔法を使おう！ ~現代の魔法の使い方~ - Qiita
概要 魔法を使ってみたい。 人間だれしも一度は思ったことがあると思います。 今回は、その魔法を現実で使えるアプリを作ったので、その紹介と仕組みの解説をします。 技術的には主に、XRデバイスであるQuest3のAR機能と、OpenAIが提供しているGPT3.5-turboのAPIを利用しています。 具体的には以下のような感じです。 特徴 このアプリの特徴は、魔法の詠唱によって魔法の内容や規模を自在に変えることができること！ 映像を見ていると、魔法の詠唱をしただけで魔法が忽然と現れています。 これは魔法の詠唱から、LLMに魔法の種類や規模、数、持続時間などを推測させて、その値を使用して魔法を変化させています。 それをQuest3のAR機能を使用することで、あたかも、現実で魔法を使っているかのような体験を生み出すことができます。 仕組み このシステムの仕組みは上記のようなシステムによって構成され
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
