こんにちは。わいけいです。 今回の記事では、生成AI界隈ではかなり浸透している RAG について改めて解説していきます。 「低予算で言語モデルを使ったアプリを開発したい」というときに真っ先に選択肢に上がるRAGですが、私自身もRAGを使ったアプリケーションの実装を業務の中で何度も行ってきました。 今回はその知見をシェア出来れば幸いです。 RAG（Retrieval-Augmented Generation)とは まず、 そもそもRAGとは何ぞや？ というところから見ていきましょう。 RAG（Retrieval-Augmented Generation) は自然言語処理（NLP）と特に言語モデルの開発において使用される技術です。 この技術は、大規模な言語モデルが生成するテキストの品質と関連性を向上させるために、外部の情報源からの情報を取得（retrieval）して利用します。 要は、Chat

Processing and narrating a video with GPT's visual capabilities and the TTS API

LLMに狙いどおりの動きをさせるために内部で使われているプロンプトエンジニアリングから、LangChainに入門する「プロンプトエンジニアリングから始めるLangChain入門」。ここで大嶋勇樹氏が登壇。最後に、LangChainのモジュールである「Agents」について解説します。前回はこちらから。 LangChainのモジュール「Agents」 大嶋勇樹氏：最後に、一番おもしろいモジュールであるAgentsを見ていこうと思います。質問をまあまあもらっていますが、最後までいってから回答できればと思います。最後に、一番おもしろいのがこのAgentsです。 まずAgentsのモチベーションですが、Indexesを使ってVector Storeを検索する以外にも、LLMが必要に応じていろいろなことをしてくれたら夢が広がると思います。 例えば、必要に応じて知らない知識だったらGoogleで検索し

以下の記事を見て、早速「Open interpreter」を試してみたので、使い方や始め方をまとめておきます Open Interpreterとは Open Interpreterは、GPT-3.5、GPT-4、Code Llamaなどの大規模言語モデル（LLMs）を活用して開発されたオープンソースのツールです。 このツールは、OpenAIが提供するChatGPTの「Advanced Data Analysis(旧Code Interpreter)」のオープンソース版とも言える存在で、Python、Javascript、Shellなどのプログラミング言語のコードを自然言語による対話を通じてローカル環境で実行することができます。 このツールの最大の特徴は、ChatGPTの「Advanced Data Analysis」と違いローカル環境で動くため、ファイル容量やネット接続への制約がなく、Ch

こんにちは！逆瀬川 ( https://twitter.com/gyakuse ) こちらに引き続き、LangChainの解説をしていきたいと思います。 副読用Colab: 動かしながら遊びましょう。 前回のあらすじ Chatbotや言語モデルを使ったサービスを作ろうとしたときに生のOpenAI APIを使うのは以下の点でたいへん。 プロンプトの共通化や管理をすること 複数のドキュメントやWebの情報を参照して質問応答をすること 言語モデルにcsvやpdf等のプレーンテキストでないファイルを読ませること それらの処理を統括して管理すること 使い方まとめ(1)で説明したLangChainの各モジュールはこれを解決するためのものでした。 Prompt Templates : プロンプトの管理 LLMs : 言語モデルのラッパー(OpenAI::GPT-3やGPT-Jなど) Document L

Llamaindex を用いてCSVデータからchatGPTちゃんに回答させてみようと思います。 とりあえずやってみた系の記事なので、雑ですがご了承下さい。 準備 今回は居酒屋的のメニュー的なものを適当に作りました。 項目,タイトル,価格,説明 鴨料理,鴨フィレ肉のカシスソース,930円,鴨フィレ肉を浅めにソテーしロゼ色に。甘酸っぱいカシスと赤ワインのソースで。ピンクペッパーがとても合います。赤ワイン。 鴨料理,鴨刺し,860円,"皮面をパリッと焼き、肉にも焼き目をつけた状態をお刺身。" 鴨料理,鴨南蛮うどん,830円,"鴨と長ネギをごま油で炒め、味を出しています。 合わせだしも引いています。汁まで美味しい一品。小さめの為〆に最適です。" 馬料理,ユッケ,930円,"言わずと知れた生肉ユッケ。 ...

複雑なドメインを扱うプロダクトの探索フェーズではいつどのようにテストをするのか / How to testing during exploratory phase

「ChatGPT Meetup」は、プロンプティングからOpenAI API、さらには周辺のライブラリやHubのエコシステムまで広く活用の助けになる知見を共有し、みんなで手を動かして楽しむためのコミュニティです。2回目に登壇したのは、株式会社リンクアンドモチベーションの岡田大輔氏。OpenAIからAzure OpenAI Serviceへの移行について発表しました。 登壇者の自己紹介 岡田大輔氏：機能開発を「ChatGPT」を使ってやってみたので、そこからわかったことを共有させていただければなと思います。 最初に自己紹介です。岡田大輔といいます。リンクアンドモチベーションで働いていて、今4年目です。アプリのエンジニアをしています。ふだんはRailsとVueでWebアプリを作っているのですが、今回は、機能開発のところで（ChatGPTを）いろいろ触ってみました。 ChatGPTを使った機能開

概要 機械学習モデルのファインチューニングは、特定のタスクに対してモデルを最適化する一般的な手法です。しかし、ファインチューニングを行う前に、適切なデータセットを用意する必要があります。 この記事では、Pythonを使用して簡単にファインチューニング用のデータセットを作成する方法を紹介します。 内容 事前準備:ライブラリのインストールとトークナイザーの準備 datasetsとtransformersを使えば簡単にファインチューニングができます。 まずdatasetsをinstallします。

1. ファインチューニングの利点ファインチューニングの利点は、次のとおりです。 (1) プロンプトよりも高品質な応答 (2) プロンプトに収まりきらないより多くの例の適用 (3) プロンプトの短縮によるトークン数 (コスト) の節約 (4) プロンプトの短縮による処理時間の短縮 モデルは膨大な量のテキストで事前学習されており、このモデルを効果的に利用するため、プロンプトに手順や応答の例を指定する手法が使われます。この例を使用してタスクの実行方法を示すことを「Few-Shot」と呼びます。 ファインチューニングで、プロンプトに収まりきらないより多くの例で学習することにより、さまざまなタスクでより良い結果を達成できるようになります。プロンプトに多くの例を指定する必要はなくなります。これによりトークン (コスト) が節約され、処理時間も短縮されます。 2. ファインチューニングの使用料金ファイン

はじめに Streamlit vs Gradio Gradioの設計思想 Interface 入出力に応じたUI Interface String Shortcut 入力データのサンプルのセット ドキュメンテーション テーマの変更 タイムアウトへの対処 中級者への第一歩、デモを作る際に知っておきたい処理 Gradioが担当する前処理について プログレスバー もろもろの出力結果を保存するには？ 認証認可（というか認可） その他、解説しないが需要の有りそうなもの まとめ 追記 : 動画になりました。 はじめに 機械学習系のデモアプリを作成することがしばしばありStreamlitを使用していたが、パラメーターなどをいじるたびに処理が最初から走るなどといった挙動に悩まされていた。 同僚がGradioというのを使っていたのでサーベイがてらメモしていたらブログが出来上がってしまった。 本ブログでは、G

はじめに Python だけでクロスプラットフォームなアプリを作ることが出来る、Flet というフレームワークについての記事です。 Pythonだけで次のようなWeb・デスクトップに両対応したアプリを作ることが出来ます。 Flet の概要 Flet は Flutter をベースにしています。主に以下のような特徴があります。 From idea to app in minutes 「素早くGUIアプリを作成出来る」ことが、Fletの主なセールスポイントのようです。 Simple Architecture JSフロントエンドやRestAPIを書くこと無く、PythonだけでSPAを作る事が出来ます。 Batteries included Batteries Included は、Pythonの設計思想のようです。電池が付属している、つまりそのままでもすぐに動かせることを指します。 Powere

Get Started With Stable Diffusion (Free) in Google Colab for AI Generated Art byEdXDAugust 22, 202234 comments4 minute read A cyborg painter in a beret and apron, holding a brush and palette, in an art studio. Illustrated in a realistic and detailed style by Wei Wang, ArtStation, making heavy use of light and shadow to create a sense of mystery and foreboding Stable Diffusion by Stability.ai is on

Pythonでコードを書くときのGood/Badプラクティス こちらの記事は、DuomlyによりDev.to上で公開された『 Good and Bad Practices of Coding in Python 』の邦訳版です（原著者から許可を得た上での公開です） 元記事：Good and Bad Practices of Coding in Python ※ 記事の内容に注意すべき点と誤りがあるので、詳しくは注釈まで目を通すことをおすすめします。 （以下、翻訳した本文） この記事は元々 https://www.blog.duomly.com/good-and-bad-practices-of-coding-in-python/ に公開されたものです。 Pythonは可読性を重視した高水準のマルチパラダイムプログラミング言語です。Pythonは、「Pythonの禅」、別名ではPEP 20と

こんにちは，米国データサイエンティストのかめ(@usdatascientist)です． 機械学習入門講座第33回です．(講座全体の説明と目次はこちら) 追記) 機械学習超入門本番編ではLightGBMについてさらに詳しく解説をしています．勾配ブースティング決定木アルゴリズムのスクラッチ実装もするので，さらに理解を深めたい方は是非受講ください:) 前回の記事で決定木の勾配ブースティングアルゴリズムであるXGBoostを紹介しましたが，今回は同じ決定木の勾配ブースティングの別のアルゴリズムであるLightGBMについて解説します． LightGBMはXGBoostが発表されてから2~3年後に発表され，今やXGBoostよりも高速で高精度なアルゴリズムとして認識され，XGBoostに代わる最強のアルゴリズムの一つとなっています． XGBoostと同じ決定木の勾配ブースティングをベースにしているの

【機械学習】最新論文の異常検知手法をMVTecデータセットの実験結果で比較してみた＆各手法のPythonコードも紹介【異常検知】Python機械学習DeepLearningPython3異常検知 現在、世界最先端の画像の異常検知手法の性能は、どのくらいなのでしょうか？ 2021年度に国際会議に採択された論文の最新手法を調査してみました！（Pythonのプログラムコードも見つけたので、リンクを貼っておきます。） 論文の実験結果に記載されているMVTecデータセットのAUC値で各手法を比較してみたいと思います。 MVTecデータセットの画像例： 手法の概要紹介 CutPaste CVPR2021に採択された論文の手法。 CVPRはコンピュータビジョン系の世界最高峰の国際会議で、採択率は約20%。５人の一流の研究者が論文を投稿しても、１人しか採択されないという超難関です。 この手法のアプローチと

Gradient Boostingは近年Kaggleなどのコンペティションで注目を集めている分類や回帰問題に対するアルゴリズムの一つである。XGBoost, LightGBM, CatBoostなどが有名ではあるが、それらを土台にして近年はDeepGBMやNGBoostといった新規アルゴリズムの登場、汎化理論解析の進展、モデル解釈性の付与方法の多様化など、理論から応用まで多岐にわたる研究が行われている。本チュートリアルでは、Gradient Boostingに関する近年の研究動向やテクニックを、それらの社会実装までを見据えながら紹介していく。 Read less

本記事では、データサイエンティスト、AIエンジニアの方がPythonでプログラムを実装する際に気をつけたいポイント、コツ、ノウハウを私なりにまとめています。 AIエンジニア向け記事シリーズの一覧 その1. AIエンジニアが気をつけたいPython実装のノウハウ・コツまとめ（本記事） その2. AIエンジニアが知っておきたいAI新ビジネス立案のノウハウ・コツまとめ 2020年4月に書籍を、出版しました。 【書籍】 AIエンジニアを目指す人のための機械学習入門 実装しながらアルゴリズムの流れを学ぶ（電通国際情報サービス 清水琢也、小川雄太郎 、技術評論社） https://www.amazon.co.jp/dp/4297112094/ 本投稿は、上記の書籍に書ききれなかった 「AIエンジニアが、Pythonでプログラムを実装する際に気をつけたいことのまとめ」 です。 本記事の内容は、あくまで筆

何かデータ分析を行わなければいけないとき、手軽に分析環境を用意したいというニーズがあります。 Jupyter Notebook上でnumpy、pandas、matplotlib、scikit-learnあたりが使えれば十分でしょうか。XGBoostやLightGBMといったライブラリも使えるようにしておきたいという人もいるかと思います。 一方、ローカルにいろいろなライブラリをインストールしていくと、次第に環境が汚れていってライブラリの衝突などが起こりやすくなってしまいます。 KaggleにはKernelという計算環境があり、そこには主要な機械学習ライブラリが予めインストールされています。データ分析をやっていく上で不自由はありません。今回はDockerとdocker-composeを使ってKaggle Kernelを手元に再現し、ポータブルな分析環境として使う方法を紹介します。 データ分析界

目次 モチベーション 想定読者 実作業 Dockerのインストール Dockerイメージの選択と取得 設定するパスワードのハッシュ文字列の取得 パスワードの設定とファイルの永続化を行い、データ分析環境のDockerコンテナを起動する モチベーション データ分析環境構築は、Dockerで作ってしまいたい。 Jupyterで、PythonかRかJuliaを使いたい。 各言語の定番ライブラリやパッケージは最初からある程度入っていて欲しい。 想定読者 Dockerで基本的なData Scienceの環境を構築したい人 あまりDockerやJupyterに詳しくない人 簡単にデータ分析環境を作ってしまいたい人 以上のような方が、この記事を通りにコマンドを入力すれば、データ分析環境の構築が出来ることを目指します。 現在のところ、macOS High SierraとUbuntu 18.04で、起動の確認