最新のMlflowによるLLMの実験管理
最近LLMを使った実験をする機会があったので，その実験管理に最新バージョン（2.9.2）のmlflowを使ってみた．そのバージョンではLLMに対するいくつかの便利機能があったので，今回はそれについて書いてみる． Mlflow MLflowは、機械学習のライフサイクルを管理するためのOSSで，モデルのバージョニング、データセットの管理、実験の追跡、デプロイメントなど、機械学習プロジェクトの全体的なプロセスをサポートしている． ドキュメントも充実しており，Mlflowの使い方というより，機械学習の実験管理のベストプラクティスを学ぶ際にもとても有用なものだと思う． MlflowのLLM用機能 Mlflowの最新バージョン（2.9.2）では，LLMの実験管理用の機能がいくつか追加されている． 内容は大きく分けて以下の3つで，それぞれについて紹介していく． デプロイメント ロギング（トラッキング）
LLM差分マージしてみた
ができます。 ベクトルみたいな感じ もちろん完璧にその能力を移せるわけではないですが、ある程度は能力を引き継げるため、次の学習のための良い初期値を得ることに使うことができます。 やってみた そんな差分マージをやってみました。 今回使ったモデルは Qwen/Qwen-14B lightblue/qarasu-14B-chat-plus-unleashed rinna/nekomata-14b それぞれ、Qwen 14B とその派生モデルであるため今回の差分マージを行うことができます。(アーキテクチャが異なっていたり、フルスクラッチで学習されているときはマージができません) モデルの関係図 Qwen-14B Alibaba が作成した日本語もちょっといける中国語、英語のLLMです。この時点で日本語チョットデキル感じなので結構すごいです。 nekomata-14B Qwen-14B ベース 学習
SnowflakeからClaude3(Bedrock)を呼び出して、文章作成や画像認識させてみた。 - Qiita
SnowflakeからClaude3を呼び出して、文章作成やさせてみる 今回はSnowflakeのUDFでClaude3(Amazon Bedrock)を呼び出して、文章作成や画像認識させる方法について紹介したいと思います。 最初は文章作成させる方法だけで記事を作成しようと思ったのですが、クイックスタートをなぞるだけの記事になりそうだし、もうSnowflake Cortexでも出来ることなので、ステージ上の画像ファイルを認識する機能も追加してみました。 ちなみに、以下はステージに配置したとある画像をClaude3に説明させた結果です。何だと思いますか。Snowflakeヘビーユーザにはお馴染みのあいつです。 この画像には、可愛らしい白いぬいぐるみのクマが写っています。クマの体はふわふわと柔らかそうに見え、青いニットのマフラーを巻いて寒さから身を守っているように見えます。クマの顔は丸く優しい
Claude 3最強のOpusがついにAWSのBedrockに来た！！ - Qiita
Claude 3 Opus、ずっと待ってました！ AWSの生成AIサービス、Amazon Bedrock。 多数の生成AIモデルがAPIとして利用できますが、テキスト生成で非常に高性能なのがAnthropic社のClaude 3シリーズです。 OpenAI社のGPT-4シリーズと日々、追いつけ追い越せを続けています。 Claude 3登場後、3モデルあるうち最上位の Opus モデルだけはなかなかBedrockにリリースされませんでしたが、ついに先ほどオレゴンリージョンに出現したようです！ まだAWS公式リリースはないですが、近日中にWhat's New等でアナウンスされるものと思われます。 ※今回も宇宙最速の発見者はひるたさんでした。いつもありがとうございます🙌 そもそもBedrockって何だっけ？ こちらの資料で紹介していますのでご覧ください！ なお、凄腕Bedrockerの @he
LightChatAssistant 2x7B を再現する - ローカルLLM自由帳
前回Chat Vectorについて簡単に予習したので、とりあえず「LightChatAssistant 2x7B」の作成手順を再現してみたいと思います。 作者さんがモデルカードで丁寧に説明してくださっているので、基本的にそれをなぞるだけです。まずはまったく同じモデルを作ってみます。 huggingface.co Chat Vectorによる処理 Google ColabのCPU（ハイメモリ）で試します。3つ分のモデルファイルを扱えるだけのRAM容量さえあればよく、GPU無しで完結するようです。 まずは、Chat Vector処理を行うための依存関係をインストールします。ColabだとTransformersはプリインストールされてます。 # 依存関係のインストール !pip install accelerate protobuf さてChat Vectorは、追加学習したチャットモデルの重
インフラ開発のやり方に変革がもたらされるかも？ InfraCopilotを試してみた - Qiita
InfraCopilotを試してみる インフラ基盤のアーキテクチャ設計のあり方を変えてくれそうなサービスとして最近登場してきた「InfraCopilot」を試しに触ってみたので紹介します。 InfraCopilotとは？ https://infracopilot.io/ ここの公式サイトで紹介されている通り、インフラの構成をエディタ上で描いてIaCのコードを生成してくれたり、設定を調整したりできるツールです。 設定の調整や構成を作る部分を、チャットベースで指示を出してその意図に合わせて構成を調整してくれるといったこともできます。 このサービスのインプットとアウトプットのイメージは以下のようになります。 インプット ブラウザ内のエディタ上でグラフィカルに設計要素を入力 設計要素(リソース)のパラメータは手動で調整も可能 チャットベースで実現したい構成を指示 アウトプット PulumiのIaC
Vertex AI Agent Builderを使ってみた - G-gen Tech Blog
G-gen 又吉です。本記事は Google Cloud Next '24 in Las Vegas の1日目のキーノートで発表された Vertex AI Agent Builder を触ってみたのでご紹介します。 他の Google Cloud Next '24 の関連記事は Google Cloud Next '24 カテゴリの記事一覧からご覧いただけます。 概要 Agent とは Vertex AI Agent Builder とは 料金 概要 試算例 Vertex AI agents 概要 Agents の構成要素 Goal Instructions Examples Tools 概要 Built-in tools OpenAPI tools Data store tools 触ってみた 関連記事 概要 Agent とは 生成 AI アプリケーションにおける Agent とは、人間
[Claudia][Unity]自然言語によって動く2Dプラットフォーム
はじめに CysharpからAnthropic Claude APIの.NET用、非公式クライアントライブラリClaudiaが登場しました。このライブラリの登場により、Unity上で簡単にClaude3のAPIを呼び出すことができます。また、Function Callingと呼ばれるLLMの出力から関数を呼び出す機能も簡単に実装できます。今回はClaudiaのチュートリアルとして、自然言語の入力からプレイヤーを操作できる2Dプラットフォームを実施します。 要所のコードを解説したのちに、最後は簡単に試せるサンプルコードを添付しています。 使用するライブラリ 今回使用するライブラリとして、Cysharpから登場したAnthropic Claude APIの.NET用、非公式クライアントライブラリClaudiaを使用します。Claudiaの導入方法に関しては、今回は触れませんがClaudiaリポ
![[Claudia][Unity]自然言語によって動く2Dプラットフォーム](https://cdn-ak-scissors.b.st-hatena.com/image/square/907da11f6a175f288c4e0e8aeb8931f3bb360312/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--Ke9nsqsO--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BClaudia%25255D%25255BUnity%25255D%2525E8%252587%2525AA%2525E7%252584%2525B6%2525E8%2525A8%252580%2525E8%2525AA%25259E%2525E3%252581%2525AB%2525E3%252582%252588%2525E3%252581%2525A3%2525E3%252581%2525A6%2525E5%25258B%252595%2525E3%252581%25258F2D%2525E3%252583%252597%2525E3%252583%2525A9%2525E3%252583%252583%2525E3%252583%252588%2525E3%252583%252595%2525E3%252582%2525A9%2525E3%252583%2525BC%2525E3%252583%2525A0%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E5%2525BA%252583%2525E5%2525A4%2525A2%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2Y1Mjc1NTMyNjguanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
Gemini API でラジオ番組の音声からの文字起こしを試す｜npaka
「Gemini API」でラジオ番組の音声からの文字起こしを試したので、まとめました。 1. Gemini 1.5 Pro の 音声データ入力「Gemini 1.5 Pro」で音声データでの入力が可能になりました。 サポートしているファイル形式は、次のとおりです。 ・MIMEタイプの制限 ・WAV - audio/wav ・MP3 - audio/mp3 ・AIFF - audio/aiff ・AAC - audio/aac ・OGG Vorbis - audio/ogg ・FLAC - audio/flac ・1プロンプトでの音声データの最大長は 9.5 時間。 ・1プロンプト内の音声ファイルの数には制限ない。 ・音声ファイルは16Kbpsのデータ解像度までリサンプリングされ、複数のオーディオ チャネルは1チャネルに結合される。 2. ラジオ番組の音声の準備今回は、「Claude 3」と
LLMコード生成ツール：plandexを試してみた - GMOインターネットグループ グループ研究開発本部
みなさんこんにちは、グループ研究開発本部 AI研究開発室のK.Fです。 最近、大規模言語モデル(LLM)を活用したコード生成ツールが注目を集めていますよね。先月(2024年3月)には、Devin AIがCognitionから発表され話題を集めていました。まだ、waiting list状態ですが、実際に試せる日が待ち遠しいです。今回は、そのDevin AIに影響され積極的に開発が進んでいるOSSのコード生成ツールを試してみます。 トレンド調査 GitHub Trendingを眺めていると、以下のようなものが注目を集めているようです。 Devika: https://github.com/stitionai/devika OpenDevin: https://github.com/OpenDevin/OpenDevin gpt-pilot: https://github.com/Pythago
Google検索から生成AIの根拠付けが出来るようになった！！Vertex AI Grounding for Google Searchが公開されました #GoogleCloudNext | DevelopersIO
ども、 Google Cloud Next'24 現地参加組の もこ@札幌オフィスです。 初日のキーノートで、Google Cloud の機械学習プラットフォームである、 Vertex AIにおいて、Grounding for Google Search(Preview)が公開されました！ Grounding overview | Generative AI on Vertex AI | Grounding with Google Search Ground responses for Gemini models Vertex AI Grounding for Google Search とは？ 生成AIにおける Groundingは、生成した回答が何を元に生成したかを、参照先を示しつつ生成する仕組みです。 キーノートでは、「401kの拠出限度額はいくらですか？」といった質問に対する回答と
MLX Swift による LLM のオンデバイス推論を試す｜npaka
「MLX Swift」による「LLM」のオンデバイス推論を試したので、まとめました。 1. MLX Swift「MLX Swift」は、Swiftから利用できる「MLX」で、「MLX」は、Appleが開発した新しい機械学習フレームワークで、「Apple Silicon」(M1/M2/M3など) を最大限に活用するように設計されています。 ・サポートするプラットフォーム ・Mac ・iOS ・visionOS 2. iOSのデモアプリの実行iOSのデモアプリの実行手順は、次のとおりです。 (1) 以下のXcodeプロジェクトをダウンロードして実行。 初回は、モデルダウンロードに時間がかかります。 ・LLMEval (2) 必要に応じてでモデルを切り替え。 ControlViewの150行目で切り替えることができます。 let modelConfiguration = ModelConfigu
Alibaba Cloud Platform for AI の導入とLangChain（PAI-EAS）をデプロイする
AIの世界は日進月歩で進化しており、それを支える技術として各社から様々なプラットフォームが提供されています。AzureのAzure Machine Learning、AWSのAmazon SageMaker、GCPのAI Platformが存在していますが、私が今注目しているのはAlibaba CloudのAIプラットフォーム、Alibaba Cloud Platform for AI (PAI)です。日本ではまだ馴染みの少ないこのプラットフォームがどのようなものなのか、どんな機能を持っているのかを調べてみました。 PAI の特徴 PAIは 2018年から存在しており、2021年4月にはソフトバンクにてPAIの概要が記載されています。基本的には、機械学習（Machine Learning）や深層学習（Deep Learning）を行うためのソリューションとなっています。 使いやすく、コスト
次世代型ジェネレーティブゲームがゲームの常識を覆す！？AIダンジョンのたのしみ方と、AIローグライトの驚愕のアルゴリズム
最近は、ジェネレーティブゲームについて色々と調べている。 ジェネレーティブゲームって何じゃ？というと、これは私の造語かもしれないが、ジェネレーティブAIを駆使して、ゲームのプレイ中に動的にコンテンツが生成されるゲームの事だ。 例えばゲームプレイ中にキャラクターのグラフィックをその場でAIが描いてくれるとか、キャラの台詞がその場で生成されるといった感じだ。 このような事は去年までは想像する事さえできなかったSFおとぎ話のようなもんだったが、ここ数ヶ月のジェネレーティブAIの進化で急激に現実味を帯びてきた。（私の中ではそうだけど、実は数年前からジェネレーティブAIに着目して色々やってる人達もいる） 前回の記事で、「ジェネレーティブAIはコンテンツの在り方を変えてしまうかもしれない」という話をした。 ジェネレーティブAIで美樹さやかさんを錬成できるのか？ かいつまんで言うと、AIによってコンテン
Gemini 1.5 Proで文字起こしを試してみた｜にょす
Gemini 1.5 Proが音声ファイルにも対応したということで、Whisper大好きマンとして、どれほどのものなのかを簡単に調査したいと思います。 Gemini 1.5 Pro on #VertexAI also supports processing audio inputs - including music, speech, and even the audio portion of videos. 🎵 This means it can give high-quality transcriptions or be used to search & analyze multimodal content. → https://t.co/CLMN3wNmeP #GoogleCloudNext pic.twitter.com/kEy2vSVpK0 — Google DeepMind
BigQueryからGeminiを呼び出し、テーブルのデータを分類させてみた | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ
はじめに こんにちは、Shunです。 皆さん、生成AIを利用していますか？ 文章の要約、校正やプログラムコードの書き換えなど、多種多様な利用方法が一般的になってきました。 今回は、生成AIを活用する一つの方法として、テーブル内のデータを分類させることに焦点を当てます。 これを実現するために、Google Cloudが提供するBigQueryとGeminiを使用します。 参考: リモートモデルと ML.GENERATE_TEXT 関数を使用してテキストを生成する Geminiとは GeminiはGoogleが開発した汎用性と高性能を兼ね備えた最新のAIモデルです。 テキスト、画像、音声、動画、コードなど、多様な種類の情報を理解、操作できるマルチモーダル機能を持ち、複雑な問題解決能力が特徴です。Geminiは、データセンターからモバイルデバイスまで幅広い環境で効率的に動作し、開発者や企業がAI
langchainとDatabricksで(私が)学ぶRAG : BGE-M3を使った埋め込み - Qiita
最近、Embedding周りの進歩が著しい。 導入 ※ 本シリーズの一覧はこちら。 BAAI(Beijing Academy of Artificial Intelligence)から、BGE-M3というEmbedding用のモデルが公開されました。 上記サイトの一部を邦訳すると、 本プロジェクトでは、多機能・多言語・多粒性において汎用性に優れたBGE-M3について紹介します。 多機能性:埋め込みモデルの3つの一般的な検索機能(密検索、マルチベクトル検索、疎検索)を同時に実行できます。 多言語対応:100以上の作業言語をサポートできます。 多粒性: 短い文から最大 8192 トークンの長いドキュメントまで、さまざまな粒度の入力を処理できます。 という特性を持ったモデルとなります。 単一の埋め込み手段（Dense Vector）だけでなく、Sparse VectorやColBERTのようなM
GitHub ActionsでZennの下書きをClaudeにレビューしてもらう
はじめに GitHub ActionsとClaude APIを組み合わせて、Zennの下書きをChatGPTライクなAIモデルであるClaudeにレビューしてもらう仕組みを作ってみたので紹介します。 記事を書くときにPull Requestを作る 僕は普段Zennのリポジトリでは特にレビューしてもらったりということがないのですべてmainブランチで運用していましたが、PRでレビューしてもらうにあたって Pull Request を作るように変更しました。 mainブランチに比べてPR作ったりが面倒なので以下のスクリプトで記事の作成・PRを作成します。 #!/usr/bin/env bash set -eux # 記事名と記事slugを対話形式で入力させる read -p "記事名を入力してください: " title read -p "記事slugを入力してください: " slug # 記事
大規模言語モデルと強化学習：強化学習にLLMを組み込んで実装してみた（ローカルLLM） - Qiita
はじめに 最近の機械学習の発展はすごいですね。 特に大規模言語モデル（LLM;Large Language Model）の発展が目覚ましく、ChatGPTをはじめ目に見える形で成果が出始めています。1 この技術の進歩に置いて行かれないようにLLMを勉強しつつ強化学習に実装してみました。 記事としては前半はLLMの利用、後半は強化学習のDQNにLLMを組み込んだ実装となります。 PythonからLLMの利用 LLMの利用はBERTでもお世話になったHugging Faceを使います。 ドキュメントがかなり充実しており、チュートリアルをベースに進めてみました。 また今回実行している環境は以下です。 OS : Windows11 Python: 3.12.2 GPU : GeForce RTX3060(memory 12GB) CUDA : 12.1.1 (Torchに合わせています) # To
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
生成AIを用いたText to SQLの最前線
