LLMの事前評価のシステムアーキテクチャを紹介します
この記事の概要 こんにちは。PharmaX でエンジニアをしている諸岡（@hakoten）です。 この記事では、「YOJO事業部のプロダクト内で使用されているLLM（Large Language Models）の機能の性能を事前評価するための仕組み」について、システムのアーキテクチャをご紹介しています。 LLMを用いて実現している具体的な機能については詳しく触れていませんので、その点ご理解ください。 LLMにおける事前評価とは何か まず、プロダクトにおけるLLM（Large Language Models）機能の評価がどのようなものかについて簡単に説明します。 LLMの特徴の一つとして、「出力が確率的である（毎回異なる）」という点があります。そのため、LLMで生成された文章や出力に対しては、出力結果の良し悪しを定量的に計測する方法が必要になります。 弊社における定量的な計測は、大きく次の2
Snowflake ArcticにRAGを実装してみる - Qiita
最初に この記事は以下の2つの記事 Snowflake Arcticを試してみる 続・Chromaで埋め込みを体感してみる～日本語対応編～ を組み合わせてみたメモとなります。 昨日(2024/5/6)にSnowflakeのVector EmbeddingsがPublic Preview(PuPr)になったので、RAGの実装をSnowflakeで完結させることもできるのですが、この記事ではプリミティブな方法を理解するという目的でベクトルデータベースを別途導入して接続しています。 RAGの仕組み RAGの仕組みについては、Snowflake社のBLOG Snowflake Cortexを使用した簡単かつ安全なRAGからLLMへの推論に記載されている以下の図が分かりやすいです。 大まかには以下のような流れになります。 Embedしたドキュメントをあらかじめベクトルデータベースに保存しておく ユー
Snowflake の Copilot が優秀すぎる件について
マーケティングテクノロジーの情報やノウハウ・TIPS、エクスチュア社の情報を発信。【ブログネタ募集】ご興味のある分野を教えてください！ご要望の内容を記事に起こします！メニューの「ブログへの」リクエストよりお送りください。 menu こんにちは、喜田です。 いままでSnowflakeのライトユーザーで一部機能だけに特化して触っている状態でしたが、最近はData Superheroes 2024になったこともあり、いままで関わりの薄かった製品領域も調査したり、海外リージョンでしか出ていないプレビューを触ったりしています。 そのうちの一つがCopilotで、いまは北米など一部リージョンでのみパブリックプレビュー中の、Snowflakeコード開発が一段と捗るAIおしゃべり機能です。 この右側のパネルがCopilotとのチャット。出力が多くてチャットっぽくないですが、上から会話が続いております。 C
データマーケティングの強い味方！？BigQueryと大規模言語モデル(LLM)の統合で始める検索意図分析の事例｜田口 信元
データマーケティングの強い味方！？BigQueryと大規模言語モデル(LLM)の統合で始める検索意図分析の事例 初めまして、Ubie Product Platformのグロースチームでエンジニアをしてる田口です。「健康が空気のように自然になる世界」を目指し、症状検索による発症から受診までのサポートするサービス症状検索エンジン「ユビ―」を提供しています。 さて、サービスを成長させる上で、ユーザーの行動を理解することが不可欠です。ユーザーが何を求め、どのようにサービスを利用しているのかを知ることで、サービスの満足度を向上させるための改善策が見えてきます。 しかし、大規模なウェブサイトの場合、分析すべき検索クエリが膨大になっているという課題がありました。 今回は、ML.GENERATE_TEXTを用いてプロンプトベースのデータパイプラインを作り、ユーザーの検索意図分析を行ってみた事例を紹介します
SnowflakeからClaude3(Bedrock)を呼び出して、文章作成や画像認識させてみた。 - Qiita
SnowflakeからClaude3を呼び出して、文章作成やさせてみる 今回はSnowflakeのUDFでClaude3(Amazon Bedrock)を呼び出して、文章作成や画像認識させる方法について紹介したいと思います。 最初は文章作成させる方法だけで記事を作成しようと思ったのですが、クイックスタートをなぞるだけの記事になりそうだし、もうSnowflake Cortexでも出来ることなので、ステージ上の画像ファイルを認識する機能も追加してみました。 ちなみに、以下はステージに配置したとある画像をClaude3に説明させた結果です。何だと思いますか。Snowflakeヘビーユーザにはお馴染みのあいつです。 この画像には、可愛らしい白いぬいぐるみのクマが写っています。クマの体はふわふわと柔らかそうに見え、青いニットのマフラーを巻いて寒さから身を守っているように見えます。クマの顔は丸く優しい
BigQueryからGeminiを呼び出し、テーブルのデータを分類させてみた | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ
はじめに こんにちは、Shunです。 皆さん、生成AIを利用していますか？ 文章の要約、校正やプログラムコードの書き換えなど、多種多様な利用方法が一般的になってきました。 今回は、生成AIを活用する一つの方法として、テーブル内のデータを分類させることに焦点を当てます。 これを実現するために、Google Cloudが提供するBigQueryとGeminiを使用します。 参考: リモートモデルと ML.GENERATE_TEXT 関数を使用してテキストを生成する Geminiとは GeminiはGoogleが開発した汎用性と高性能を兼ね備えた最新のAIモデルです。 テキスト、画像、音声、動画、コードなど、多様な種類の情報を理解、操作できるマルチモーダル機能を持ち、複雑な問題解決能力が特徴です。Geminiは、データセンターからモバイルデバイスまで幅広い環境で効率的に動作し、開発者や企業がAI
Snowflake のAI戦略、Cortex LLM Functionsについて｜鈴木いっぺい (Ippei Suzuki)
背景データウェアハウスまたはより正確にはデータプラットフォームの戦いにおいて、AIのトレンドが勢いを増しており、それに対応するためにGoogleやMicrosoftなども同様の機能をリリースして競争力を維持しているLLM機能を発表したことは驚くべきことではありません。 Snowflake LLM Functionsの機能Snowflake Cortexは、ユーザーにAIおよびMLソリューションを提供するマネージドサービスです。Snowflakeが提供する機能には、次の2つのタイプがあります。 LLM機能： これらはSQLおよびPythonベースの機能であり、理解、クエリ、翻訳、要約、自由形式のテキストの生成に使用できます。 MLベースの機能： これらはMLアルゴリズムに基づいたSQL機能であり、予測を導出するために使用されます。 Snowflakeのこれらのサービスにより、ユーザーはデータ
Databricks SQLの新たなAI Functions - Qiita
以前こちらを書いてから時間が経ってました。そして、気づいたら色々な関数が追加されてました。 新たに追加されたAI Functionsをウォークスルーします。
[新機能]SnowflakeでMistral AI・LLaMA 2・Gemmaを用いたLLMが関数一つで簡単に使用可能に！Snowflake Cortex LLM Functionsを試してみた | DevelopersIO
[新機能]SnowflakeでMistral AI・LLaMA 2・Gemmaを用いたLLMが関数一つで簡単に使用可能に！Snowflake Cortex LLM Functionsを試してみた さがらです。 日本時間2024年3月5日の夜に、Mistral AI・LLaMA 2・Gemmaを用いたLLMが関数一つで簡単に使用可能となるSnowflake Cortex LLM Functionsがパブリックプレビューとなりました！ 2024年3月6日6時の時点ではまだリリースノートに記載もありませんが、下記のMistral AI社とのパートナーシップのプレスリリースと併せて機能がリリースされたのだと思います。（本記事内にMistral AI’s models are now available to customers in public preview as a part of Snow
![[新機能]SnowflakeでMistral AI・LLaMA 2・Gemmaを用いたLLMが関数一つで簡単に使用可能に！Snowflake Cortex LLM Functionsを試してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c216ed5ea5f0d13892f7504741bc81a124b1a205/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2021%2F03%2Fsnowflake-logo-1200x630-1.png){kind=logo}
ChatGPT API を使って BigQuery SQL を自然言語で記述する CLI を作った - Qiita
クエリで実現したいことを自然言語で書けば ChatGPT が BigQuery SQL に変換してくれる CLI (Command Line Interface) を langchain で作りました。 https://github.com/algas/bigquery-generator-ai クエリに関連する BigQuery のテーブル名(複数可)を渡すとそのテーブルのスキーマ(だけ)を取得します。 テーブルのデータ内容は取得しない(データ取得権限を付与しない)ので機密漏えいの心配はありません。 対象読者 次のいずれかに当てはまる BigQuery ユーザを対象としています。 SQL を書くのが苦手な人 SQL を書くのが苦手な人に SQL を書いてもらう必要がある人 ChatGPT を使ったアプリケーション開発に興味がある人 アプリケーションの概要 このツールが何をするのかを簡単に
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
引き続きBigQueryMLを触ってみた。けど、本番データでやろうとしたらつまずいて、ChatGPT先生に助けてもらった件｜Reo ｜note