2023年度 デジタル庁・行政における生成AIの適切な利活用に向けた技術検証を実施しました｜デジタル庁
デジタル庁では、デジタル社会の実現に向けた重点計画（令和4年6月7日閣議決定）を踏まえ、AIの実態と動向を把握し、リスクと必要な対応策を特定したうえで、官民における適切な活用の検討を進めています。 昨今の生成 AIなどの技術革新により、さまざまな利点を得られるようになってきており、政府としても、このような技術の動向を見極めつつ、関係省庁における生成AIの業務利用について、第10回デジタル社会推進会議幹事会・書面開催など議論を重ねてきました。 これまでの議論の経緯も踏まえ、デジタル庁では、2023年12月より生成AIの適切な利活用に向けた技術検証を実施しました。2023年度の検証結果の全体的な内容と、検証で得られた具体的な生成AIへの入力文のサンプル、一部検証に用いたテストケースを公開します。 技術検証の目的今後の政府情報システムへの生成AI利活用に向けて以下のような具体的な知見を得ることを
Dify（ディファイ）とは？どんなことができるか利用してみた。
Dify（ディファイ）。一言で言うなら生成AIプログラム構築のためのノーコードツールという感じです。 いままで生成AIを利用しようとするとAPIを発行しプログラムを作り・・・。と決してハードルは低くはありませんでした。 それを簡単にしかもノーコードで。さらにはコードも記載できることで複雑な仕様にも対応できるというサービスです。では、どのようなことができるのか。そして実際に作成してみた内容を解説します。 Dify（ディファイ）とは？ Dify（ディファイ）とは「LangGenius, Inc.」が提供するサービスで、オープンソースのLLMアプリ開発プラットフォームです。 RAGを使用してエージェント形式のチャットボットから複雑なAIワークフローなどをノーコードで、LLMアプリを作れるサービスです。 LangChainをご存じの方であれば、それをもっとノーコードで簡単にしたものととらえていただ
[Amazon Bedrock][LangChain] チャット会話履歴をセッション毎に記憶・保存する方法 | DevelopersIO
また、AWSのリージョンは「バージニア北部 (us-east-1)」を使用します。 (東京リージョンでは利用できるモデルが限られるため) 準備 Lambda関数の作成を始める前に、いくつか準備をします。 Bedrockの「モデル」を利用可能にする Bedrockマネジメントコンソールの「モデルアクセス」から、利用したい「モデル」へのアクセスを有効化しておきます。 Lambdaレイヤーの作成 Lambda関数の標準状態ではLangChainのPythonパッケージが含まれていないため、Lambdaレイヤーを使ってパッケージが利用できるようにします。 Lambdaレイヤーの作成と利用の方法は、下記ブログ記事を参考にしてください。 Lambda関数で使用するPythonと同じバージョンのPythonが使用できる環境で、LangChainのパッケージを含むzipファイルを作成します。 $ mkdi
![[Amazon Bedrock][LangChain] チャット会話履歴をセッション毎に記憶・保存する方法 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/a80489873e9a00b01923977e61a5ac1f690ceac7/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F04%2Flangchain-bedrock-1200x630-1.png)
【Anthropic Prompt library】ITエンジニアのための生成AI活用ガイド - サーバーワークスエンジニアブログ
当記事ではAnthropic Prompt libraryのプロンプト集の中から、ITエンジニア視点で日常業務で役立つプロンプトを紹介します。 Anthropic Prompt libraryとは 注意点 前提 ちなみに 分類 文章処理系 Cite your sources - 情報源を引用する その他 Meeting scribe - 会議の書記 Prose polisher - 散文研磨者 Second grade simplifier - 2 年生の単純化子 Grading guru - 採点の第一人者 Grammar genie - 文法の魔神 PII purifier - PII 浄化装置 Adaptive editor - アダプティブエディター Memo maestro - メモマエストロ 分析系 Corporate clairvoyant - 企業の透視能力 Ethical
ChatGPT - LLMシステム開発大全
ChatGPTとLLMシステム開発について纏めた187ページ資料です。 2024/04 名称を改め資料を大幅にアップデートしました！ 今後も随時更新していきます。 データサイエンティスト協会での発表動画はこちら。 https://youtu.be/l9fpxtz22JU Build Japanでの発表はこちら。 https://youtu.be/UEZzx6a005g?si=Ot8EO2bv8yhQQEcy 2023/7/28 体裁修正、余計なページを削除 2023/12/12 RAG、API仕様、モデルのページを追加。また情報を最新化。 2024/04 名称を改め資料を大幅にアップデートしました！ 1. LLM - GPTの全体像 LLM - GPT とは何なのか ～チャットAIを例にした動作イメージ～ 大規模言語モデル(LLM)が持つ基礎能力 デジタルツールとLLMの連携 GPTに関す
「ベクトル検索 vs 全文検索」〜Amazon Bedrockの埋め込みモデルを用いたプロトタイピング〜 - コネヒト開発者ブログ
※ この記事は、AWS (Amazon Web Services) の技術支援を受けて執筆しています。 はじめに この記事はコネヒトアドベントカレンダー 8日目の記事です。 コネヒト Advent Calendar 2023って？ コネヒトのエンジニアやデザイナーやPdMがお送りするアドベント カレンダーです。 コネヒトは「家族像」というテーマを取りまく様々な課題の解決を 目指す会社で、 ママの一歩を支えるアプリ「ママリ」などを 運営しています。 adventar.org こんにちは！コネヒトの機械学習エンジニア y.ikenoueです。 突然ですがみなさん、Amazon Bedrockをご存知でしょうか。 aws.amazon.com Amazon Bedrock(以下、Bedrock)は、テキスト生成AIをはじめとする基盤モデル (Foundation Model)*1を提供するAWS
サイバーエージェントが手がける日本語LLM開発 MLエンジニアが語る「Weights & Biases」の活用
自社における日本語LLMの開発について発表したのは、株式会社サイバーエージェントの石上亮介氏。Weights & Biasesのユーザーカンファレンス「W＆Bカンファレンス」で、開発において得た知見や課題、Weights & Biasesの活用法について話しました。 登壇者の自己紹介とアジェンダの紹介 石上亮介氏：それではサイバーエージェントの石上から、「CyberAgentにおける日本語LLMの開発」というタイトルで発表いたします。 あらためまして自己紹介ですが、私は石上と申します。現在は、サイバーエージェントの基盤モデルプロジェクトのリードを担当しています。 基盤モデルというのは、大規模なAIでさまざまなタスクがこなせるという、いわゆるすごいAIなんですね。今日は特にLLMですね。大規模言語モデルについて、どういう取り組みをしているかをお話しいたします。 サイバーエージェントのLLMの
Instruction Tuningを行なった130億パラメータの日本語LLMの公開：Stockmark-13b-instruct
Research部門の近江崇宏です。 先日、ストックマークではビジネスのドメインや最新情報（2023年9月まで）に対応した130億パラメータの大規模言語モデル（LLM）であるStockmark-13bを公開しました（Stockmark-13bの詳細に関しては、こちらのブログを参照ください）。 今回、Stockmark-13bに対して追加の学習を行い、ユーザーの指示に従うように訓練したStockmark-13b-instructを公開します。 モデルはHuggingface Hubからダウンロードいただけます。 Stockmark-13b-instructのライセンスはCC BY-NC-SAで、研究目的のみにご利用いただけます。 https://huggingface.co/stockmark/stockmark-13b-instruct 当社は理化学研究所の共同研究プロジェクトである「LL
ChatGPT/LangChainによるチャットシステム構築［実践］入門
2023年10月18日紙版発売 2023年10月18日電子版発売 吉田真吾，大嶋勇樹 著 B5変形判／280ページ 定価3,300円（本体3,000円＋税10%） ISBN 978-4-297-13839-4 Gihyo Direct Amazon 楽天ブックス ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle ブックライブ 楽天kobo honto この本の概要 本書は，ChatGPTのAPIとLangChainを使って，大規模言語モデル（LLM）を本番レベルのシステムに組み込むための知識をステップバイステップで学習し，手を動かしながら実践できる書籍です。 生成AIが登場し，APIやフレームワークのエコシステムが充実してきたことによって，これまで機械学習やプログラミングの十分な知識が必要だったことに対してアプリケーション開発者が挑戦し
ベクタストア：生成AIブームの最前線を調査！#AI #ベクタストア - サーバーワークスエンジニアブログ
はじめに ベクタストアとは？ ベクタを使ったユースケース ベクタストアを使うメリット pgvectorについて pgvectorとは？ なぜpgvectorか？ 構成 始めかた 1. Amazon RDS for PostgreSQLの起動〜EC2で接続 2. vector拡張機能の有効化 2-1. 上記手順で構築したEC2、またはお使いのpsgl実行環境から、PostgreSQLにログイン 2-2. vector拡張機能を有効化 2-3. PostgreSQLへ接続するユーザーへTableへのアクセス権権付与 3. Amazon Bedrockの有効化 4. Google Custom Searchの設定 5. AWS Lambda（LangChain）の実装 6. スクリプト実行後の確認 おわりに 参考リソース はじめに こんにちは。エンタープライズ部のウルフです。 世間は生成AIブー
エンジニアなら知っておきたいGPTのキホン
第13回は、企業データを追加学習する方法の1つであるファインチューニングについて、その課題を解決する「RAG」と「エンべディング」を解説します。
Microsoft社のアーキテクトが説く、LLM実装の最前線 登場から今までを振り返って、予想する未来像
登壇者の自己紹介 蒲生弘郷氏：「ChatGPTの10ヶ月と開発トレンドの現在地」というタイトルで、蒲生から発表します。よろしくお願いいたします。 ちょっと私の自己紹介です。Azure OpenAI Champという立場で、外部発信などをやっています。いっぱい自己紹介をしていきたいところですが、本日はあまり時間もないので省略して、次にいきたいと思います。 今回は、けっこう開発者向けの発展的な内容を扱っていきますが、もし基本的な内容から確認していきたいという場合には、「Azure OpenAI 大全」というものを公開していて、リンクを貼っておくので、そちらの資料を併せてご確認いただければと思います。 「ChatGPT」の登場から今までを振り返る では、本日のテーマとして「ChatGPT」の登場から10ヶ月（※登壇当時）ということで、2022年11月から登場したChatGPTに関する技術について
RAGを使ってLLMでも最新情報や企業内情報にも対応する | ネットワンシステムズ
LLMに新たな知識を習得させる方法は3種類あります。LLM全体の再学習、LLM一部の再学習、Promptに情報を埋め込むになります。今回はPromptに情報を埋め込む、RAGについて解説します。 ライター：荒牧 大樹 2007年ネットワンシステムズ入社し、コラボレーション・クラウド製品の担当を経て現在はAI・データ分析製品と技術の推進に従事。最近では次世代の計算環境であるGPU・FPGA・量子コンピュータに注目している。 【更新日】2023/11/8 はじめに Chat-GPTに代表される、LLMに最新の情報やクローズド情報を返してほしい場合に、取りうる手段が3種類あります。 LLM全体の再学習 新規データを加えたデータセットでLLMをゼロから再学習します。コストは膨大となります。 LLMの一部の再学習 Fine Tuningと呼ばれる手法で、LLMの一部を新規データで再学習します。1.の
【書籍出版記念】LangChainから学ぶLLMを使ったアプリケーションの工夫 (2023/10/05 19:30〜)
講座概要 StudyCoの大嶋が、吉田真吾さん (https://twitter.com/yoshidashingo) と共著で『ChatGPT、LangChainによるチャットシステム構築［実践］入門』という書籍を出します！！ 出版記念として、LangChainに関する勉強会を開催します！ なお、こちらの書籍はすでにAmazonで予約可能になっています。 ご興味ある方はぜひ予約注文をお願いします！ https://www.amazon.co.jp/dp/4297138395 なぜLangChain？ ChatGPTのAPIが公開されたころから、多くの組織が大規模言語モデル（LLM）を使ったアプリケーション開発に取り組むようになりました。 LLMを使ったアプリケーション開発で、最も注目されているフレームワークが「LangChain」です。 LangChainはLLMを使ったアプリケーション
【Bedrock / Claude】AWSオンリーでRAGを使った生成AIボットを構築してみた【Kendra】 | DevelopersIO
はじめに 新規事業部 生成AIチーム 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
これから Dify の話をします…｜Sangmin Ahn
GitHub - aws-samples/generative-ai-use-cases-jp: Generative AI を活用したビジネスユースケースのデモンストレーション
生成系 AI 体験ワークショップ
第118回 雲勉【AWS・Google Cloud 生成 AI 特集】 | iret.media
LangChain完全入門 生成AIアプリケーション開発がはかどる大規模言語モデルの操り方 - インプレスブックス
