サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
GPT-4o
acro-engineer.hatenablog.com
夏の暑さもだいぶ落ち着いてきていよいよ秋めいてきました、そろそろサンマがおいしい季節ですね、菅野です。 AWSを用いて様々なアーキテクチャを作成することが可能ですが、どういった構成になっているのかを一目で表すには図が効果的です。 手動でPowerPointや、draw.io等の作図ツールを用いて作成することも多いのではないか、と思いますが、ChatGPTで簡単に出力できたら便利ですよね。 Advanced Data Analysysの動作環境ではDiagramsライブラリがインストールされていないため、Pythonコードを直接ChatGPTで動かして構成図を出力してもらうことはできませんでした。 なので、今回はChatGPTにPythonのライブラリDiagramsを用いてクラウドの構成図を作成するPythonコードを作成してもらいましょう。 今回の検証ではGPT-4モデルを利用します。
こんにちは、最近ピアノを習い始めた安部です。 今回は、ChatGPTのAdvanced Data Analysis (旧Code Interpreter)にBNF式を与えてパーサーを作成してもらおうと思います。 BNF式のように機械的に解釈可能なものであれば、正確にコードを生成してくれるのではないでしょうか? BNFでうまくいけば、その他の様々な形式のデータやフォーマットからパーサーを自動生成してくれることが期待できそうです。 1. BNFとは BNF(バッカス・ナウア記法)とは、プログラムの構文規則(文脈自由文法)を記述するための記法です。 正確な定義よりも具体例を見た方が早く理解できると思うので、例を示します。 『プログラム意味論』(横内寛文 著)の冒頭に登場する、非常に単純なプログラムを許容する言語の定義です。 <変数> ::= A | B | C | ... | Z <定数> ::
こんにちは、igaです。 先日、久しぶりにライブで声を出したらのどが枯れてしまいました。 前回に引き続き、Azure OpenAIのセキュリティを向上させるため、ネットワークのアクセス制限について確認します。 今回は、以前検証した独自データを使用する場合のネットワークのアクセス制限について確認します。 acro-engineer.hatenablog.com Azure OpenAIの構成 前回の構成で、Azure OpenAIに対してインターネットからのアクセス制限を行いました。 独自データ(原文の表記はon your data)を使用する場合、構築した直後はデータを保持するCognitive Searchがインターネット上のどこからでもREST APIによるリクエストが受信可能な状態になっています。 Cognitive Searchを利用するためには、通常、APIキーが必要になります。
先週1週間、リフレッシュ休暇(当社の年次休暇)を頂き、宮古島旅行に行ってきました。 天気にも恵まれ、海もとてもキレイだったので、テンションが上がりっぱなしだった菅野です。 最近、AWSのリソースを作成する際に、CDKを利用することが増えてきました。 AWSのリソース定義としては、CloudFormationがありますが、CDKは、以下のようなメリットがあります。 TypeScriptやPython等、慣れたプログラミング言語でAWSのリソースを定義できる。 CloudFormationと比べると、大幅に記述量が減り、分かりやすくなる。 今回はAWS CDKに不慣れな私が生成AIを利用してどこまで簡単に作成できるか試してみます。 最初に、ChatGPTを利用して、CDKのコード出力を行おうとしたのですが、CDKの最新バージョン(v2)は2021年12月にリリースされており、2021年9月まで
近頃、いろいろなプロテイン飲料を試しているkonnoです。 今のところバナナ風味が一番好みです!! ChatGPTは明確な指示を与えるほど、精度の高い回答を返してくれるといわれています。 しかし、そもそも明確な指示を与えられるほど、ゴールがイメージできていないという場合もあるでしょう。 今回は、たとえ私たち人間のゴールイメージが曖昧であっても、ChatGPTから明確なゴールが得られるという「ゴールシークプロンプト」を使ってみたいと思います。 ゴールシークプロンプトとは? そもそも、ゴールシークプロンプトとは「〇〇〇をしたい」というゴールを設定し、どのようにしたらそのゴールを実現できるのか?という問いを繰り返していき、ゴールを探索するという手法であり、一般的に次のような構造を持ちます。 ゴールを設定する ゴール達成に必要な手順に分解する 必要な変数を抽出し、ゴールを再定義する ゴールを達成す
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 (詳細はリンク先をご覧ください。) 今回は Amazon Kendra と OpenAI ChatGPT を組み合わせてRAGシステムを構築してみます。 RAG とは Retrieval Augmented Generation (検索拡張生成) の略で、 ChatGPT に代表される LLM (大規模言語モデル)でユーザの質問への回答を生成する際に必要な情報(コンテキスト)を事前に検索などを通して取得してから、 コンテキストを踏まえた回答を生成する手法のことです。 言い換えると、RAG は検索そのものの処理ではなく、検索結果を解析し、その内容を分かりやすく要約するものです。 RAG を使用することで、
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 (詳細はリンク先をご覧ください。) ここ一か月、健康的な食事を心がけ、 1kg 減量しました。 リモートワークだから仕方ないと思っていたのが、間違いでした。 さて、今回は Amazon Kendra での検索について検証していきます。 1. Amazon Kendra とは 2. 環境構築 3. 検証 3.1. 複数の文書の検索 3.2. 高度なクエリ構文による検索 3.3. 文書の更新があった場合の確認 データソースのSync スケジュールについて 4. まとめ 1. Amazon Kendra とは Amazon Kendra (以下、 Kendra )は Amazon が提供する、機械学習を利用し
9月になりましたが、まだまだ暑い日が続きますね、昼間に出歩く際にはネックリングが手放せない菅野です。 Webアプリケーションで問題があった際には、よくブラウザの開発者ツール等を確認してエラーや、遅延の原因を探ったりしますよね。 今回は上記のようなエラー解析、問題解析をChatGPTで簡単に実施できないか検証していきます。 とはいえ、ブラウザの開発者ツールをそのままChatGPTに渡すことはできないため、開発者ツールから生成したHARファイルをChatGPTのAdvanced Data Analysisで解析してもらいます。 「Advanced Data Analysis」というのは、少し前まで「Code Interpreter」と呼ばれていたChatGPTの機能のことです。 名称変更されただけで挙動は変わっていないようです。 個人的には「Code Interpreter」の方が好きだったの
カメラ好き機械学習エンジニアの@yktm31です。 最近、デザインツールのCanvaが、気になって色々試しています。 そこで今回、ChatGPTとCanvaを使って、どれだけ簡単にきれいなスライドを作れるか試してみました。 Canvaとは Canvaは、簡単にスタイリッシュなスライドや画像等を作成できる、デザインツールです。 テンプレートや素材が豊富にあり、デザイン知識がなくても、質の高いコンテンツを作ることができます。 基本的に無料で使えるのですが、有料契約(Canva Pro)にすると、生成AIでさらに強力にデザインをサポートしてもらえます。 今回利用するのは、「Docs to Decks」と「Text to Image」という機能です。 それらの機能を利用すれば、文章から簡単にデザインを作成することができます。 ただ今回は、そのデザインのベースとなる文章自体も、ChatGPTで自動生
こんにちは、igaです。 ポケモンsleepを継続していますが、行ける場所が増えたことで新しいポケモンに出会えるようになりました。 今回は、Azure OpenAIのセキュリティを向上させるため、ネットワークのアクセス制限について確認してみました。 Azure OpenAIの利用制限 Azure OpenAIを利用するためには、通常、APIキーが必要になります。 APIキー自体、ランダムな数字と文字で生成されるもので、これだけでもある程度セキュリティは確保できるものの、もし、APIキーが外部に知られてしまうと、想定していない人や環境から、自社のAzure OpenAIにアクセスされてしまいます。 APIキーが万が一漏洩してしまった場合に、Azure OpenAIを不正に利用されないようにするため、ネットワークのアクセスを制限します。 Azure OpenAIへのネットワークアクセスを制限す
最近久々に近所のお祭りに行ってきました、屋台の食べ物ではりんご飴が好きな菅野です。 皆さん、普段APIのテストはどのように行っておりますか? 最近は、APIのテスト自動化を行えるようなツールやサービスも増えてきているように思いますが、当社では、OSSのテスティングフレームワークである「Karate」を用いることが多いです。 比較的簡単な構文で直感的にAPIのテストができる点がよいと思います。 しかし、いかに簡単な方法でAPIのテストが記述できるからといっても、APIの数が多いとテストを作成するのは一苦労です。 今回は、そんなKarateのテストスクリプトをChatGPTを活用して作成してみようと思います。 まず、REST-APIの仕様を定義する場合、OpenAPIを利用することが多いのではないか、と思います。 ChatGPTの開発元である「OpenAI」ではないです。自分も書いていて、紛ら
最近、酢を飲むと健康に良いという話を聞き、頑張って毎日飲んでいるkonnoです。 何となくですが、朝の目覚めは良くなっている気がしますよ! 今回はデータベース設計に欠かせないER図を、ChatGPTを使ってDDL(Data Definition Language:SQLのデータ定義言語)から簡単に作成できるのか試してみたいと思います。 サンプルとなるDDLを用意 DDLのサンプルとして、以下のMySQL公式サイトで公開されている従業員データベースを利用します。 dev.mysql.com 従業員データベースに必要なファイル類一式は、上記サイトで紹介されている以下のGithubリポジトリから、 "test_db-master.zip"としてダウンロードできます。 github.com ダウンロードしたtest_db-master.zipには、従業員データベースを設定するために必要なDDLとし
枝差ししていたバジルが順調に成長して切り出し元の株と代替わりをしました、またバジル生活が始まりそうな菅野です。 皆さんはChatGPTのAPIを利用していますでしょうか? まだ利用していない、利用方法がわからないという方は以下の記事をご覧ください。 acro-engineer.hatenablog.com APIの仕組みの中でも直感的にわかりづらいトークン数について、今回はさらに深堀していこうと思います。 トークンとは、Chat Completions API等OpenAIが提供するAPIの処理単位です。 入力、出力共にByte Pair Encodingした結果を1トークンとして処理します。 英語の場合は通常1単語1トークン、日本語の場合は1文字でも複数トークン換算される場合がある模様です。 実際に利用する文章のトークン数が事前に知りたい場合は以下のページで確認することができます。 ht
カメラ好き機械学習エンジニアの@yktm31です。 ChatGPTは便利ですが、プロンプトの内容でいかに質問・指示するかで、その精度はだいぶ変わってきます。 うまく質問・指示するのは、工夫が必要だったりしますが、そこで役立つのが、「Prompt Perfect」というプラグインです。 www.blog.promptperfect.xyz Prompt Perfectは、ChatGPTへのプロンプトの内容を自動で改善してくれるプラグインです。 本記事では、その使い方や効果について、試していきます。 プラグインを有効化 使い方 基本の使い方 日本語で回答させる もう一つ試してみる Prompt Perfectの補完内容 注意点 まとめ プラグインを有効化 1) プラグインを有効化するため、Plugin storeからインストールします。 2) インストール後、メールアドレスの登録か、Googl
皆さんこんにちは 機械学習チームYAMALEXの@tereka114です。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 (詳細はリンク先をご覧ください。) 私自身8月4日〜8月12日までアメリカ・ロングビーチに渡航し、KDD2023に参加とポスター発表してきました。 ここ数年、コロナウィルスの影響で自分自身、オフライン参加は控えていましたが、今年はそろそろかなーともあり、行くことにしました。 KDD2023概要 学会の様子 Opening セッション KDDCup KDD Annual Celebration 食事 最後に 展示場(ランチ会場)人が多い KDD2023概要 KDDは正式名称、29th ACM SIGKDD CONFERENCE ON KNOWLEDGE DISCOVERY AND DAT
こんにちは、igaです。 先日は台風の影響が出る前に出かけられて、リフレッシュできました。 今回は、Azure OpenAIとチャットする際に、独自データを使用してみます。 独自データの使用(原文の表記はon your data)は、2023年8月現在パブリックプレビューとして利用できる機能です。 techcommunity.microsoft.com 独自データの使用(以降、on your dataと表記します)により、例えば企業内ドキュメントやFAQをAzure OpenAIに検索させることで、ユーザーからのチャットでの問い合わせに対して企業内ドキュメントやFAQを検索した結果をAzure OpenAIがチャットの応答として返すことができるようになります。 今回は、on your dataを利用するまでの流れを試したいと思います。 on your dataのポイント on your d
こんにちは、igaです。 台風が接近していて、外出の予定と重ならないかドキドキしています。 今回は、Azure OpenAI Service(以下、Azure OpenAIと記載します)で7月から利用できるようになった「Function calling」を試してみます。 Function callingとは、実行可能な関数を予め定義しておき、自然言語から実行すべき関数と引数を特定してくれる機能です。 OpenAIのAPIで、6月にリリースされた機能ですが、それがAzure OpenAIでも利用できるようになりました。 この機能のポイントは、「関数を呼び出す」ことではなく、「呼び出す関数(とその引数)を特定してくれる」ことにあります。 (名前が「Function calling」なのに、ややこしいですね) Azure OpenAIの利用開始方法とAPIの呼び出し方については、前回の記事を参考
こんにちは。 Acroquestのデータサイエンスチーム「YAMALEX」に所属する@shin0higuchiです😊 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 さて、先日7/23-7/27にICTIR2023およびSIGIR2023という情報検索関連の国際会議が台北で開催されました。年に一度開かれる国際会議で、毎年この分野の研究を色々と聞くことができ、個人的にとても楽しみにしているイベントです。 ここ数年はCOVID-19の事情もありオンラインで参加していたのですが、今年は思い切って現地参加して来ましたので、その様子を共有したいと思います。 sigir.org 概要 会場は台北のTICC(Taipei International Conventional Center)という場所でした。台北101のすぐ近くにある広くてキレイな
今朝は雨が降ったようで、久しぶりに涼しい朝を迎えられた菅野です。 前回の記事「日々のExcel管理を効率化するPythonスクリプトをChatGPTに作ってもらう」には多くの反響をいただきありがとうございます。 acro-engineer.hatenablog.com 前回は、Pythonスクリプトを生成することで、Excel管理の作業を自動化することを目的としていました。 ただ、エンジニアでない社員からは、以下のようなコメントをもらいました。 エンジニアではない人はPython実行もハードルが高い ChatGPTとExcelファイルだけで完結させてほしい ということで、今回はPythonスクリプトを意識することなく、ChatGPTのCode Interpreterのみを用いてExcelの集計・編集作業を行ってみます。 今回のテーマではGPT-4モデル、Code Interpreterを使
こんにちは、igaです。 先日からポケモンSleepを始めたのですが、寝ている間にポケモンが集まってくるのが面白いですね。 今回は、Azure OpenAI Service(以下、Azure OpenAIと記載します)を利用してみようと思います。 2023年1月から利用できるようになった、Azure OpenAIですが現状では申請が必要になります。 2023年7月には、Japan Eastリージョンで利用することが可能になりました。 learn.microsoft.com 今回、申請から、利用を開始するまで、どのような手順が必要になるかを説明していきたいと思います。 Azure OpenAI Serviceの利用申請 Azure Portal にサインインして、「Azure OpenAI」から「作成」を始めて選択すると、次のように「価格レベル」のドロップダウンに「使用できる項目がありません
カメラ好き機械学習エンジニアの@yktm31です。 先日、以下のように、ChatGPTのCode Interpreterを用いて、画像データを加工する記事を書きました。 その際は、リサイズや画像の切り抜きなど、基本的な加工ができることを確認しました。 今回は、画像編集ソフトで行うような、より高度な画像処理を実施してみたいと思います。 acro-engineer.hatenablog.com 利用する画像は前回記事と同様、以前撮影した富士山の写真を使いたいと思います。 画像処理/加工 今回、以下のような画像処理/加工を実施してみました。 ガンマ補正を適用し画像を明るくする CLAHEを適用しコントラストを調整する シャープネスを向上させる ノイズ除去を適用する ガンマ補正を適用し画像を明るくする ガンマ補正は、画像の明るさを非線形に調整するための手法です。 一番単純に画像を明るくする方法は、
最近は朝型にシフトしてウォーキングを始めました。菅野です。 皆さんは日々の業務でどれぐらいExcelを用いているでしょうか? 表計算ソフトであるExcelですが、計算のみならず、グラフ描画や、文章を表形式でまとめたり、マニアックな使い方ではアニメーションの作成までできてしまいます。 エンジニア以外の方も業務で使用することが多いのではないでしょうか? しかしながら、業務上でExcelを用いると、日々の煩雑な作業が多くなりやすい印象です。 エンジニアであればVBA等を調べてマクロを作るといったことも可能ですが、一般の人にはハードルが高くなってしまいがちです。 今回はそんなExcelを用いた業務をChatGPTにPythonスクリプトを作ってもらうことで効率化してみましょう。 今回のテーマではGPT-4のモデルを使用します。 また、CodeInterpreterで対象のExcelファイルを読み込
最近は、健康系アプリにはまっているkonnoです。 今年は本当に暑いですね...過去〇〇年で最高、などと言われることもありますが、でも、実際のところはどうなんでしょうか? 今回は、データさえ与えればあっという間に分析してくれるCode Interpreterを使って、過去の気象データから気温変化の傾向を見てみたいと思います。 気象データをCode Interpreterで分析 気象データを取得する 今回使用する気象データは、気象庁が公開している「過去の気象データ・ダウンロード」という以下のページから取得しました。 www.data.jma.go.jp 条件としては、以下のようにしています。(※今回は2022年12月31日までのデータを使用しています。) 項目 内容 地点 横浜 項目 日平均気温 期間 1893/01/01 ~ 2022/12/31 表示オプション デフォルト設定のまま ファ
最近三年ぶりに海水浴にって来ました、やっぱり夏は海ですね。菅野です。 ChatGPTは、言語生成AIであり、Stable Diffusion、Midjourneyといった画像生成AIとは異なり画像を生成することは通常できません。 しかしながら、テキストベースのフォーマットであれば、プログラムといった文章とは異なるものも出力することができます。 そう、XML形式で画像を表現するSVGであれば、ChatGPTから生成することが可能なのです。 今回はSVGを使ってChatGPTのGPT-4モデルにお絵描きをしてもらい、 どういった表現まで可能なのかを探っていこうと思います。 www.w3.org 簡単な図形から描いてもらう まずは、試しに簡単な図形から描画してもらいましょう。 <svg xmlns="http://www.w3.org/2000/svg" width="200" height="
こんにちは、igaです。 先日の連休で、あるコンテンツの聖地巡礼をして英気を養ってきました! 英気を養ったところで、「Node.jsからPythonにソースコードを移植する」ということが必要になりました。 元のNode.jsのコードでPythonには存在しない書き方をしていて、そのままPythonに書き直すのが難しいため、ChatGPTに助けてもらって移植を行ってみよう、と考えました。 今回のポイント 変換にあたって、Node.jsで変数の値をインクリメントする「index++」という記述が、Pythonには存在しません。 同じように変数の値をインクリメントする場合、Pythonでは「index += 1」という記述にする必要があります。 それで今回のソースコードですが、関数の引数を指定するところでインクリメントの、しかもやや複雑な記述が存在していました。 num = this.#tran
皆さんこんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 この記事は「Prompt Flowを使ってRAGの回答を自動評価する」記事の続きの記事になります。 acro-engineer.hatenablog.com 前回記事では、Azure Machine Learning Prompt Flowを使って手動で回答を評価することはできたので、今回はファイルから複数回答の自動評価を検証してみます。 目次 おさらい 一括テストを使ってファイルのデータを対象に実行する データファイルを用意する 一括テストを設定・実行する 一括テストの評価結果を確認する まとめ おさらい まず、今回検証したい内容をおさらいします。 RAGのシス
皆さんこんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 Microsoft Buildを経て、AzureにもGPTを利用したサービスが数多く発表されており、LLMをサービスとして利用できる使い方増えていてワクワクしますね。 今回と次回の記事を通して、その中のサービスの一つであるAzure Machine Learning Prompt Flowというサービスを使ってRAG(Retrieval Augmented Generation)の回答を自動評価するシステムを試してみます。 この記事では、まずはPrompt Flowを使って手動で回答を評価してみるところまでを検証します。 ※RAGとは事前に知識を検索エンジンなどに
カメラ好き機械学習エンジニアの@yktm31です。 先日7/21(金)に、ChatGPTの新機能「Custom Instructions」が発表されました。 openai.com 今回、その新機能を試してみたいと思います。 目次 概要 Custom Instructionsの設定項目 実際に使ってみた 機能を有効化する 条件を与えて出力させる まとめ 概要 Custom Instructionsは、ChatGPTに事前情報として文脈や制約を教えることができる機能です。 ChatGPTから期待する回答を得るには、文脈や制約を与えることが重要になってきます。 そのため、プロンプトを以下のような形で与えることがよくあります。 あなたはPythonのエキスパートです。 以下の条件を元に、AWS Lambdaのコードを出力してください。 # 仕様 # 利用フレームワーク # 補足 これを共通的に設定
近頃、夜食づくりにはまっているkonnoです。 データ分析もできると話題のChatGPT Code Interpreterを使えば、機械学習もお手軽にできるのでは…? ということで、Kaggleチュートリアルとして有名な「Titanicの生存者予測」を ChatGPT Code Interpreterを使って分析できるのか 試してみたいと思います! Titanic生存者予測とは? かの有名のタイタニック号の乗員名簿と、事故で生存したか否かのデータを機械学習し、乗員の属性(性別、年齢、乗船時の運賃など)から生存したか否かを推定する課題です。 よく考えるとひどい設定ですね。 話題のわかりやすさと、それなりに特徴的な結果が出るところから、機械学習の初学者がやる練習問題として世界的に有名です。 データはKaggleさんから取得できます。 www.kaggle.com 機械学習を利用してTitani
次のページ
このページを最初にブックマークしてみませんか?
『Taste of Tech Topics』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く