こんにちは、igaです。 台風が接近していて、外出の予定と重ならないかドキドキしています。 今回は、Azure OpenAI Service（以下、Azure OpenAIと記載します）で7月から利用できるようになった「Function calling」を試してみます。 Function callingとは、実行可能な関数を予め定義しておき、自然言語から実行すべき関数と引数を特定してくれる機能です。 OpenAIのAPIで、6月にリリースされた機能ですが、それがAzure OpenAIでも利用できるようになりました。 この機能のポイントは、「関数を呼び出す」ことではなく、「呼び出す関数（とその引数）を特定してくれる」ことにあります。 （名前が「Function calling」なのに、ややこしいですね） Azure OpenAIの利用開始方法とAPIの呼び出し方については、前回の記事を参考

皆さんこんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 Microsoft Buildを経て、AzureにもGPTを利用したサービスが数多く発表されており、LLMをサービスとして利用できる使い方増えていてワクワクしますね。 今回と次回の記事を通して、その中のサービスの一つであるAzure Machine Learning Prompt Flowというサービスを使ってRAG（Retrieval Augmented Generation）の回答を自動評価するシステムを試してみます。 この記事では、まずはPrompt Flowを使って手動で回答を評価してみるところまでを検証します。 ※RAGとは事前に知識を検索エンジンなどに

こんにちは。 近頃はとにかく暑すぎて、ネッククーラーが手放せないkonnoです。 今回は、ChatGPTでガントチャートを表示できるのか、ということにチャレンジしたいと思います。 とはいえ、ChatGPT単体で、図を生成できるわけではなく、今回は「Show Me」というプラグインを利用してみます。 このプラグインを利用すると、Mermaid記法というモノに基づき、テキストで記載した内容から図を生成することが可能になります。 Mermaid記法については、以下を参照してください。 mermaid.js.org ただ、Mermaid記法は以下のようなもので、人にとっては難解な部分も多いです（私の脳がついていけてないだけ？）。 以下は、ガントチャートを作成するためのMermaid記法ですが、これを覚えて作成するのは、なかなか難しいと感じます。 gantt title ガントチャート dateFo

カメラ好き機械学習エンジニアの@yktm31です。 先日、OpenAIから、公式のプラグインとして「Code Interpreter」が発表されました。 「Code Interpreter」は、ChatGPT上でPythonのコードを生成・実行する仕組みを持っています。 これまでも、ChatGPTで、プログラムのソースコードを出力することは可能でしたが、実行まではできませんでした。 「Code Interpreter」は、ChatGPTの有料版で利用することが可能ですが、ユーザーが自然言語で指示や要求を出すだけで、 ChatGPTがその内容を理解し、ソースコードの生成から実行まで行えたり、既存のコードを解釈してその動作を説明したりすることが可能になります。 openai.com 本記事では、この「Code Interpreter」を利用して、CSVファイルを元に、データの可視化を行ってみま

こんにちは。最近湿度が上がってきてつらい@Ssk1029Takashiです。 最近当社ではAzure OpenAI Serviceを活用した検索ソリューションに取り組んでおり、私も開発として携わっています。 www.acroquest.co.jp そんな中でもOpenAIのGPT周りのアップデートが激しく、GPT-4のリリースなどニュースに事欠きません。 特にChatGPT PluginsというChatGPTと外部のデータソースやツールなどを連携する枠組み発表され、よりChatGPTにできることが広がっています。 その中で先月MicrosoftがSemantic KernelというSDKを発表しました。 Semantic KernelとはGPT-3などの大規模言語モデルをアプリ開発に統合するC#で開発されたOSSのSDKです。 これを使うことで、ChatGPT PluginsのようにGPT

こんにちは、@shin0higuchiです😊 業務では、Elasticsearchに関するコンサルティングを担当しています。 最近すっかり春らしく、暖かくなってきました。 新年を迎えたばかりの感覚でしたが、あっという間に時が経ちますね。 さて、今回の記事では、Elasticsearchの検索を根本的に変える可能性を秘めたセマンティック検索に関して書かせていただきます。 概要 Elasticsearchは元々、キーワードベースのアプローチを主に取っており、クエリで指定されたキーワードを対象のドキュメント内で検索し、それらの出現頻度や位置に基づいて結果をランク付けしています。この方法では、文脈や意図に関係なく、単純にキーワードの一致度に基づいて検索結果が返されます。 一方、セマンティック検索とは、ユーザーのクエリの背後にある文脈と意図を理解しようとする検索手法で、キーワードだけに頼るのではな

ここのところ気温も暖かくなり、外に出かけるのが楽しみになってきた、カメラ好き機械学習エンジニアの@yktm31です。 いま世間を賑わせている生成系AI、ChatGPTは私にとって欠かせないものになりました。 そんな中つい先日、AWSから「Amazon CodeWhisperer」がGAになりました。 といことで、さっそく試してみました。 目次 概要 特徴 サポート サポートされるプログラミング言語 サポートされるIDE サポートされる自然言語 使い方 利用開始方法 基本操作 Lambdaで、DynamoDBのレコードを取得する処理と、そのユニットテストを書いてみた コード参照（Code references）を試してみる セキュリティスキャンを試してみる ドキュメントからわかったこと 安全性・セキュリティ ProfessionalとIndividualの違い 料金と制限 オプトアウト方法

皆さんこんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 この記事はGPTでチャットボットを作ってみるシリーズ第3弾です。 第1弾と第2弾もぜひご覧ください。 acro-engineer.hatenablog.com acro-engineer.hatenablog.com 第1弾では、GPTになるべく正確な回答をさせるために、回答の情報を持つ文書を検索し、それをもとに回答を生成するという内容を試しました。 文書をもとに回答を生成することで比較的正確な回答を取得することができました。 ただし、この回答も必ずしも正確な回答とは限らないので、どれくらい信頼していいのかを自動で判定する仕組みが欲しくなります。 今回は第1弾のシ

こんにちは。社内データサイエンスチームYAMALEXの@Ssk1029Takashiです。 最近はChatGPTが出て注目を浴びたり、BingにもChatGPTのように質問応答してくれるAIが搭載されるなど、OpenAIのGPTモデルが世の中を騒がせています。 私もChatGPT使ってみましたが、受け答え自体は人が書いていた文章と遜色なく、文章の自動生成もここまで来たか。。という感じでした。 そんなChatGPTの特徴の一つとして、回答には時々嘘が含まれるというものがあります。 ChatGPT自体は知識を持っているわけではないので、学習データにないことなどはそれっぽいけどでたらめな回答を返してしまいます。 ただし、最近追加されたBingのGPTでは、ChatGPTよりもはるかに正確な回答が返ってくるように感じます。 画面を見ると回答の根拠となっている詳細情報が出ています。 ここから推測する

こんにちは。社内データサイエンスチームYAMALEXの@Ssk1029Takashiです。 最近はRTX4090のマシンを買って電気代が上がってきています。 昨今NLP界隈では事前学習モデルが出てからは、検索というのもキーワードでの検索だけではなく、文章を入力にして似たような文章を探す類似文書検索も使われるようになりました。 そんな中で、今回はFAQを対象にした類似文書検索をSentence BERTを使って試してみます。 FAQでよくある困りごと 今回やること Sentence BERTとは 検証 FAQデータセットから文章ベクトルを学習する 回答文から文章ベクトルを生成する 質問文から近しい回答を見つける 単語が揺れてもいい感じに回答を取得できるのか検証 まとめ FAQでよくある困りごと FAQはあらゆる場面で重要な情報源ですが、いまいち検索がしづらい情報でもあります。 FAQを利用し

こんにちは。@phonypianistです。 本投稿はアクロクエスト アドベントカレンダー 12月21日 の記事です。 最近、Quarkusアプリを本番適用しました。 QuarkusはJavaアプリを作るための軽量なフレームワークで起動が速いって聞くけど、実際どれくらい速いんだろう？と気になったので、Spring Bootや、類似OSSのMicronautと比べてみました。 背景 JavaのフレームワークといえばSpringBootが主流ですが、起動が遅かったり、必要なメモリが多かったりしています。 これは、アプリ起動時にリフレクションを用いてDI（Dependency Injection）を行っているのが要因の1つです。 マイクロサービス、コンテナネイティブなアプリケーションは、負荷の状況に応じて、シームレスにスケールアウトできる必要があります。 アプリケーションの起動速度が遅かったり、

最近社内でビルドの手順がちょいちょいMakefileで書かれているため、意外と知らなそうなmake及びMakefileの基本的な使い方をまとめてみました。 参考図書はこちらです https://www.oreilly.co.jp/books/4873112699/ 。 基本 まずは基本から。makeの本来の用途は、ソースコードのビルド手順を自動化することで、Makefileはその手順を記載したファイルになります。主にC言語をターゲットにしています。 一番基本的な内容はターゲットと依存、そしてビルド手順の3つを記載したルールで構成されています。たとえば、次のように書きます。

こんにちは、oogiです。 この記事はElastic Stack (Elasticsearch) Advent Calendar 2019の8日目の記事になります。 はじめに Spring Bootアプリケーションの監視にMicrometerを使うことは多いと思います。 収集したデータはレジストリの切り替えによりPrometheusやElasticsearchなど保存先を選んで利用することができます。 で、収集したら当然可視化してみたいわけですが、残念ながらMicrometerで収集したデータをKibanaで可視化するためのダッシュボードが存在していないため、結局のところPrometeus＆Grafanaが選ばれることが多いです。 Elastic Stackを活用しているAcroquestとしてはせっかくElasticsearchにも保存できるのにこれはもったいない…なら、うちで作るしかな

急に冷え込んできてお布団が恋しい季節になってきました。 こんにちは。@Ssk1029Takashiです。 この記事は自然言語処理 Advent Calendarの6日目の記事になります。 qiita.com 全文検索システムは単語検索であることが多いですが、単語検索だけだと困ることもあります 症例検索を例にとって見てみましょう。 検索エンジンに以下の2つの文章が登録されているとします。 「ずっと胃がキリキリと痛い。ただ、熱は無く平熱のままだ。」 「昨日からとても頭が痛い。おまけに胃がむかむかする。」 この時、「胃が痛い」と検索したとき、通常の単語検索の場合だと両方ともヒットしてしまいますが、下の文章は意味としては異なる文章のためゴミになります。 この記事では、GiNZAとElasticsearchを使って意味的に正しい上の文章だけを拾ってくる仕組みを簡単に実現してみようと思います。 どうや

はじめに オブザーバビリティは監視の世界を変えつつありますが、それには正当な理由があります。 多岐にわたるツールのおかげで、コードをデリバリするのがこれまでになく簡単になりましたが、それはソフトウェア環境がかつてないほど複雑化しはじめていることも意味します。ソフトウェア開発手法が進化するにつれて、システムも進化してます。ソフトウェアに「何か問題が発生しているか？」と尋ねるだけでは不十分です。その問題の理由も同時に尋ねられなければなりません。これは可観測性 (オブザーバビリティ) の基本的な性質です。 システムの可観測性を実現するにはすべてを計測し、すべてのテレメトリデータを1か所で表示できる必要があります。その方法については多くの議論が続いており、確実な定義は未だ現れていませんが、New Relic はメトリクス、イベント、ログ、およびトレース（MELT : Metrics, Events

こんにちは、@shin0higuchiです😊 本日Elastic Stackの7.5がリリースされました。 今回は個人的に興味をひかれた新機能に絞って紹介します。 どんな機能が追加されたのか、早速見てみましょう。 リリースノートはこちら https://www.elastic.co/guide/en/elasticsearch/reference/current/release-notes-7.5.0.htmlwww.elastic.co Kibana Lens Kibanaのvisualizationをより感覚的に作成するための機能、Lensがbetaリリースされました。 データをドラッグ＆ドロップで追加しながら、グラフの種別切り替えも簡単です。 これは今回の目玉機能と言えると思います。 Kibana Lens画面 画面左のフィールド一覧から、画面右のエリアにドラッグすることで作成する

機械学習エンジニアのhayakawaです。 弊社には社内で菓子パンを扱うミニ販売コーナーがございます。 私は好物のあんパンをよく買うのですが、他の社員にも人気があるのですぐ売り切れます。早い。 あんパンを多めに仕入れてもらいたいのですが、 欠品よりも売れ残りを嫌うパン購入担当社員を説得するには、 パンにかける熱意よりも、パンがいつ売り切れたかの統計が必要です。たぶん。 そこで SORACOM S+ Camera（サープラスカメラ） (以下、S+ Camera） という製品を使って簡単な在庫管理システムを組んでみました。 ※弊社はS+ CameraのAIパートナーです。 S+ Cameraとは S+ Cameraはソラコム社のエッジ処理カメラです。 soracom.jp この筐体に カメラ Raspberry Pi データ通信ボード＋SIM が入っています。 これにプログラムをデプロイすると

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.

Pythonを使ったデータクローリング・スクレイピングは、エンジニア・非エンジニアを問わず非常に人気や需要のある分野です。しかし、いざデータクローリングしようとすると、複数ライブラリのAPIや、ライブラリそれぞれの関連性に混乱してしまうことがよくあります。 昨年公開された「Requests-HTML」はそういった問題を解決する「オールインワンでデータクローリングが行える」ライブラリです。ユーザーは「Requests-HTML」のAPIのみを学習するだけで、サイトへのリクエスト、HTMLのパース、要素の取得を行うことができます。またHeadless Chromeを使うこともできます。 このブログでは「Requests-HTML」が生まれた背景と使い方、そして興味深いポイントについて書きます。 なぜ「Requests-HTML」が必要だったか データクローリング・スクレイピングの人気の高まり

奥多摩ラフティングは、東京から電車で90分の距離ながら自然に溢れ、スリルとドキドキのラフティングを楽しめます。 奥多摩地域を流れる多摩川は清流として有名で、御岳渓谷は日本名水百選にも数えられています。 渓谷の両側には木々が生い茂り、季節毎の変化が楽しめる関東でも有数のおすすめスポット。 友達どうし、恋人同士、ファミリー層にも適したラフティングコースです。 JR青梅線御嶽駅から徒歩5分で駐車場も用意してますのでご安心ください。