ElasticsearchのANNを利用して100万件のベクトル検索を高速化！ - Taste of Tech Topics
この記事は Elastic Stack (Elasticsearch) Advent Calendar 2023 18日目の記事です。 こんにちは。 Acroquestのデータサイエンスチーム「YAMALEX」に所属する@shin0higuchiです😊 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 さて、最近はLLMの発展に伴ってRAG（Retrieval-Augumented Generation）が盛んに活用されています。 その中で、キーワードベースの検索だけでなくベクトル検索を併用するケースが多く見られ、実際にElasticsearchが利用されているケースも多く目にします。そのため、Elasticsearchのベクトル検索に興味を持っている方も多いと思います。今回の記事では、Elasticsearchのベクトル検索の速度な
大規模言語モデルへの入力プロンプトを意味を保ったまま高度に圧縮する技術「LLMLingua」をMicrosoftが開発
近年はさまざまな大規模言語モデルが台頭し、入力するプロンプトを工夫することで高精度な回答を得る方法も数多く生み出されています。しかし、入力プロンプトがあまりにも長くなりすぎると、チャットウィンドウの上限を超えてしまったり、APIのコストが増大してしまったりするデメリットも生じます。そこでMicrosoft Researchの研究チームは、意味を保ったまま入力プロンプトを圧縮する新たな技術「LLMLingua」を開発しました。 LLMLingua | Designing a Language for LLMs via Prompt Compression https://llmlingua.com/ LLMLingua - Microsoft Research https://www.microsoft.com/en-us/research/project/llmlingua/ LLMLin
Google Bard の拡張機能が日本語でも利用可能になりました。アプリやサービスの情報にアクセスして取得 | HelenTech
Google は Bard 試験運用版の最新情報を更新し、英語だけでなく日本語でも Bard を使用して Google アプリやサービスの情報にアクセスして取得する拡張機能を利用できるようになったことを発表しました。 Bard の拡張機能を利用することで、YouTube、Google ホテル、Google フライト、Google マップからリアルタイムに情報取得できるようになります。さらに Gmail、Google ドキュメント、Googleドライブからも情報を取得して、コンテンツから検索できたり、概要を作成したり、回答を得ることも可能になりました。 ただし、この機能は個人の Google アカウントでの利用になるため、Google Workspace アカウントでは利用できません。Bardの拡張機能へのアクセスは上部メニューに表示されます。拡張機能のページでは、Bardがアクセスできるア
WCAG 2.2 の新しい達成基準をざっくりと理解する | Accessible & Usable
公開日 : 2023年12月19日 (2024年3月2日 更新) カテゴリー : アクセシビリティ この記事は、アクセシビリティ Advent Calendar 2023 の19日目の記事です。 2023年10月5日付で W3C 勧告となった WCAG (Web Content Accessibility Guidelines) 2.2 について、当サイトでは先に、新しく追加された達成基準を取り急ぎの私訳にてご紹介しました (参考記事 : WCAG 2.2 Recommendation (勧告))。正式な日本語訳は、私も招聘専門家として参加しているウェブアクセシビリティ基盤委員会 (WAIC) 翻訳作業部会で別途作業中ですが、この記事では主に WCAG 2.2 になじみのない方向けに、新しい達成基準が求めていることとその理由について、大まかに噛み砕いた形でまとめてみたいと思います。 この記
ChatGPTのプロンプト書き方のコツをOpenAIが公開 | スラド IT
OpenAIは、自社ウェブサイトでGPT-4を使いこなすためのプロンプトエンジニアリング（プロンプトの最適な使い方）についての入門テキストを公開した。このテキストでは、GPT-4を活用するための6パターンの戦略と、それぞれを実行する際の具体的なコツが記載されているという。主な内容としては、明確な指示の書き方やモデルへの個性（ペルソナ）の付与、エラー率を下げるための方法、コード実行を使用して、より正確な計算を実行したり、外部APIを呼び出すといった方法などが含まれている。現在のところドキュメントはすべて英語だが、効果的なプロンプトを探している人はひと通り目を通しておく価値があるとしている（Prompt engineering（OpenAI Documentation）、ASCII.jp）。
pandasのSeriesとMagicMockの併用でハマった件 - エムスリーテックブログ
この記事はエムスリーAdvent Calendar 2023の18日目の記事です。 AI・機械学習チームの高田です。 AI・機械学習チームではデータパイプラインを構築する機会が多く、パイプラインの中でpandasを活用しています。 今回はpandasのSeries型を扱う関数の単体テストにMagicMockを使った際にハマったポイントを紹介したいと思います。 Series.mapの活用例 単体テスト 何が起きているのか 修正結果 おわりに We are hiring!! Series.mapの活用例 データの前処理工程ではDataFrameやSeriesの値を利用して別のSeriesを作成することが多くあります。 例えばアンケートの自由記述回答のうち、一定の文字数以上のデータのみ扱うために、テキストデータのSeriesから文字列長のSeriesを作成する場合が考えられます。 Seriesか
ディープマインド、大規模言語モデルで数学の未解決問題を解く
グーグル・ディープマインドは、大規模言語モデル（LLM）で純粋数学の有名な未解決問題を解くことに成功したと発表した。LLMが、訓練データに含まれない未知の解を導き出すことに成功した例になる。 by Will Douglas Heaven2023.12.19 16 17 グーグル・ディープマインド（Google DeepMind）が大規模言語モデルを使用し、純粋数学の有名な未解決問題を解いた。研究チームは、2023年12月14日付でネイチャー誌に掲載された論文の中で、「長年の科学的パズルの解を発見するために大規模言語モデルが使用されたのは初めてのことであり、以前は存在しなかった検証可能な価値ある新情報を生み出すことができました」と述べている。「得られた解は訓練データには含まれておらず、これまで知られてもいませんでした」と、論文の共著者であるグーグル・ディープマインドの研究担当副社長、プッシュ
プログラミング支援AIサービスが主要各社から出そろう 各サービスのまとめ GitHub／AWS／Google／GitLab／JetBrains
この記事は新野淳一氏のブログ「Publickey」に掲載された「プログラミング支援AIサービスが主要各社から出揃う、各サービスのまとめ。GitHub／AWS／Google／GitLab／JetBrains」（2023年12月18日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 AIがプログラミングを支援してくれるサービスが主要各社から出そろいました。 Publickeyではこれまで各社の発表時点でそれぞれのサービスを紹介してきましたが、ここであらためて主要各社のプログラミング支援AIサービスをまとめます。 本記事では、各AIサービスごとの主な機能などをリストアップしています。ただし、実際にはAIに指示などをすれば品質の差異はあれどおそらく何らかの結果は返ってくるであろうこと、この分野は急速に進化していて各社とも積極的な能力向上と機能追加を行っていくであろうことから
画像生成AI「Stable Diffusion」を爆速化。秒単位で美少女を生成できるLCM系ツールを使い比べた (1/3)
生成AIの進歩はマジで早い。Stable Diffusion関連だけでも毎日のように新規手法が発表され、せっかく身につけたスキルも数週間後には完全に時代遅れのものになっていることも珍しくはない。 中でも、ここ最近もっとも注目されているのは「LCM」だろう。 LCMとはLatent Consistency Model（潜在一貫性モデル）の略で、大雑把に言えば「画質を多少犠牲にすることで信じられないほど高速化」する仕組みだ。 さらにStable Diffusion開発元の本家Stability.aiからも、LCMとは異なるが「SDXL Turbo」という高速モデルが発表された。果たしてどれほど早くなったのか、それぞれ検証してみることにする。 LCMってどういう仕組？ とはいえこれだけでは少し雑すぎるので、もう少し詳しく説明しよう。 Stable DiffusionはLDM（潜在拡散モデル）とい
「パワポ生成AI」無料公開 キーワードから資料を自動作成
ユーザーローカルは12月13日、プレゼンテーション資料（.pptx）をAIで自動生成する「パワポ生成AI」の無償提供を始めた。フォーム内にメモを入力するだけで、企画書や講義資料などをPowerPoint（パワポ）形式で自動生成・ダウンロードできる。 「企画書・提案書」「新商品の紹介」「講義資料」などからテンプレートを選び、内容に合わせてテキストを編集した後、「パワポファイルをダウンロードする」ボタンを押せば、すぐにパワポ資料が作成される。 キーワードをいくつか入力するだけで、生成AIがあらすじを考える「アウトライン自動生成」機能も搭載。同社独自のAIで、関連しそうな単語をサジェストし、資料に盛り込みたい単語を追加選択すると、ChatGPTと連携してアウトラインを自動生成する。 作成した資料内にイメージ画像を自動的に挿入する機能を備えた。今後、内容に沿った画像素材をAIで自動作成する機能も提
「ベクトル検索 vs 全文検索」〜Amazon Bedrockの埋め込みモデルを用いたプロトタイピング〜 - コネヒト開発者ブログ
※ この記事は、AWS (Amazon Web Services) の技術支援を受けて執筆しています。 はじめに この記事はコネヒトアドベントカレンダー 8日目の記事です。 コネヒト Advent Calendar 2023って？ コネヒトのエンジニアやデザイナーやPdMがお送りするアドベント カレンダーです。 コネヒトは「家族像」というテーマを取りまく様々な課題の解決を 目指す会社で、 ママの一歩を支えるアプリ「ママリ」などを 運営しています。 adventar.org こんにちは！コネヒトの機械学習エンジニア y.ikenoueです。 突然ですがみなさん、Amazon Bedrockをご存知でしょうか。 aws.amazon.com Amazon Bedrock(以下、Bedrock)は、テキスト生成AIをはじめとする基盤モデル (Foundation Model)*1を提供するAWS
AmazonのAI「Amazon Q」は重度の幻覚によってAWSデータセンターの場所などの機密データを漏えいしているとの指摘
2023年11月29日に発表されたばかりのAIチャットサービス「Amazon Q」にプライバシーの問題がある可能性が報じられました。一部の従業員によるとAmazon Qはひどい幻覚(ハルシネーション)に襲われることがあり、Amazon Web Services(AWS)のデータセンターの場所などを漏らすことがあるそうです。 Amazon’s Q has ‘severe hallucinations’ and leaks confidential data in public preview, employees warn https://www.platformer.news/p/amazons-q-has-severe-hallucinations Amazon's AI Chatbot, Amazon Q, Faces Criticism and Security Concerns h
教えて先輩！ DevRelの立ち上げ方（前編）活動の成果と計測、体制、予算 - SmartHR Tech Blog
2023年夏、SmartHRでDevRel（Developer Relations）が始動しました！ SmartHRのDevRelは生まれたてほやほや。会社、そして担当者自身にも経験や知見がありません。 そこで、他社で積極的に活動をされているDevRelの先輩がたをお招きして座談会を開催しました。 前編では、DevRelとは何かや、活動の成果とその計測方法、体制、予算についてお話をうかがいました。 （座談会は2023年9月に行いました。内容は当時のものです） 目次 目次 座談会メンバー 櫛井優介さん（以下、941） 杉田絵美さん 玉田大輔さん 聞き手：稲尾尚徳（以下、inao） 自己紹介 そもそもDevRelって？ 活動の成果とその計測 DevRelの体制 DevRelの予算 座談会メンバー 櫛井優介さん（以下、941） LINE株式会社（現LINEヤフー株式会社） Developer R
【AI倫理・法務に関わる人必見！】AIに関する国内外のルールメイキングの状況 (2023年12月版) - ABEJA Tech Blog
今日は、法務・コンプライアンス・AI倫理担当の古川が担当させていただきます。 これで４回目のアドベントカレンダーです。筆者の経歴などは過去の記事で書きましたので省略します。若干追加するならば、Global Partnership On AI（GPAI）というOECDが運営するAIの適切な利活用に関する取り組みの日本の専門家委員を1月からやっております。GPAIを通じてAI倫理だとか責任あるAIの国際的な様々な取り組みに関与させていただいています。 今年も去年に従って「AI倫理ニュース振り返り2022年」を書こうと思ったのですが、より興味が高いであろう国内外のルールメーキングの状況をお話しします。といっても、EU、US、日本だけですが。 １．EU EUはAI法案が非常に重要です。2021年にAI法案をリリースしています。その後、議会による修正案が出ています。基本的にはこの議会の修正版までが一
しゃべるようになったiPad miniに気持ちを整理してもらってます
しゃべるようになったiPad miniに気持ちを整理してもらってます2023.11.15 20:0028,969 照沼健太 これこそ｢未来は今｣。 今年最大のテックニュースといえば、ほぼ満場一致で｢ChatGPT｣なのではないでしょうか。 しかし、当初は｢すごい！｣｢エグい！｣｢ぜんぜん使えない！｣｢嘘をつかれた！｣｢それは使い方が悪い！｣なんて、いろんな意見が飛び交っていましたが、今ではすっかり活用している人と全然使っていない人に分かれてしまった印象があります。 そこで｢あまりChatGPTを活用できていない｣という人におすすめしたいのが、ChatGPTの｢音声対話機能｣です。これ、マジですごいですよ。 2023年もっとも驚いたテクノロジー。ChatGPTと話せる｢音声対話機能｣って？Photo: 照沼健太文字通り、ChatGPTと声で会話ができる機能です。 ユーザーはマイクを通じて質問
“オリジナルCopilot”が作れる「Copilot Studio」登場 スタンドアロン型にも対応 GPTとも連携
“オリジナルCopilot”が作れる「Copilot Studio」登場 スタンドアロン型にも対応 GPTとも連携：Microsoft Ignite 米Microsoftは、AIプラットフォーム「Microsoft Copilot Studio」を発表した。自身の好みにカスタマイズした生成AIツール「Copilot for Microsoft 365」（Copilot）をローコードで作成できる。 米Microsoftは11月15日（現地時間）、AIプラットフォーム「Microsoft Copilot Studio」を発表した。自身の好みにカスタマイズした生成AIツール「Copilot for Microsoft 365」（Copilot）をローコードで作成できる。同日から利用可能、Copilotとの統合はパブリックプレビューで提供している。
ヘルプデスク業務を楽にするためにSlackとGitHub Projectを同期するヘルプデスクツールを自作した - MNTSQ Techブログ
こんにちは。MNTSQの下村です。 コーポレートエンジニアとして、MNTSQ従業員の生産系向上施策等を実施していたりします。 ( Twitterもやっている のでフォローしてもらえると嬉しいです！ ) 本日は社員からの問い合わせ業務 いわゆる ヘルプデスク業務について効率化するためのツールを自作した 話を書いてみます。 この記事の要約 一人目コーポレートエンジニアとして参画したがヘルプデスク業務が非効率だったので効率化した。 質問に対して特定のemojiを押すとGitHub ProjectsのItemを作成するようにした。 SlackスレッドのコメントとGitHub ProjectsのItemを双方向同期するようにした。 Azure OpenAIも利用して効率化した。 きっかけ 2023年5月からMNTSQの一人目コーポレートエンジニアとして参画しています。 情報システムを色々と整備してい
Amazon CloudWatch のクエリを自然言語で生成できるようになりました (プレビュー) #AWSreInvent | DevelopersIO
どんなクエリを投げれば良いのか分からない こんにちは、のんピ(@non____97)です。 皆さんはCloudWatch Logs InsightsやCloudWatch Metrics Insightsにどんなクエリを投げれば良いのか分からないなと思ったことはありますか? 私はあります。 CloudWatch Metrics Insightsにはビルダー機能は存在しますが、それでも慣れていない方からするとハードルは高いように思えます。 今回、アップデートによりCloudWatch Logs InsightsやCloudWatch Metrics Insightsにて自然言語でクエリ生成ができるようになりました。 (2023/11/26時点ではプレビューです) AWS Blogsも公開されています。 Use natural language to query Amazon CloudWat
ついに最強のCI/CDが完成した 〜巨大リポジトリで各チームが独立して・安全に・高速にリリースする〜 - ZOZO TECH BLOG
こんにちは。SRE部の巣立（@ksudate）です。 我々のチームでは、AWS上で多数のマイクロサービスを構築・運用しています。マイクロサービスが増えるにつれて、CI/CDの長期化やリリース手法の分散など様々な課題に直面しました。 本記事では、それらの課題をどのように解決したのかを紹介します。 目次 目次 はじめに CI/CDのこれまで Release PRによるリリース CI/CD実行時間の長期化 マイクロサービスごとのリリースが難しい リリーサーの制限ができない ドメイン単位の並行リリース リリース手法が分散する ブランチ間の同期が必要 パイプラインの増加 CI/CD実行時間の長期化 リリーサーを制限できない CI/CDの刷新 高速かつシンプルなCIパイプライン 変更差分を利用したCIパイプラインの実行 承認機能付きのCDパイプライン GitHub Environmentsによるリリー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
元OpenAIのサム・アルトマン氏ら、Microsoft入社へ - 日本経済新聞
