ベクトルデータベース（Vector Database）／ベクトルストア（Vector Store）とは？：AI・機械学習の用語辞典 ベクトルデータベースとは、テキストなどのデータを数値ベクトル（埋め込み）として保存するデータベースを指す。「ベクトルストア」とも呼ばれる。ベクトル検索により、意味的に類似する情報を探せるのが特徴で、チャットAIのRAG構築に役立つ。本稿ではベクトル検索の機能を持つ代表的な製品の概要もそれぞれ簡単に紹介する。 連載目次 用語解説 生成系AI／自然言語処理におけるベクトルデータベース（Vector Database、ベクターデータベース、ベクトルDB）とは、主に単語や文章（テキスト）、画像、音声などの複雑なデータを、AI／機械学習／言語モデルが処理しやすい数値ベクトル表現として保存するデータベースのことである。この数値ベクトル表現は「埋め込み表現（Embeddin

Independent analysis of AI models and hosting providersUnderstand the AI landscape and choose the best model and API provider for your use-case

はじめに セキュリティチームのぐっちーです。最近、個人的に Copilot for Microsoft 365 のエンドユーザー向け研修資料を作ったので、Webで公開しました。 Copilot for Microsoft 365 をこれから触る方の参考になれば幸いです。 また、まだ書ききれていない部分も多々あるので、日々メンテはしていきたいと思います。FBやこんな内容を盛り込んで欲しいという意見がありましたらご連絡ください！ 資料

2024/1/31に開催された【StudyCo×KAGコラボ】Azure・AWSでLLMアプリ開発レベルアップ！事例＆ハンズオンで発表した資料です。 AzureでRAGによる社内文章検索をやってみてさまざまな試行錯誤を通して得たナレッジを共有します！

こんにちは。わいけいです。 今回の記事では、生成AI界隈ではかなり浸透している RAG について改めて解説していきます。 「低予算で言語モデルを使ったアプリを開発したい」というときに真っ先に選択肢に上がるRAGですが、私自身もRAGを使ったアプリケーションの実装を業務の中で何度も行ってきました。 今回はその知見をシェア出来れば幸いです。 RAG（Retrieval-Augmented Generation)とは まず、 そもそもRAGとは何ぞや？ というところから見ていきましょう。 RAG（Retrieval-Augmented Generation) は自然言語処理（NLP）と特に言語モデルの開発において使用される技術です。 この技術は、大規模な言語モデルが生成するテキストの品質と関連性を向上させるために、外部の情報源からの情報を取得（retrieval）して利用します。 要は、Chat

Copilot for Microsoft 365とCopilotの違い 昨年Bing Chatから名称が変更されたCopilotと、Copilot for Microsoft 365の違いを詳しく見ていきましょう。 Copilot for Microsoft 365の機能のひとつであるMicrosoft 365 Chatは、Copilotと同様に生成AIとチャットで会話ができる機能です。ユーザーインタフェースなど見た目がほぼ同じで、使い勝手もそれほど違いはありません。Microsoft 365 Chatが大きくCopilotと異なる点は、ユーザーからの指示への回答のために、Microsoft 365内に保存された情報にアクセスできるという点です。 たとえば、「Copilot for Microsoft 365のメリットは何ですか？」とそれぞれに質問してみます。Copilotは、学習済みの

このNOTEの使い方◯ビジネス観点でGenerative AIの考え方を養うため ◯ファクト集・投資動向・インプリケーション ✗生成AIとは・技術解説・技術動向など 注：サマリーはすべて生成AIで要約し翻訳したものです。 とりあえずこれを読め

2023年は「ChatGPT」をはじめとする生成AI（人工知能）がIT業界の話題を総取りしました。2024年も生成AIを巡る動きは、引き続きIT／デジタルの中心を占める存在であり続けそうです。 デジタルトランスフォーメーション（DX）をはじめとするIT活用を率いる立場のCIO（最高情報責任者）やCDO（最高デジタル責任者）は、生成AIの存在を前提に事業の見直しや業務改革、新規事業の創出に取り組まなければなりません。 一方で気になるデータもあります。スイスのビジネススクールであるIMDが発表した2023年版の世界デジタル競争力ランキングによれば、日本の順位は32位。前回調査よりランクを3つ下げ、2017年の調査開始以来過去最低でした。個別の項目では30位だった「技術」と28位だった「将来の準備」が、ともに32位に下落。IMDは「技術的枠組みや科学的集積における優位性を、ビジネスの俊敏性、規制

Simplifying Data Analysis & Visualization with Developer Tools & AI

正月もいよいよ大詰め。 とはいえ、AIは待ってはくれない、ということで昨日から「デイリーAIニュース」を再開しています。今週だけ過去の特番を全て見れるスペシャル仕様になっているのでこの機会にぜひ去年のAIの流れと基礎知識を振り返ってみてください。 さて、昨年末は怒涛のようにいろんな日本語対応のオープンLLMが公開されました。 東工大のSwallow-70Bや、Elyza13B、LightblueのQarasu-14Bなどです。 僕がよく使う「Wikipediaの内容を要約して会話データセットを作る」というタスクをそれぞれのLLMにやってもらいました。その結果を書いておきます。 各テストの動作環境はうちの社長(AI)こと継之助です。現在のスペックは以下 ・GPU NVIDIA A100 80GBx8 ・256GB RAM ・20TB SSD(RAID0) ・20TB HDD(RAID0) ・

Image made by DALL-E / BRIDGE 2023年は生成AIと基盤モデルの話題がすべてだった。しかし企業がワークフローにおいて生成AIを真剣に使おうとすればするほど、データ管理を整えることがいかに重要であるかに気付き出したのだ。 企業は常にビジネスの成功における高品質データの役割を理解していたが、生成AIの台頭によってその価値はさらに高まり、誰もがデータに注目するようになった。2024年はさらに大きな生成AIのストーリーが生まれると予想されている。そこで本稿では業界をリードする専門家やベンダーたちに、データ・エコシステムが今後の数カ月でどのように進化するかについて、それぞれの予測を語ってもらった。 1.リレーショナルはSQLから脱却する 最新のエッジ、IoT、または生成AIアプリケーションを活用してビジネスを成長させるにせよ、2024年の企業の大胆な計画には事欠かない。

- PostgreSQLカンファレンス 2021 - チュートリアル - https://www.postgresql.jp/jpug-pgcon2021 - 詳細はこちら https://github.com/soudai/pgcon21j-tutorial

2023年の1年間、ChatGPTやMidjourneyなどの生成AIを使い続けて、得た知見をブログやYouTubeにて情報発信してきました。 僕は生成AIのユーザーでしかありませんが、音楽も映像も画像編集もコーディングもライティングも、どれもこれも生成AIに助けられてきた人間として、生成AIが今年どう進化していくかを予想してみたいと思います。 paiza転職について詳しくはこちら もうしばらくはChatGPT一強時代が続きそう 2024年も、もうしばらくはChatGPTが飛び抜けて強そうです。GPTがLLMとして優れているだけでなく、ChatGPTのユーザーインターフェースが優秀すぎます。 チャットで喋るだけという手軽さで、様々なプラグインの利用、DALL·E 3による画像生成、画像の解析など、様々なサービスを渡り歩かなくてもChatGPTだけで完結できるのが素晴らしいです。 また、GP

プロンプトの原則26ヶ条をまとめた論文が公開されています。 LLaMA-1/2, GPT-3.5/4を使用してスケール評価をした結果、これらの原則が応答品質を向上させると確認できているとのことです。 本記事では、詳細を見ていきます。 参照論文情報 タイトル：Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4 著者：Sondos Mahmoud Bsharat, Aidar Myrzakhan, Zhiqiang Shen 所属：VILA Lab, Mohamed bin Zayed University of AI URL：https://doi.org/10.48550/arXiv.2312.16171 GitHub：https://github.com/VILA-Lab/ATLAS

LLMのRAG（外部知識検索による強化）についての調査結果が報告されています。 基本フレームワークと各構成要素の詳細、評価、そして今後の発展について言及されており網羅的です。 本記事では、その報告内容を抜粋してお届けします。 参照論文情報 タイトル：Retrieval-Augmented Generation for Large Language Models: A Survey 著者：Yunfan Gao, Yun Xiong, Xinyu Gao, Kangxiang Jia, Jinliu Pan, Yuxi Bi, Yi Dai, Jiawei Sun, Haofen Wang 所属：Tongji University, Fudan University URL：https://doi.org/10.48550/arXiv.2312.10997 本記事の関連研究：LLMにナレッジグ

ABEJAでデータサイエンティストをしている服部です。 「EDAって結局何したらいいの？」っていう声をよく聞く気がするので、無謀にも今回はEDAについて記事を書いてみました。 本記事はABEJAアドベントカレンダー2023 25日目の記事です。 EDAとは EDAは「Exploratory Data Analysis」の略で「探索的データ分析」と日本語では言います。 データの特性だったりデータから何が言えるかを把握するための分析であり、JohnTukey氏により1960~70年頃に統計学の分野で提唱されたようです。 今では機械学習の分野でも、「まずEDAをしてからモデルを作ろう」と言われる場面をよく見かけ、EDAをすることは当たり前になってきています。 en.wikipedia.org 本記事のモチベーション EDAに関する情報もたくさん調べると出てきますが、EDAのためのPythonライ

はじめにこんにちは！つむです🐈 8月より社内で実施するchatGPTをフル活用したUI勉強会を実施しています📚 開催までの背景や内容決定までのプロセス、プログラムをご紹介します🚩 使用するペルソナ・ユーザーストーリー・情報アーキテクチャ図を生成するプロンプトも公開しますのでぜひご覧ください✨ 自己紹介2022年KDDIにUXデザインコースで新卒入社（KDDIアジャイル開発センターに兼務出向中） auショップ向けDX施策やワーケーション施設検索サービス「タビトシゴト」などでUIUXを担当 背景UI業務多いのにUIデザイナーが少ないKAGデザイナーは基本的に上流を主戦場に置くUXデザイナーやサービスデザイナーとして業務をしている方が多いです。 しかし私は学生の頃からUIが得意たっだため最初はUIデザイナーからスタートし、徐々に上流へ足を広げる方針にしていただきました🙌 配属直後はUIデ

こんにちは、AI製品開発グループの太田です。 この記事では巨大言語モデルに基づくマルチエージェント技術についてご紹介します。 近年、人工知能（AI）の進化は目覚ましいものであり、その中でも巨大言語モデル（Large Language Models、LLM）は注目を浴びています。 その中でもChatGPTは、その優れた自然言語処理能力により、様々な応用分野で高い評価を受けています。 本記事では、ChatGPTを基にした新たな応用技術である「LLMマルチエージェント」に焦点を当て、その可能性や機能についてご紹介いたします。 LLMエージェントとは？ まず初めに、「LLMエージェント」について簡単に説明します。 LLMエージェントは、巨大言語モデルをベースに構築されたAIエージェントです。 このエージェントは、自然言語でのコミュニケーションを通じてユーザーと対話し、自ら自身がすべきタスクを考える

Google DeepMindから次世代のマルチモーダル生成AI「Gemini」が発表されました。「GPT-4を圧倒」や「人間の専門家を超えた」などの華々しい評価が発表され、驚くようなデモ動画も公開されました。 断片的な情報が飛び交う中、しっかりと技術レポートを読み解いてみます。 どんな生成AIモデル？ 定量的な評価は？ 具体例は？ Gemini - Technical Report はじめに革新的な技術が登場したとき、技術レポートや論文をしっかりと読むことが、急がば回れの近道です。華々しいデモ動画や断片的な二次情報の記事を読んでも、表層的な情報に踊らされて、技術の真の姿を読み解くことはできません。 Geminiに関しては、オープンソースではなく論文もありませんが、技術レポートが公開されています。しかし、60ページの大作であり、英語で書かれているため、多くの人が読むのをためらうでしょう。

OpenAIのサイトを眺めていたら、Prompt Engineeringのマニュアルが出来ていましたので、自身のメモ用として纏めてみました。 https://platform.openai.com/docs/guides/prompt-engineering プロンプトエンジニアリングのマニュアル構成は6つの戦略からなっております。 明確な指示を書く 参照テキストを提供する 複雑なタスクを簡単なサブタスクに分割する モデルに「考える」時間を与える 外部ツールを使用する システマティックに変更をテストする 言語定義として、戦略と戦術の違いは、戦略は、具体的な目標や計画であり、それらを実現するための具体的アクションが戦術です。 1.明確な指示を書く  戦術としては、以下があります。 質問を詳細にせよ ペルソナを設定せよ デリメーターを使用せよ 複雑なタスクのためにステップを踏め 例を与えよ 回