ベクトルデータベース（Vector Database）／ベクトルストア（Vector Store）とは？：AI・機械学習の用語辞典 ベクトルデータベースとは、テキストなどのデータを数値ベクトル（埋め込み）として保存するデータベースを指す。「ベクトルストア」とも呼ばれる。ベクトル検索により、意味的に類似する情報を探せるのが特徴で、チャットAIのRAG構築に役立つ。本稿ではベクトル検索の機能を持つ代表的な製品の概要もそれぞれ簡単に紹介する。 連載目次 用語解説 生成系AI／自然言語処理におけるベクトルデータベース（Vector Database、ベクターデータベース、ベクトルDB）とは、主に単語や文章（テキスト）、画像、音声などの複雑なデータを、AI／機械学習／言語モデルが処理しやすい数値ベクトル表現として保存するデータベースのことである。この数値ベクトル表現は「埋め込み表現（Embeddin

これはなに ども、レバテック開発部のもりたです。最近めっちゃ元気！！ 今回は『データベースについて勉強したいあなたに送る技術書17冊(+11冊1講義7link)』として、もりたがここ半年くらいでわーっと集めたデータベース周りの書籍（とか）を紹介していきます。アプリケーションって結局はデータベースみたいなところがあると思うんですが、おれは長いことデータベースをどう学んだら良いのか分かりませんでした。同じような気持ちを抱えているITエンジニアの人もいると思うので、学習ロードマップと合わせて紹介していきます。 なお具体的な対象読者は業務でなんとなくSQL書いてるけど、ウィンドウ関数とか言われると分からんな……くらいの人です。 扱う領域と扱わない領域 扱う領域としてはだいたい以下 再入門本 SQL 内部構造 論理設計 周辺知識 データベース理論 その他高度なもの モデリング、NoSQL、分散データ

Independent analysis of AI models and hosting providersUnderstand the AI landscape and choose the best model and API provider for your use-case

はじめに セキュリティチームのぐっちーです。最近、個人的に Copilot for Microsoft 365 のエンドユーザー向け研修資料を作ったので、Webで公開しました。 Copilot for Microsoft 365 をこれから触る方の参考になれば幸いです。 また、まだ書ききれていない部分も多々あるので、日々メンテはしていきたいと思います。FBやこんな内容を盛り込んで欲しいという意見がありましたらご連絡ください！ 資料

2024/1/31に開催された【StudyCo×KAGコラボ】Azure・AWSでLLMアプリ開発レベルアップ！事例＆ハンズオンで発表した資料です。 AzureでRAGによる社内文章検索をやってみてさまざまな試行錯誤を通して得たナレッジを共有します！

こんにちは。わいけいです。 今回の記事では、生成AI界隈ではかなり浸透している RAG について改めて解説していきます。 「低予算で言語モデルを使ったアプリを開発したい」というときに真っ先に選択肢に上がるRAGですが、私自身もRAGを使ったアプリケーションの実装を業務の中で何度も行ってきました。 今回はその知見をシェア出来れば幸いです。 RAG（Retrieval-Augmented Generation)とは まず、 そもそもRAGとは何ぞや？ というところから見ていきましょう。 RAG（Retrieval-Augmented Generation) は自然言語処理（NLP）と特に言語モデルの開発において使用される技術です。 この技術は、大規模な言語モデルが生成するテキストの品質と関連性を向上させるために、外部の情報源からの情報を取得（retrieval）して利用します。 要は、Chat

このNOTEの使い方◯ビジネス観点でGenerative AIの考え方を養うため ◯ファクト集・投資動向・インプリケーション ✗生成AIとは・技術解説・技術動向など 注：サマリーはすべて生成AIで要約し翻訳したものです。 とりあえずこれを読め

2023年は「ChatGPT」をはじめとする生成AI（人工知能）がIT業界の話題を総取りしました。2024年も生成AIを巡る動きは、引き続きIT／デジタルの中心を占める存在であり続けそうです。 デジタルトランスフォーメーション（DX）をはじめとするIT活用を率いる立場のCIO（最高情報責任者）やCDO（最高デジタル責任者）は、生成AIの存在を前提に事業の見直しや業務改革、新規事業の創出に取り組まなければなりません。 一方で気になるデータもあります。スイスのビジネススクールであるIMDが発表した2023年版の世界デジタル競争力ランキングによれば、日本の順位は32位。前回調査よりランクを3つ下げ、2017年の調査開始以来過去最低でした。個別の項目では30位だった「技術」と28位だった「将来の準備」が、ともに32位に下落。IMDは「技術的枠組みや科学的集積における優位性を、ビジネスの俊敏性、規制

DX（デジタルトランスフォーメーション）により、注目が高まる「データドリブン経営」。経営層から現場まで全社員がデータを活用して業務を進めるよう、社内の体制や文化を築く取り組みだ。 多くの企業がデータドリブン経営の推進を経営目標に掲げる一方で、ガートナージャパンの調査によると、全社的なデータ活用について「十分に効果が出ている」と感じる企業は数％しかない。 データドリブン経営に取り組む企業は、どうして効果を十分に感じられない「残念」な状況に陥ってしまうのか。データドリブン経営を支援するコンサルティング会社や、データ基盤・活用のツールベンダー、そしてデータドリブン経営に取り組む企業への取材を基に、その原因と対策を探る。 前回はデータドリブン経営に向けた準備について取り上げたが、今回はデータドリブン経営に着手して数年たった企業が陥りがちな残念ポイントを取り上げる。データドリブン経営を継続し、成果を

Simplifying Data Analysis & Visualization with Developer Tools & AI

正月もいよいよ大詰め。 とはいえ、AIは待ってはくれない、ということで昨日から「デイリーAIニュース」を再開しています。今週だけ過去の特番を全て見れるスペシャル仕様になっているのでこの機会にぜひ去年のAIの流れと基礎知識を振り返ってみてください。 さて、昨年末は怒涛のようにいろんな日本語対応のオープンLLMが公開されました。 東工大のSwallow-70Bや、Elyza13B、LightblueのQarasu-14Bなどです。 僕がよく使う「Wikipediaの内容を要約して会話データセットを作る」というタスクをそれぞれのLLMにやってもらいました。その結果を書いておきます。 各テストの動作環境はうちの社長(AI)こと継之助です。現在のスペックは以下 ・GPU NVIDIA A100 80GBx8 ・256GB RAM ・20TB SSD(RAID0) ・20TB HDD(RAID0) ・

はじめに 最近プロジェクトマネジメント関連の仕事をする機会が増え、(駆け出しですが)要件定義や設計関連の業務もするようになったので、私の経験を基に要件定義の具体的なプロセスや考え方について、まとめていきます。 この記事の対象者 要件定義の基本や思考プロセスを学びたい人 エンジニアからプロジェクトマネジメントをやりたい人 ビジネスサイドとエンジニアサイドのコミニュケーション能力を向上させたい人 具体的な事例を通して要件定義を学びたい人 前提 紹介する内容はあくまで一例であり、プロジェクトやチームの状況に応じて調整が必要 あくまで自分(駆け出しPM)の経験に基づいた内容を言語化しています プロジェクト規模は10名〜20名のWebアプリ開発を想定しています システム開発の全体像 一般的なシステム開発のプロジェクトは下記のフェーズで進んでいきます。 ※ コンサルの領域だと要件定義の前に企画構想とい

Image made by DALL-E / BRIDGE 2023年は生成AIと基盤モデルの話題がすべてだった。しかし企業がワークフローにおいて生成AIを真剣に使おうとすればするほど、データ管理を整えることがいかに重要であるかに気付き出したのだ。 企業は常にビジネスの成功における高品質データの役割を理解していたが、生成AIの台頭によってその価値はさらに高まり、誰もがデータに注目するようになった。2024年はさらに大きな生成AIのストーリーが生まれると予想されている。そこで本稿では業界をリードする専門家やベンダーたちに、データ・エコシステムが今後の数カ月でどのように進化するかについて、それぞれの予測を語ってもらった。 1.リレーショナルはSQLから脱却する 最新のエッジ、IoT、または生成AIアプリケーションを活用してビジネスを成長させるにせよ、2024年の企業の大胆な計画には事欠かない。

- PostgreSQLカンファレンス 2021 - チュートリアル - https://www.postgresql.jp/jpug-pgcon2021 - 詳細はこちら https://github.com/soudai/pgcon21j-tutorial

2023年の1年間、ChatGPTやMidjourneyなどの生成AIを使い続けて、得た知見をブログやYouTubeにて情報発信してきました。 僕は生成AIのユーザーでしかありませんが、音楽も映像も画像編集もコーディングもライティングも、どれもこれも生成AIに助けられてきた人間として、生成AIが今年どう進化していくかを予想してみたいと思います。 paiza転職について詳しくはこちら もうしばらくはChatGPT一強時代が続きそう 2024年も、もうしばらくはChatGPTが飛び抜けて強そうです。GPTがLLMとして優れているだけでなく、ChatGPTのユーザーインターフェースが優秀すぎます。 チャットで喋るだけという手軽さで、様々なプラグインの利用、DALL·E 3による画像生成、画像の解析など、様々なサービスを渡り歩かなくてもChatGPTだけで完結できるのが素晴らしいです。 また、GP

プロンプトの原則26ヶ条をまとめた論文が公開されています。 LLaMA-1/2, GPT-3.5/4を使用してスケール評価をした結果、これらの原則が応答品質を向上させると確認できているとのことです。 本記事では、詳細を見ていきます。 参照論文情報 タイトル：Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4 著者：Sondos Mahmoud Bsharat, Aidar Myrzakhan, Zhiqiang Shen 所属：VILA Lab, Mohamed bin Zayed University of AI URL：https://doi.org/10.48550/arXiv.2312.16171 GitHub：https://github.com/VILA-Lab/ATLAS

LLMのRAG（外部知識検索による強化）についての調査結果が報告されています。 基本フレームワークと各構成要素の詳細、評価、そして今後の発展について言及されており網羅的です。 本記事では、その報告内容を抜粋してお届けします。 参照論文情報 タイトル：Retrieval-Augmented Generation for Large Language Models: A Survey 著者：Yunfan Gao, Yun Xiong, Xinyu Gao, Kangxiang Jia, Jinliu Pan, Yuxi Bi, Yi Dai, Jiawei Sun, Haofen Wang 所属：Tongji University, Fudan University URL：https://doi.org/10.48550/arXiv.2312.10997 本記事の関連研究：LLMにナレッジグ

はじめにこんにちは！つむです🐈 8月より社内で実施するchatGPTをフル活用したUI勉強会を実施しています📚 開催までの背景や内容決定までのプロセス、プログラムをご紹介します🚩 使用するペルソナ・ユーザーストーリー・情報アーキテクチャ図を生成するプロンプトも公開しますのでぜひご覧ください✨ 自己紹介2022年KDDIにUXデザインコースで新卒入社（KDDIアジャイル開発センターに兼務出向中） auショップ向けDX施策やワーケーション施設検索サービス「タビトシゴト」などでUIUXを担当 背景UI業務多いのにUIデザイナーが少ないKAGデザイナーは基本的に上流を主戦場に置くUXデザイナーやサービスデザイナーとして業務をしている方が多いです。 しかし私は学生の頃からUIが得意たっだため最初はUIデザイナーからスタートし、徐々に上流へ足を広げる方針にしていただきました🙌 配属直後はUIデ

こんにちは、AI製品開発グループの太田です。 この記事では巨大言語モデルに基づくマルチエージェント技術についてご紹介します。 近年、人工知能（AI）の進化は目覚ましいものであり、その中でも巨大言語モデル（Large Language Models、LLM）は注目を浴びています。 その中でもChatGPTは、その優れた自然言語処理能力により、様々な応用分野で高い評価を受けています。 本記事では、ChatGPTを基にした新たな応用技術である「LLMマルチエージェント」に焦点を当て、その可能性や機能についてご紹介いたします。 LLMエージェントとは？ まず初めに、「LLMエージェント」について簡単に説明します。 LLMエージェントは、巨大言語モデルをベースに構築されたAIエージェントです。 このエージェントは、自然言語でのコミュニケーションを通じてユーザーと対話し、自ら自身がすべきタスクを考える

Google DeepMindから次世代のマルチモーダル生成AI「Gemini」が発表されました。「GPT-4を圧倒」や「人間の専門家を超えた」などの華々しい評価が発表され、驚くようなデモ動画も公開されました。 断片的な情報が飛び交う中、しっかりと技術レポートを読み解いてみます。 どんな生成AIモデル？ 定量的な評価は？ 具体例は？ Gemini - Technical Report はじめに革新的な技術が登場したとき、技術レポートや論文をしっかりと読むことが、急がば回れの近道です。華々しいデモ動画や断片的な二次情報の記事を読んでも、表層的な情報に踊らされて、技術の真の姿を読み解くことはできません。 Geminiに関しては、オープンソースではなく論文もありませんが、技術レポートが公開されています。しかし、60ページの大作であり、英語で書かれているため、多くの人が読むのをためらうでしょう。