【Bedrock×Lambda】高精度なハイブリッド検索RAGをサーバレスで実装（Slack連携も可） - Qiita
はじめに 近年、大規模言語モデル（LLM） の発展により、LLMを活用する機会が増加しています。 その中でも、LLMを組み込んだ仕組みの一つとして、RAG（Retrieval-Augmented Generation） が注目を集めています。 本記事では、はじめに、検索精度を向上させたRAGアーキテクチャを紹介します。 次に、それをAWS上で実装する方法について紹介します。 本記事で紹介したアーキテクチャの実装に用いるソースコードはGitHubで公開しています。 検索精度を向上させたRAGアーキテクチャ RAGの概要と検索手法 RAGの用途としては、社内文書など非公開ドキュメントを読み込ませ、そこから回答できる社内専用AIチャットボットなどが考えられます。 そのため、RAGの精度向上のためには、ナレッジベースから検索する際に必要なドキュメントを的確に取得できるかが重要な要素の一つとなります
金子勇さんのED法を実装してMNISTを学習させてみた - Qiita
追記：続きを書きました。 はじめに 先日以下の記事が投稿され、その斬新な考え方に個人的ながら衝撃を受けました。 内容をざっくり言うと、ニューラルネットワークの学習を現在の主流であるBP法（誤差逆伝播法）ではなく、ED法（誤差拡散法）という新しい学習手法を提案しているものです。 もし記事の内容が本当ならニューラルネットワークの学習がO(1)でできてしまう事になり、まさしく革命が起きてしまいます。 （結論からいうと速度面はそこまででもなかったです（それでも早くなる可能性あり）） （ただこの新手法のポテンシャルは革命を起こす可能性は秘めているといっても過言ではありません） ED法に関してネットを探すとインターネットアーカイブに情報が少し残っていました。 このページですがED法のサンプルプログラム（C言語）が残っており、このサンプルプログラムをベースにpythonで書き起こしたものが本記事となりま
『Winny』の金子勇さんの失われたED法を求めて - Qiita
普段は「通知が迷惑かなー」と思ってブックマークしていただいている方に通知せず記事を編集しているのですが、この記事をブクマしていただいている方は続きが気になっている方だと思いますので通知させていただきます。 結論から言うと、この記事を読んだ @pocokhc (ちぃがぅ)さんという方が金子勇さんが書いたED法のサンプルプログラムを見つけてくださいました。 ちぃがぅさんの記事はこちら 自分で解明したかったという気持ちも無いことは無いですが、バズった時点で誰かが実装してくれそうな気はしていました。新卒からIT業界に入って4年目が始まったところですが、業務以外で初めて業界にコントリビュートできた気がして嬉しいです！ 追記ついでに、謝罪します。初回公開時に記事タイトル含め本文中で何か所か「Winney」と書いてしまっていた箇所がありました。失礼いたしました。誤字修正してあります。指摘してくださった何
1行もコードを書かずに画像生成AIツール作ってみた - Qiita
以下のXを見て、早速「Create」を試してみたので、実際に使った所感をまとめます AIがリアルタイムでWebページを作ってくれる神サイト ㅤ 会話だけで、理想のUIを実現することが可能 ㅤ 使い方・活用法をツリーにまとめます！ ㅤ ブックマーク保存をおすすめします↓ pic.twitter.com/J1cJkUkyO8 — すぐる | ChatGPTガチ勢 𝕏 (@SuguruKun_ai) March 25, 2024 一言で言うとヤバいです... 詳細は以下のサイトでも解説しています Createとは Create 公式サイト Createは、1行のコードを書かなくても自然言語を使って、高度なAIを搭載したアプリやツールが作成できる生成AI搭載のノーコードツールです。 エンジニアでなくともChatGPT APIやStable Diffusion APIを組み込んだアプリが簡単に作れ
【ChatGPT】とベクトルデータベースによる企業内データの活用(いわゆるRAG構成) - Qiita
本記事は日本オラクルが運営する下記Meetupで発表予定の内容になります。発表までに今後、内容は予告なく変更される可能性があることをあらかじめご了承ください。下記セッションでは、本記事の内容以外にデモンストレーションも実施する予定です。 ※セミナー実施済の動画に関しては以下をご参照ください。 はじめに 2022年暮れ、ChatGPTの登場以降、あらゆる企業がDXの在り方を問われはじめ、大規模言語モデルの仕組みをどのように業務に取り入れるかを検討されていると思います。 その検討の一つとして、「GPT(LLM)が学習していない企業内のデータや最新のデータも有効活用すべき」 という点は非常に大きな論点なのではないでしょうか。 ご存じの通り、LLMとはインターネット上に存在するドキュメントデータをクローリングにより大量に収集し、それを学習データとして機械学習にかけたモデルです。 従って、至極当たり
RAGの実装戦略まとめ - Qiita
それでは以下、簡単なデモを含めながら個別に説明していきます。 1. ハイブリッドサーチ こちらは、性質の異なる複数の検索方式（例えばベクトル検索とキーワード検索）を組み合わせて検索精度を向上させる手法になります。 各検索方式単体の場合に比べ、性質の異なる検索方式を組み合わせ、ある種いいとこ取りをする事で、検索性能の向上が期待できます。 今回はBM25でのキーワードベースの類似度検索と通常のベクトル検索を組み合わせていきます。 BM25について簡単に説明しておくと、文脈や文章構造は完全に無視した上で、文書内の単語を全てバラバラに分割し、文書内の各単語の出現頻度と文書間におけるレア度を加味した特徴量を算出します。 つまり、特定の文書内の各単語の数をカウントしてヒストグラムを作れば、似たような文書には同じような単語がよく出るはずなので(同じようなヒストグラムの形になるので)、類似度が高くなる性質
htmxとは何なのか？ その背景にある思想について - Qiita
先日、Qiitaに投稿された一つの記事が注目を集めました。 元記事では、htmxというJavaScriptライブラリが英語圏で認知を獲得しているとして、インストールの仕方から使い方について公式のドキュメントの全体にわたって簡単に説明が行われています。 さまざまなプラットフォームでこの記事に対する反応を観察してみると、どちらかというと懐疑的な見方のほうが優勢のように見受けられます。ただ、多くのコメントは誤解に基づいているように見受けられました。「JSが要らない」といった元記事のミスリードによるところも大きそうですが1、なぜhtmxが大きく支持を得つつあるのかを理解するには、背景情報を含めて理解することが必要です。 htmxは、最近の複雑化するフロントエンド技術に対する単なる逆張りではありません。これまで30年ほどのあいだウェブ上のシステムを支え続けた「ハイパーメディア」の持つ強力さに今一度目
【個人開発】最新のNext.js+NextAuth.js+prisma+microCMSでECサイト作ってみた【フルスタックアプリケーション】 - Qiita
【個人開発】最新のNext.js+NextAuth.js+prisma+microCMSでECサイト作ってみた【フルスタックアプリケーション】TypeScriptフロントエンド個人開発Next.jsprisma はじめに 皆さんこんにちは、mamiなのだ！ 今回はバックエンドは作らずにNextAuth.jsやprisma、microCMSなどを利用してNext.jsでECサイトを作成してみたので、その方法や手順などを公開しつつ、認証周りや大型開発案件でも採用されるstorybookなどについても解説していこうと思うのだ！ フロントを勉強し始めた初学者さんや、フロントがメインではないバックエンドエンジニアの方に向けて、丁寧に解説を挟みながら書いていくので「へ〜フロントってこんな感じのことやってるんだ〜」と思ってくれたら嬉しいのだ！ ちなみにこの記事は丁寧に解説しすぎて死ぬほど長くなってしまっ
最良の学習方法「人に教える」にChatGPTを活用する - Qiita
はじめに 学習におけるChatGPTの活用方法といえば、「ChatGPTから教えてもらう」ということが多いと思います。 実際、私もそうです。 本記事は逆に 「ChatGPTに教える」 という使い方もありではないかという内容になります。 目次 何でChatGPTに教えるの？ 「人に教える」ことで記憶への定着率が高くなると感じた経験 実際にChatGPTに教えてみる さいごに 何でChatGPTに教えるの？ 「学習にはアウトプットが重要」 ということを耳にしたことがある人は多いかと思います。 主なアウトプットには、次のような手法があります。 Qiitaなどに技術記事を書く 勉強会で発表する 人に教える 自分のこれまでの経験を振り返ってみてもアウトプットをしていると記憶への定着率が高いです。 特に「人に教える」という行為は、記憶への定着率が高まると感じています。 ただ、双方向のやりとりが必要とな
文化祭で某チェーン店を再現して失敗した話 - Qiita
要約 Wifiは無いに等しいと考えること。 (来場者1万強/日 なんていう状況下でWifiが動くと想定するのが駄目でした) 進捗管理する第三者を設けること。 ソースコード https://github.com/Na4Yu/EasyEats (RTDBのURLやSquareの個別キーは抜いているのでそのままは使えないです) はじめまして はじめまして、高校2年のNaYuです。 今回は文化祭で派手に失敗した話をさせて頂きます。 血反吐を垂れ流しながら書いていましたが、もし皆さんが文化祭を経て「この人のしたことをしなくて良かった~」なんて言っていただければ幸いです。(人の不幸は蜜の味) お願い 本記事は知見の共有を目的として個人が執筆したものであり、本記事の内容について学校、学校関係者への問い合わせはご遠慮頂けるようお願い申し上げます。 これを読んでいる後輩の方々へ この記事が私からの引き継ぎに
技術に興味がなくて何が悪い？ - Qiita
TL;DR 技術に興味がなくても、エンジニアとして生きていくことはできる。 対象読者 自分を技術に興味がない側の人間だと思う方 筆者について Webアプリケーションの開発エンジニア。主な仕事はプログラム詳細設計、画面設計、コーディング。 技術にあまり興味がない。 初めに エンジニア界隈では、以下のような主張がしばしば見られる。 休日に勉強するべきである。 最新の技術動向は常にチェックするべきである。 技術イベントには参加するべきである。 毎日コードを書くべきである。 レガシーな技術ではなく、モダンな技術を習得するべきである。 etc... そしてこれらの"べき論"がさらに加速すると、 「技術に興味がない人はエンジニアに向いていない」 という主張すら出現し、それに同調する声も少なくない。 最近、とあるSNSで以下のようなやり取りを見かけた。 駆け出しエンジニアの質問 休日に勉強するべきですか
Slack 次世代プラットフォーム機能を少しずつ試す - app_mentioned イベントトリガー編 - Qiita
こんにちは、Slack の公式 SDK 開発と日本の Developer Relations を担当している瀬良 (@seratch) と申します この記事は Slack の次世代プラットフォーム機能を少しずつ試しながら、ゆっくりと理解していくシリーズの記事です。 「次世代プラットフォーム機能って何？」という方は、以下の記事で詳しく解説しましたので、まずはそちらをお読みください。 この記事では、イベントトリガー（Event Trigger）のうち、アプリのボットユーザーがメンションされたときに発生する "app_mentioned" イベントを使ったワークフロー実行の方法をご紹介します。 ブランクプロジェクトを作成 いつものようにブランクプロジェクトを作成してゼロからコードを足していきましょう。slack create コマンドを実行して、選択肢から「Blank Project」を選択して
Slack 次世代プラットフォーム機能を少しずつ試す - トリガー設定ワークフロー編 - Qiita
こんにちは、Slack の公式 SDK 開発と日本の Developer Relations を担当している瀬良 (@seratch) と申します この記事は Slack の次世代プラットフォーム機能を少しずつ試しながら、ゆっくりと理解していくシリーズの記事です。 「次世代プラットフォーム機能って何？」という方は、以下の記事で詳しく解説しましたので、まずはそちらをお読みください。 今回の記事では、トリガーをファンクションの中の API コールによって管理する方法をご紹介します。 ソースコードを用意して slack triggers create --trigger-def ./triggers/some_trigger.ts のようにコマンドでトリガーを生成する方法は、こちらの記事で解説しました。 このやり方は多くの場合でうまく機能しますが、要件によっては以下のような課題が顕在化することが
エンジニアのための刑事事件対策まとめ - Qiita
こんにちは。モロと申します。 実は数年前警察のお世話になり、数年裁判等をやって、昨年晴れて無罪放免となったのですが、そういえばその後どこにも情報をまとめていなかったことに気が付きました。 正直にいうとまったく気の進まない作業ですし、数年間これにかかりきりだったこともあり「わざわざまとめなくても誰でも知ってることでは……？」みたいな気持ちもあります。 とはいえ冷静に考えると大抵の人は一生関わり合いになることのない知識で、お世話になった界隈に対して何も残さないのも不義理という感じがしたため遅ればせながら筆を執らせていただきます。 はじめに 当記事は、実際に警察のお世話になり、数年間弁護士の方にご指導いただきはしたものの、あくまで法律の専門家でも何でもない一エンジニア（というか多少エンジニアリングをかじったデザイナー）によるもので、第三者による監修等もなされていません。 実体験に基づいて少しでも
画像生成AIで動作含めアニメの中割り画像を作る方法を発見したので、その方法を実行するWebサービスを作りましたわ(ゆいもっぷ動画付き)（皆様にもお使い頂けますわ） - Qiita
画像生成AIで動作含めアニメの中割り画像を作る方法を発見したので、その方法を実行するWebサービスを作りましたわ(ゆいもっぷ動画付き)（皆様にもお使い頂けますわ） （2023/01/01 01:17：NovelAIの使用モデルについて追記しました） （2023/02/10 09:59: 次回作ができました！(9fps化) https://ao-love-yuimop.hatenablog.com/entry/2023/02/10/094800 ） (2023/04/09: さらに次回作ができました。(ゆいもっぷ/ユメヲカケル アニメPV)) 画像生成AIのNovelAIやSmoothGraphic等を使って ゆいもっぷ ちゃん(20)の激カワな歌にアニメPVをつけました(ファンアニメ)🏖 SmoothGraphic Copyright(C)2013-2017 チラ裏エリア Full: h
史上最強のデータベース、SurrealDB - Qiita
SurrealDBというRust製データベースを知ったので紹介します。このデータベースはすごいです。リレーショナル、ドキュメント、グラフ、あらゆる種類のデータ構造を扱うことができ、かつインメモリ、単一ノード、分散環境、全てで動かすことができます。さらにHTTPやWebSocketによるアクセスと柔軟なユーザ認証、認可機能とがDB本体に内包されており、ブラウザから直に接続するWebDBとしても使えます。とにかくなんでもできる夢のデータベースといった感じです。 特徴 機能を挙げていたら多くなりすぎたので、特に面白い部分を挙げます。 配列やオブジェクトをネストした複雑なデータ構造を持てるのに、レコードリンクという機能によりリレーションに対応していてしかもSQLやMongoDBより簡潔にクエリが書ける。 スキーマレスで各レコードには任意のフィールドを持てるが、必要ならスキーマを定義することもできる
機械学習初心者の、TensorFlowを用いたパンの種類識別モデルと、Herokuのアプリ制作 - Qiita
自己紹介 30代後半のエンジニア(?)で、妻と子供３人に囲まれ、ドタバタな毎日を送っています。 仕事は、某製造業に勤めていて、いままでルールベースの画像処理を使ってソフトを作ることはあっても、機械学習は全く扱ったことがありませんでした。この度、機械学習（特に画像認識）を扱う部署に異動し、右も左も分からない状態だったため、自己啓発としてAidemyのAIアプリ開発コース（６ヶ月コース）を受講し、その成果物としてパンの種類識別器を制作したので、実施した内容を以下に示します。 ちなみに、7/11から受講を開始して、現在8/16です。１ヶ月ちょっとでここまで来ました。 多少のプログラミングのスキルはあったものの、ちょっと飛ばし過ぎましたかね？復習が足りないのかな？ このコースが終わっても、別のコースを受け放題とのことなので、学習は引き続きやっていこうと思っています。 仕事でも徐々に機械学習コードを
Node.jsを過去の物にする最速の肉まん - Qiita
その名はBun ﾃﾞﾃﾞﾝ BunはNode.jsやDenoのようなJavascriptランタイムです。(2022/7/8現在ベータ版) ちなみにロゴが本当に肉まんなのかはわかりません。（赤ちゃんの頭にも見えるけど名前がBun/パンだしなぁ...) この記事ではNode.jsやDenoと比較をしつつ、bunの解説させていただきます。 割となんでもできる Bunはただのランタイムではありません。下のように、開発に必須の多くな機能を最初から有しています。 TypescriptからJavascriptへのトランスパイル jsxからJavascriptへのトランスパイル npmのようなパッケージのインストール&管理 webpackのようなプロジェクトのバンドル化 もちろんランタイムなのでNode.jsのようにサーバーでJavascriptを実行することも可能です。 これらに加えてBunには様々な機
Software Design (ソフトウェアデザイン) 2022年06月号の「後悔しないAWSデータベースの選び方 RDSとDynamoDB，使い分けのポイントを徹底解説」について - Qiita
Software Design (ソフトウェアデザイン) 2022年06月号の「後悔しないAWSデータベースの選び方 RDSとDynamoDB，使い分けのポイントを徹底解説」について AWSRDSnosqlDynamoDBAurora 初めに TwitterのDB界隈で少し話題になっていた特集の記事について、個人的に気になった指摘事項の一覧です。 記事自体は限られた紙面数で簡潔に読みやすくまとまっており、特にAurora/RDSについては要注意なポイントについてもまとめられていてわかりやすいものでした。 しかしながら、私知識と経験の範囲内での判断で、説明不足や技術的に誤解を招く表現等が見られたのでまとめてみます。 ※執筆者は普段の業務も忙しい中で限られた時間、紙面数で対象読者に向けて記事をまとめるので必死でしたでしょうし、どんな人でもどうしても経験や知識の範囲は限られてしまうことから、誰も
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Aidemyのカレンダー | Advent Calendar 2022 - Qiita
