【Bedrock×Lambda】高精度なハイブリッド検索RAGをサーバレスで実装（Slack連携も可） - Qiita
はじめに 近年、大規模言語モデル（LLM） の発展により、LLMを活用する機会が増加しています。 その中でも、LLMを組み込んだ仕組みの一つとして、RAG（Retrieval-Augmented Generation） が注目を集めています。 本記事では、はじめに、検索精度を向上させたRAGアーキテクチャを紹介します。 次に、それをAWS上で実装する方法について紹介します。 本記事で紹介したアーキテクチャの実装に用いるソースコードはGitHubで公開しています。 検索精度を向上させたRAGアーキテクチャ RAGの概要と検索手法 RAGの用途としては、社内文書など非公開ドキュメントを読み込ませ、そこから回答できる社内専用AIチャットボットなどが考えられます。 そのため、RAGの精度向上のためには、ナレッジベースから検索する際に必要なドキュメントを的確に取得できるかが重要な要素の一つとなります
今のチームに来てから最も生産性が上がった考え方｜牛尾 剛
多分今回のポストは多くの人には参考にならないだろう。相当ニッチなので。でもこれは自分にとってはとても大きなことだったので、忘れないように記録しておきます。 生産性の悩み あまりこの世界では生産性とはあいまいな言葉で、何をもって生産性が高いとは言いにくい。速いのが良いのではない。ただ、自分の実感として自分は生産性が良くないといつも感じていた。だからいろいろ努力したり、考え方をできる人を観察して真似してみたり、直接本人に聞いたりして工夫をしてきた。 実は自分はめっちゃコーディングが早い人になりたいわけではない。そうではなくて、「平均的」になりたいだけだ。それぐらいいければ「Strategy」でカバーできるどころかもっと上に行けると確信があったから。でもそうではなくて明らかに遅いのでそれが自分の足を引っ張っていた 努力の方向性 様々な努力をして、特に有効だったことを自分の本に書いたつもりではある
ビジネスロジックを「型」で表現するOOPのための関数型DDD / Functional And Type-Safe DDD for OOP
Object-Oriented Conference 2024で発表した資料です。 https://fortee.jp/oocon-2024/proposal/b31c9818-3cb8-4350-adfe-cbc839cdf829 ビジネスの専門知識（ドメイン）を中心に据えたドメイン駆動設計に代数的データ型などの関数型のパラダイムを加えたよりタイプセーフな関数型DDDを紹介します。 本セッションではドメインモデリングによって発見したモデルやビジネスロジックをソフトウェアに反映する際により型を重視した設計を加えます。 型で表現する範囲が広がることでビジネスロジックをより明確にコードで表現できるようになります。 さらには型で表現されているためコンパイルフェーズで気付けるミスが増え、ソフトウェアの品質向上にもつながります。 関数型の考えをいれるといってもただ単にHaskellなどに代表される関
速報：話題の 1ビットLLMとは何か？｜寺田英雄（㈱オープンストリームCTO）
2024-02-27にarXiv公開され，昨日（2024-02-28）あたりから日本のAI・LLM界隈でも大きな話題になっている、マイクロソフトの研究チームが発表した 1ビットLLMであるが、これは、かつてB-DCGAN(https://link.springer.com/chapter/10.1007/978-3-030-36708-4_5; arXiv:https://arxiv.org/abs/1803.10930 )という「１ビットGANのFPGA実装」を研究していた私としては非常に興味をそそられる内容なので、論文を読んでみた。今回は速報として、その内容のポイントを概説したい。 論文情報 Ma, S. et al. (2024) ‘The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits’, arXiv [c
既存日本語LLMをBitNetで置き換えて実行してみた｜はち
はじめに昨夜からBitNetという1bit量子化LLMが話題になっていました。 簡単な概要としては、 既存のLLMが１パラメータをFP16やBF16などのfloat型で扱っているものを、１パラメータで{-1, 0, 1}しか扱わない様にした。 計算に使う情報量を削ることで、処理速度の向上、メモリの節約が叶う。 3B params以上ではベンチマークスコアの平均で同サイズのLlamaを上回る結果となった。（量子化手法としては初） ということだと思います。 これは元々、今回の論文と同チームによって提案された"BitNet: Scaling 1-bit Transformers for Large Language Models"という論文を拡張したものです。この時は１パラメータで{-1, 1}として扱ってけれど、{-1, 0, 1}としたらうまくいったというのが今回の"The Era of 1
TypeScriptの代数的部分型模型
本書ではTypeScriptの型と部分型関係がなす代数的構造を解説し、型についての強固かつ柔軟なメンタルモデルを構築します。 順序理論、集合論、束論、環論、そして圏論に至るまで、複数の数学理論を利用して多角的にモデルを構築することで、型の直感的な理解を深め、型の互換性に対する自然な推論を可能となるように解説した新しい試みの本です。
「言葉による解決、あきらめたくない」芥川賞の九段理江さん会見
「東京都同情塔」（新潮１２月号）で芥川賞に決まった九段理江さん（３３）は１７日夜、東京都内で記者会見し、受賞の感慨を語った。主な質疑応答は次の通り。 －－最初に一言 「小説は好きで一人で書き始めましたが、書き続けることは一人では難しいものですから、書き続ける力をくださる出版社や家族、友人、楽しみに読んでくださる方に、本当にありがとうございますとお伝えしたいです。とにかくうれしい、感謝を伝えたいという気持ちでおります」 －－吉田修一選考委員の講評で「完成度が非常に高い」「エンタメ性が高い」と言われたが、どう思うか 「完成度が高いという評価をいただけるとは、謙遜ではなく夢にも思っていませんでした。『東京都同情塔』という作品はアンビルト（未建築）をモチーフにした作品なんですけど、アンビルトにもしかしたらなってしまうのではないかと恐る恐る、不安な思いで書いていました。完成してからは自分なりに納得で
「プロダクトマネージャーがプロダクトマネジメントを失敗させる!?」大企業病の罠を乗り越え若々しいチームを実現する/Traps of Optimization in Product Management 2024
「プロダクトマネージャーがプロダクトマネジメントを失敗させる!?」カオスなプロダクト開発を効率化したら硬くて息苦しい官僚組織になっちゃった! 大企業病の罠を乗り越え若々しいチームを実現するぞ 効率化を進めていったら息苦しい組織になってきたと悩む方に向けたセッションです。 概要 https://confengine.com/conferences/regional-scrum-gathering-tokyo-2024/proposal/19268 発表者 https://twitter.com/_N_A_ https://note.com/mryy 関連スライド 「私考える人、あなた作業する人」を越えて、プロダクトマネジメントがあたりまえになるチームを明日から実現していく方法 https://speakerdeck.com/moriyuya/product-management-rsgt20
品質保証部門の陳腐化。そして陳腐化した品質保証は品質を悪化させる - 千里霧中
※品質保証のエンジニアである筆者が自省・戒めのために書いた記事になります 品質管理（Quality Control）、品質マネジメントは国内では製造業を中心に発展し、プロダクトの競争力向上に貢献してきました。 JTCと呼ばれる旧来からのメーカーでは、その実績・年功の蓄積に応じて、独立性を保った品質管理・品質保証部門が権威を獲得し、今でもソフトウェア開発に強い影響力を保持するようになっています。筆者は複数のメーカーを転職やコンサルで巡って来ましたが、例えば品質保証部門が承認しないとマイルストーンで開発がブロックされる、プロダクトがリリースできないといった権限を持つ体制が、今なお普遍的に見受けられます。 この品質保証部門が権力を持ち、品質ゲートの門番として振る舞う体制は、今であっても、ある面で恩恵を提供しています。例えば次のようなものです： 法規制対応、標準化対応、その他公的なガバナンス要求へ
「避難所をなんだと思ってる」賞味期限切れ食品にシェフ怒り 一方的に置いていかれた支援物資…“民間物資”の受け入れ一時中止に｜FNNプライムオンライン
「避難所をなんだと思ってる」賞味期限切れ食品にシェフ怒り 一方的に置いていかれた支援物資…“民間物資”の受け入れ一時中止に 七尾市の避難所で500食以上を炊き出し 石川・七尾市の避難所にできた段ボールの山。小学校の玄関を埋め尽くしている。 避難所となっている小学校の玄関を埋め尽くす段ボール（石川・七尾市） この記事の画像（30枚） これらはすべて支援物資。中には古着とみられる大量の洋服や、賞味期限が2019年8月で切れたドリンクもあった。 中には古着とみられる大量の洋服も この現状に怒りの声を上げる人物がいる。 石川・金沢市でレストランを経営する川本紀男シェフによるSNS投稿 「この大半が使えないゴミ、避難所なんだと思ってる 昨日の事、長野ナンバーのトラックが来てトラック1杯分 半分以上のゴミを置いて帰った ドリンクは全て賞味期限切れ なんて野郎だ」 こうSNSに投稿したのは、石川・金沢市
新規事業立ち上げのアンチパターン｜福島良典 | LayerX
新規事業立ち上げのアンチパターンについて考えてみる。 このアンチパターンは、完全な飛地の新規事業だけではなく、複数プロダクトを経営する中での隣接領域の新規プロダクトの立ち上げのときや、あるセグメントにPMFした状態から次のPMFを探すときも同様のアンチパターンが適用されうる。 ここでのアンチパターンは、1つ目の事業立ち上げ・プロダクト立ち上げで起こることはない。2つ目の事業や2つ目のプロダクトを立ち上げる際に留意する点であり、コンパウンドスタートアップを正しく経営するには必ず頭に入れておきたい内容である。 規模からの逆算と顧客インサイトの軽視新規事業における市場選択のアンチパターンである。 例えば、売上の30%成長を続けるための、計画と現実のギャップを埋めるために新規事業を規模から探してしまうみたいなケースで見られる。 大前提として、市場規模の推定は重要である。実際に事業をやっていると、い
なぜセキュリティを言い訳にアジリティが犠牲になるのか - 流沙河鎮
ここ数年、アジリティとセキュリティ(あるいはガバナンス)の両立について考える機会が多い。伝統的で規模の大きい企業にありがちな傾向として、セキュリティやガバナンスを確保するためにはシステムの開発/運用が鈍重、高コスト、不自由になったとしても已む無しとする思想がしばしば見受けられる。結果として例えば簡単な仮想サーバ１つを用意するだけでも数ヶ月の納期と膨大な工数を要するとか、世の中で当たり前に活用されている技術やプロセスが許可されない/導入に非現実的な手続きを要求されるといった状況が生まれる。 確かにシステムの安全性を適切にコントロールすることは重要である一方で、論理的に考えれば「セキュリティのためのビジネス」ではなく「ビジネスのためのセキュリティ」なのだから、セキュリティを確保するためにビジネスの成功が妨げられてしまっては本末転倒に思える。しかし実際には「セキュリティのためなので仕方がない」と
OpenAI、開発したオリジナル「GPTs」を公開できる「GPT Store」開店へ
関連記事 オリジナルのChatGPTが作れる「GPTs」、全課金ユーザーに開放 プログラミング不要、対話でOK 米OpenAIは、同社のテックカンファレンス「OpenAI DevDay」で発表した、ノーコードでオリジナルの「ChatGPT」が作成できるカスタムツール「GPTs」を全てのサブスクリプションユーザーに開放した。 ノーコードで「ChatGPT」のカスタム版を作れる「GPTs」、有料会員に提供へ OpenAIは、初の開発者会議DevDayで、ノーコードでChatGPTのカスタム版を作れる「GPTs」を発表した。作ったGPTsは「GPT Store」で販売し、収益を得ることもできるようになる。 ChatGPTユーザーは毎週1億人 著作権侵害防止の「Copyright Shield」追加 OpenAIはサンフランシスコで開催の初の開発者会議「DevDay」で、「ChatoGPT」のユー
ヒトだからこそ価値を出せる余地は、AIやデータサイエンスの「外側」の本質への関わり方にある - 渋谷駅前で働くデータサイエンティストのブログ
恒例の年末振り返り記事ですが、もうタイトルが示す通りです。例年通りであれば淡々と1年間の業界動向や個人的な学び、はたまたちょっとした私事などを綴るのですが、今年はたまたま良いお題がやってきたのでまず最初にその話を書こうと思います。 生成AIの爆発的な普及と、それに伴って生じた課題 AIやデータサイエンスの「外側」の本質にアプローチするのが、ヒトのなすべき仕事 最後に、改めて年末の振り返りを 生成AIの爆発的な普及と、それに伴って生じた課題 今年は多くの生成AIプロダクトが公開され普及し、それに伴い文字通り正真正銘空前の生成AIブームが到来し、個人や企業のみならず霞ヶ関までもが、そしてついには政府与党までもがこぞって「生成AIの活用」を模索して立ち回るという有様になりました。書店に行けば生成AI関連書籍が棚一面を埋め尽くすという大盛況で、毎日のようにどこそこの大企業が生成AIを導入した〇〇サ
「正答率62.5％→94.1%」に改善も...三豊市 “チャットGPT” を使ったゴミ出し案内 実証実験の結果、導入を断念【香川】 | TBS NEWS DIG
香川県三豊市は、今年6月から東京大学大学院と実証実験を進めてきた「チャットGPT」を使ったゴミ出し案内の導入を断念すると発表しました。三豊市では、東京大学大学院工学系研究科の松尾研究室と協力して、今年6…
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OpenAI Japanスタート 3倍速い日本語特化モデルも公開へ
⼤規模⾔語モデルの拡張（RAG）が 終わったかも知れない件について
Azure OpenAI Service を活用した対話型 UI を「じゃらんnet」に試験実装、従来型検索ではわからなかったユーザー ニーズが短期間で把握可能に
東京都独自のデジタル地域通貨、QRコードでポイントを貯めて使える「Tokyo Tokyo Point」
ChatGPTの新機能「GPTs」「Assistants」を試す。特別なツール不要でカスタムChatGPTを開発可能に！【イニシャルB】
