⼤規模⾔語モデルの拡張（RAG）が 終わったかも知れない件について

Zero Waste, Radical Magic, and Italian Graft – Quarkus Efficiency Secrets

[napsucks]

slack会話をもとにしたファインチューニングの失敗例わらっちゃった。サボりを覚えんなよｗ

[T-norf]

複雑なRAG、いろいろバリエーションあるのね。英語だけど複数実例が載ってて、ちゃんと理解してみたいけど、いくつか複雑なのは飛ばしてしまった

[shunkeen]

本筋と全然関係ないんだけど、Text Embeddingをやってくれるモデルの図を台形で描く時、台形の下底側からtextが入ってきて、上底側からvectorが出てきて欲しい気持ちがある。

[ihirokyx]

RAFT/Retrieval Argumented Fine-Tuning 正しく教科書を引くための勉強

[cryptafro]

うわあ！急に全部英語になるな！からの外人4コマからの「何故なのか」の流れがテンポ良くて笑ってしまった

[dltlt]

権限というか、参照先の制御に便利という気はしていた。（P.47）

[KoshianX]

なるほどRAFTねえ。辞書を引いて確認みたいなことができるようになるとだいぶマシになっていくのかなあ。しっかし仔犬のしつけのほうがまだラクそうである。生物の知能ホントすごいな

[fujiko666]

うーん、「でしょうね」という感じ

[otoan52]

だいたいやろうとしてたことは似通ってくるものだな。ファインチューニングは「質問と回答」をRAGで作って覚えさせるのやろうと思ったのだが、あんまり突き詰められてない。

[cloverstudioceo]

そんな巨大なモデル動かせる環境が普通に用意できるようになったら終わったとは思うが。

[rjj]

RAGで検索にVectorDBがよく使われてるのは本質的な理由があるのかまだ理解してない。普通の検索エンジンじゃだめなのか？

[shields-pikes]

RAGは割と普遍的な基礎技術だと思うよ。どんなに頭が良い人間でも、DBや書籍や資料やメモやネットなどの外部情報の参照は必要だよね。それと同じ。まだ仮説検証段階だけど、その先を独自に研究してる。特許も出願中。

[fhvbwx]

現行LLM最適化の銀の弾丸が見つかったころには現行LLM自体が時代遅れの代物になってそう

[quabbin]

RAFTか。詳細を確認してみたい

[gsggyhig]

結論は終わってないなかった、です

[macro1597]

Gemini1.5を使ってみてるけど、まだ他のモデルと同様に長文の中にある同音異義語の誤変換は発見するのが難しい。

[misshiki]

全56ページのスライド資料。結論は銀の弾丸はないと。コンテキストウィンドウが長くなって大量に入力できるようになったとか、いろいろあると。