GPTのEmbeddingを利用してブログの投稿に対する近いものを探し出す - きしだのHatena

OpenAIでGPTを使ったAPIにembeddingというのがあって、これを使うと文章同士の距離がとれるので、近いエントリを取得したり文章から検索したりができるということで、試してみました。 思いのほかちゃんと動きました。おそらく、GPTで一番実用的なんじゃないでしょうか。 GPTで実際に一番出番がありそうなEmbeddingを使った、近いブログをとってきたり検索したりするやつ。 pic.twitter.com/Vzgy57a7ju— きしだൠ(K1S) (@kis) 2023年3月9日 embeddingとは なんか、文章の特徴を表す多次元のベクトルに変換してくれるらしい。 ようわからん。 OpenAIでは1500次元くらいのベクトルに変換します。 そして、このベクトルの距離が近ければ文章の内容も近いやろということで、似たエントリの抽出などができます。 しかし、テキストが要素数1500

[stoikheia]

“ ”

[sh19910711]

"Embedding APIの課金ですが2500エントリを処理して$0.5でした / Azure OpenAI APIのほうだと本文用と検索キーワード用にモデルがわかれている / あまりに自然にそれっぽいものが取れてるので「普通の結果やん」って思ってしまう"

[shunkeen]

“GPTで一番実用的”／GPTが足らない情報を嘘（幻覚）で補う問題は、正しかろう十分な情報を与えることで実用的に解決されるんだな。ところで、埋め込みベクトルの比較って距離じゃなくて、類似度使うんじゃないの？

[yuki_2021]

面白そう。