未ログインでも叩けるAPIエンドポイントにレートリミットを導入する

先日だれでもAIメーカーというWebサービスをリリースしました。このサービスは例によってOpenAI APIを使っており、トークンの使用量がランニングコストに大きく影響します。 また、気軽に使ってもらえるよう未ログインでも使用できる仕様にしているため、気をつけないと悪意のある人に大量にトークンを使用されてしまう可能性があります。 ノーガードだとどうなるか 例えば、POST /api/askという「リクエストbodyのpromptの値を取り出し、OpenAI APIのChat Completionsに投げる」という単純なエンドポイントを作ったとします。 「未ログインでも使ってもらいたいから」と認証を一切しなかった場合どうなるでしょうか？ 悪意のある攻撃者に見つかれば、promptを上限ギリギリの長さの文章に設定したうえで、/api/askに対してDoS攻撃するかもしれません。 トークンを大量

[NOV1975]

基本的にこの手の話は「悪意に弱すぎ問題」に帰結するんだよな。で、エンタープライズなサービスにおいては利用料高すぎ問題になる

[mochinaga]

Cookieやローカルストレージはユーザーが削除できちゃうので悪意あるユーザーにトークンを消費されちゃう問題は解決しないかと

[syque]

“リクエストの度にreCAPTCHAを使うのを避けたければ、自前で匿名認証のような機能を用意しても良い”

[shingo-sasaki-0529]

匿名認証って概念初めて知った。そこも reCAPTCHA v3 使うことでユーザーは認証作業を行ってることさえ気づかずすんなり使えるのがイケてる。 IPアドレス制限のデメリットはフィンガープリントだったらどうなんだろ。

[Falky]

「悪意ある」のケースを考えるとむずいよね。カジュアルな悪意だけを想定するならこの程度でいいんじゃないか？そういうリスク込みで「気軽に使ってもらえる」を優先してるんだろうし。

[hagane]

Kongあたりの、API Gatewayでなんとかならんかな？って思っちゃう

[Andrion]

upstash

[quality1]

reCAPTCHAは回数超えそうなら毎回にしないでも良いんじゃないか

[razokulover]

レートリミット大変問題だ

[a-know]

レートリミットというよりは匿名認証どうするかというところにフォーカスされてる感じかな。レートリミット、それ自体は価値を提供しない一方で難しいんだよなぁ。。