生成AIの幻覚で指定される「架空のパッケージ」に悪用の危険性があるとセキュリティ研究者が警告

GPT-4やClaude 3のような大規模言語モデルは人間が書いたように自然な文章を生成できますが、時として事実に基づかない情報を生成する「ハルシネーション(幻覚)」という現象を起こします。セキュリティ企業・Lasso Securityの研究者であるバー・ラニャド氏が、ハルシネーションによって存在しないパッケージを組み込んだソースコードが生成され、実際に使われていると指摘しています。 Diving Deeper into AI Package Hallucinations https://lasso-security.webflow.io/blog/ai-package-hallucinations AI bots hallucinate software packages and devs download them • The Register https://www.theregis

[koyhoge]

生成AIが出力するプログラムコードに、実際には存在しないパッケージ名が使われる例。そのパッケージを実際に置いたところ大量にダウンロードされたそう。確かにいちいち確認しなさそう。