「人類に壊滅的なリスクをもたらすAI」を安全に提供するためにAnthropicが既存ポリシーの反省点を公開

チャットAI「Claude」などを開発するAI企業「Anthropic」がAIの安全性に関するポリシーの反省点を発表しました。今回発表された反省点をもとに、新たなポリシーが構築される予定です。 Reflections on our Responsible Scaling Policy \ Anthropic https://www.anthropic.com/news/reflections-on-our-responsible-scaling-policy Anthropicは、OpenAIでGPT-2やGPT-3の開発に携わっていたダリオ・アモデイ氏がCEOを務めるAI企業です。AnthropicはAIの性能向上に伴う安全への脅威を「AI安全レベル(ASL)」と呼ばれる指標で分類しており、「重大なリスクをもたらさないAI」をASL-1、「生物兵器の開発などに悪用される兆候を示すAI」を

[ranobe]

会計帳簿を自動チェックするAIが出てきたら、政治家には壊滅的なリスクになりそう　一人の教授の告発で今の状況になっているぐらいなんで　https://bit.ly/44OSZbk

[misshiki]

“「Anthropic」がAIの安全性に関するポリシーの反省点を発表しました。今回発表された反省点をもとに、新たなポリシーが構築される予定です。”