ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks

Many NLP applications require manual data annotations for a variety of tasks, notably to train classifiers or evaluate the performance of unsupervised models. Depending on the size and degree of complexity, the tasks may be conducted by crowd-workers on platforms such as MTurk as well as trained annotators, such as research assistants. Using a sample of 2,382 tweets, we demonstrate that ChatGPT ou

[paradoxparanoic]

え。AIの学習データにアノテーションする仕事を人間でやるよりChatGPTでやったほうが優れてるんですか？もはや意味わかりませんね

[yoshihiroueda]

"さらに、ChatGPTの注釈ごとのコストは0.003ドル以下で、メカニカルタークの約20倍も安い。"

[shunkeen]

新時代の蒸留にも見える。大規模モデルをファインチューニングするのも大変だから、小規模特化型のAIを効率よく量産できたら強そう。ChatGPTの子供達がそこかしこで活躍する未来は楽しそうだな〜。