コンペURL どんなコンペ? LLM(ChatGPT)が作った科学・技術・工学・数学分野の問題をKaggle notebookという限られた環境下(主にメモリ13GBと9時間以内に完了)でどのくらいの精度で解けますか?という自然言語処理系のコンペ。 以下に入出力例を示しています。 ・入力 (質問)バタフライエフェクトとは何ですか? (A)バタフライ効果とは、巨大な球体が不安定な平衡点から... (B)バタフライ効果は、古典物理学における必要条件... (C)バタフライ効果は、古典物理学における物理現象の... (D)バタフライ効果とは、巨大な球体が不安定な平衡点から.... (E)バタフライ効果は、物理学における因果関係の概念の適用と.... ・出力 E A B (解答を可能性の高い順番に出力) 評価指標はMAP@3(Mean Average Precision)でした。 ベースライン解法