鈴鹿医療科学大学の豊田長康学長は、国立大学法人化や新医師臨床研修制度などの科学技術政策による研究力低下を可視化した。経済学などで使われる自然実験という観察研究手法を用いて、政策の対象群と非対象群の大学を比較した。すると国立大学法人化による負の影響が最大となった。研究力を引き下げている可能性がある。 ２００４年の国家公務員総定員法と大学院重点化に加え、国立大法人化、新医師臨床研修制度の導入、０６年の薬学部６年制の導入の４政策の影響を検証した。この前提に０４年ごろから日本の研究論文の質と量を掛け合わせた研究力指標が低下しており、その背景には研究者の正味の研究時間と研究者数が減少していることがある。 ４政策の対象となっていない早稲田大学などの私立で医学部や薬学部のない総合大学１５校と、政策対象となった国立大学を比較した。すると００年から２１年で非対象群の私大は１・３倍ほど研究力が伸びているのに対
LLMによるLLMの評価とその評価の評価について
LLMをプロダクトに活用していく上でプロンプトの出力結果を評価していかなければいけない訳ですが、可能な限り自動で定量評価できると改善もしていきやすくなり大変助かります。 そこで所謂LLM-as-a-Judgeと呼ばれるLLMに評価してもらう手法を取るわけですが、やはり「このスコアはどれくらい信じられるのか...?」という疑問が湧いてきて"評価の評価"がしたくなってきます。 というところで、本記事では使いそうなLLM-as-a-Judgeの手法について調べた後、"評価の評価"の仕方を調べてみた結果をまとめていきます。 LLM-as-a-Judgeの手法 まず初めに、LLM-as-a-Judgeにも様々な手法が存在するので、それらを確認していきます。 スコアベース 一番ベーシックなものはスコアをつけてもらうやり方です。 次のように実際のインプット、それに対するLLMの回答をプロンプトに加えて、
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
国立大法人化による負の影響最大…鈴鹿医療科学大が可視化した「研究力低下」 ニュースイッチ by 日刊工業新聞社