審査のゆがみ：全日本吹奏楽コンクールを例に

芸術競技において審査過程の公平性を確保することは重要な課題である．本論文では，審査結果に意図せざる形で偏りが存在しているか否か，存在するとしたらどの程度影響を与えているのか，という問いに対して全日本吹奏楽コンクールを事例として分析を行った．分析の結果，演奏順が後ろであればあるほど有利であるという “overall order bias” と，一つ前の演奏団体のパフォーマンスから影響を受ける “sequential order bias” が存在することが示された．

[KKElichika]

そりゃそうだろうなと言う話ではあるのだけれど、そういう話をきちんと分析して実証するというのは案外大事なことではあるよね。分析してみたらただの都市伝説だったとわかることもあるんだし。

[tpircs]

吹奏楽コンクール「も」他の審査同様にバイアスが発生していることが分かったという論文で、吹奏楽コンクールの闇と言った話ではない。

[kaos2009]

M1審査でもよく言われること「分析の結果，演奏順が後ろであればあるほど有利であるという “overall order bias” と，一つ前の演奏団体のパフォーマンスから影響を受ける “sequential order bias” が存在することが示された．

[korekurainoonigiri]

ミスター味っ子で必ず順番があとのやつが勝つやつ！

[Iridium]

これを回避するにはランダムな順番で何度か演奏しなおすしかないのかな。メチャクチャ時間かかって面倒くさいな。まあ、演奏する方は一回でよく、審査する側が録音をランダム順で聞き直せばいいのか

[tokitori]

審査は歪んでも時空は歪まないから解決が難しいんだよなあ。吹奏楽に限らずコンクール類で昔から言われ尽くしてきたネタで、録音してもホールの音と違うし、演者もホールに適した音出しするし

[uunfo]

フィギュアスケートでもよく言われるやつ。採点競技には付き物か／「演奏順が後ろであればあるほど有利であるという “overall order bias” と一つ前の演奏団体のパフォーマンスから影響を受ける “sequential order bias” 」

[kagerouttepaso]

まぁ、これはそうだよね。評価の公平性ではなく、だから演奏順を抽選するところで公平性を担保する運用なのだと思ってた。

[Dolpen]

料理勝負漫画みたいだ。大抵は後攻側（審査員が後から食べた方）が勝つけど、中華一番のカニ料理対決で先攻側が濃いスープで味覚を麻痺させて後攻不利を作り出す回があったりするような

[blueboy]

　全部に点数を付けてから、是正ポイントを少し追加して、演奏順が前であればあるほどポイントが増えるようにすればいい。これでバイアスを補正できる。

[quick_past]

そもそもが2,3年の倶楽部活動で管楽器習得なんて無理なのに、その文化活動に上下付けるためのルール持ち込むから、わけわからんことに。入場時間の計測だとか必要なのか？

[goadbin]

初期のM-1でもトップバッターなので甘めにつけたとコメントした審査員がいた

[anmin7]

その前にこういう審査系のってどうあれ人間関係で決まるやんけ

[GiveMeChocolate]

絶対的な答えがない分、順番も公平にくじ引きして決めるだけ、それ以上の対処はないと思う。そもそもこういう芸術分野の点数は曖昧なもんだよな

[tick2tack]

“演奏順が後ろであればあるほど有利であるという “overall order bias” と，一つ前の演奏団体のパフォーマンスから影響を受ける “sequential order bias” が存在” 順番ってくじ引き？録音して各人違う順で聞かせるしか

[hiroomi]

”演奏順が後ろであればあるほど有利であるという “overall order bias” と，一つ前の演奏団体のパフォーマンスから影響を受ける ”審査隔離して、最初の数団体を収録審査でもするか。

[usutaru]

中川家の例もある。初回大会についてはバイアスが小さいということか。

[Yuny]

朝イチだともうひとつ身体が起きてなくて楽器が鳴らない問題もあるかも。中学の時の都大会予選でかなり早い出演順が当たり、朝5時に学校集合だったもんなあ…。本番が9時と14時とじゃ身体のリズムも雲泥の差かと。

[t-murachi]

フィギュアスケートみたいに、課題曲をやる日と自由曲をやる日とで日程と採点を分けるべきなのかもね。課題曲時点で得点の高いチームほど、自由曲日程では演奏順が後ろになっていく、みたいな。

[hate_flag]

録音してランダム順に採点させるしかないんじゃない？そして「的確に審査できてるか」の審査員の公正評価ポイントで審査員も審査しよう

[cartman0]

最初は不利ってやつ

[a446]

48時間耐久で巨大粘土像をつくる大会に国立G大チームが出てきた時に大会として評価するべき軸とは違うが出来上がったものが高く評価せざるを得ないって講評があった。並行して見比べられないものの評価は難しそう

[Cru]

応用経済学分野なのか?

[kukky]

朝一と金賞常連団体の後ろは嫌がるよね。採点競技の一番手は点数抑え気味&朝一だと音が飛ばないからホールが満員になる後ろ有利だと思う。そして朝一は早起き含めた調整がくそ面倒…。

[by-king]

将棋は先手の勝率が6%高く、チェスは先手の勝率が10%ほど高い。野球も後攻の方が8%ほど有利だ（ホームアドバンテージのない高校野球の統計）。だからといって競技性は否定されていないという事は念頭に置いてほしい

[neco22b]

ちょっと違うけど、中華一番だったか、料理漫画で蟹を一杯つかって、次の調理者のときの審査を麻痺させるみたいな奴あったな。

[strawberryhunter]

当日の結果発表はあきらめて、録音して最低3回ずつランダムな順番で聴いて時間をかけて評価するしかないのではないか。また、テンポが一定であるとか機械的に判断できる項目は自動採点してはどうか。

[domimimisoso]

経済学部の卒論って、こういうテーマもありなんだ。同じく経済学部だったウチの娘の卒論はOECD諸国がウンタラカンタラで、部外者には丸っきり面白くなかったけれども(苦笑)

[Caerleon0327]

ブコメは野球のストライクゾーンには、さっさと機械化しろ、っていうのに吹奏楽には言わないの？

[rlight]

引用：演奏順が後ろであればあるほど有利であるという “overall order bias” と，一つ前の演奏団体のパフォーマンスから影響を受ける “sequential order bias” が存在することが示された

[fuji_haruka]

吹奏楽コンクールで昔から言われてたやつだ。

[mac_wac]

overall order biasがあるんだったとしても、囲碁のコミみたいなの導入したら「公平」な勝負になるのにと素人としては思うだけだけど。

[tohokuaiki]

じゃあ、予選通過時の点数逆順でやればいいのかな?

[Cichla]

演者の演奏能力と審査員の審査能力を高精度で模倣するAIを人数分用意し，仮想空間内でランダムな演奏順で1000回の審査を実施するブートストラップ式コンクールで審査のゆがみを限りなくゼロに近づける

[i_ko10mi]

きちんと分析していること自体が素晴らしい。

[T_Tachibana]

まあショパンコンクールでもチャイコフスキーコンクールでもそうだろうな、とは。なので予選結果で優勝候補を最終グループに集めて出来るだけ公平に近づけるのでは？

[gmi]

主観性が強い審査方法である時点で気持ちに作用してしまう要素が影響するのはある意味自然だと思う。要素は順番だけではないだろう。出身とか美醜とかアンチとか、数え切れないほどの要素がぐつぐつ煮込まれてる。

[Wafer]

中華一番だったっけか、審査員の味覚を破壊する料理で先制攻撃して勝利をかっさらうのあったな（そういうことじゃない）

[sushisashimisushisashimi]

そうな、確かにM1とかもそうよな。トップ引いた時点で残念な感じか…