「長さの近いデータを同じbatchに入れる」の性能劣化と速度 - u++の備忘録

先のKaggle Tokyo Meetup #6 でのtksさんの発表で触れられた「長さの近いデータを同じbatchに入れる」について、チームで参加した「Jigsaw Unintended Bias in Toxicity Classification | Kaggle」にて同じような取り組みをしていました。 本記事では、Jigsawコンペにおける「長さの近いデータを同じbatchに入れる」処理について、性能劣化と速度の数字を紹介します。なお、あくまで筆者の事例に過ぎない点にはご留意ください。 TL;DR 「長さの近いデータを同じbatchに入れる」とは メリット デメリット 実装・解説など 数値検証 Jigsawコンペの場合 学習時 推論時 Quoraコンペの場合 おわりに TL;DR 「長さの近いデータを同じbatchに入れる」処理で、性能は多少落ちるが、速度が大きく向上する Jigs