自動微分の基礎

自動微分（Automatic Differentiationあるいは Algorithmic Differentiationともいわれ、ADと略される場合が多い）とは、コンピュータープログラムで表現された関数を効率的かつ正確に計算する技術です。 もともとは流体力学、原子核工学、気象科学などで使用されていた手法ですが、近年機械学習や金融への応用が注目されています。そこでここでは、自動微分の基礎について紹介します。 1. 数値微分 関数の微分係数を求めたい場合、数式がわかっていれば、数学的にはその関数式を微分すれば求まります。しかし、コンピュータープログラムで使用される関数は、何段階にも入れ子になっていたり、ループや条件分岐を含むコードにより表現されているため、数学的に微分することは必ずしも簡単ではありません。 しかし、そもそも微分の定義を考えると、