LSTMネットワークが過学習を起こしているときの対応

LSTMネットワークを用いて為替市場の時系列データを学習させ予測させているのですが、予測時に予測値が一方方向に飛んで行ってしまい学習時に学習を初めてすぐに損失値が0.2あたりまで下がりその後ずっと横ばいだったことから過学習を起こしているのではないかと推測しました。そこでどのようにすれば過学習の対策が出来るのかご教授いただきたいです。学習データの個数は5000なのでデータ不足による過学習の可能性は少ないかなと思っています。