施策前後のCV率に有意差はあるのか？ - MOL

はい、タイトルのとおりでございます。とある改善を行いまして、その効果というのが誤差の範疇なのか、それとも効果があったのか（プラスマイナス問わず）知りたい状況に陥りましたんで、いろいろ調べてみましたよというお話。 Google Website Optimizer とか使えば、テストを実行してしばらくしたら勝手にこっちの方が何％優れてるよーって教えてくれるんですけど、今回のケースだと GWO の実装が難しかったので Google Analytics で指標を読み取ることにしました。 やりたいことはですね。手元にあるデータは施策前後の１週間毎のコンバージョン率（8週間分）がありますんで前後8週間の平均CV率を出して何％改善したのか確認したいわけです。で、今回の場合1%程度改善されたのですが、これって別になんにもしなくても1%上がっちゃったりするのか、それとも偶然ではない有意の差なのかってことを理