テストで誤差を考慮して判断する。

こんにちは、衣袋です。

誤差を考慮するという文脈には賛成ですが、展開する議論の細かい部分に問題があります。文章だけでは説明しにくいのですが、統計用語で言う、「推定」と「検定」をいつの間にかすり替えている部分があります。

絵で書いて頂いたとおり、実際フルに行った場合の最終的な結果の推定値は、テスト結果のクリック率に統計的誤差をプラスマイナス加えた範囲として推定できます。

そしてパターンＡとパターンＢがそれぞれの誤差を持つというのも正しいです。ここからはよくある間違いなのですが、それぞれの推定値の重なりがあるということと、この二つの結果に有意な差があるのかということ（これを検定といいます）は、（もちろん関係性を示す相関は高いですが）、別の議論になり、これを混同されているようにお見受けします。

この検定という作業で、この10％と11％のテストが統計的に意味のある違いがあるかどうか（つまり有意差があると判定される場合は、パターンＢを選ぶべきだと統計的に言える）は別の計算式を用いて、有意確率を求めるという作業が必要になります。これは推定の作業とは別のものですが、兄弟とも言える考え方ではあります。

特にネットの場合では、コンバージョン率が1％とか非常に低いケースが普通ですが、1％と2％のケースで推定を比較すると、誤差が相対的に大きくなるため、当然重複する部分が広くなります。しかし1％と2％のテスト結果になった場合、検定をすれば、推定上では重なっていても、有意な差があると判定されるケースがでてきます。

このように非常に小さいあるいは大きい比率を比較するようなケースを想像することで、推定と検定が違うものであることを理解しやすくなると思います。厳密な議論は「推定と検定」などを検索してみるとよいでしょう。

またサンプル数についてですが、計算式にあるとおりで、分母のルートで効いてきますので、当然数が大きくなれば誤差は減り、精度が高くなります（テスト結果の値に関して誤差範囲が少なくなるという意味で精度が高くなると表現しておきます）が、2倍の精度にする（誤差を半分にするという意味）には4倍のサンプル数が、3倍の精度にするには9倍のサンプル数が必要と言うことで、厳密に言えば「ある程度のサンプル数を超えるとあまり変わらなくなる」ということではありませんが、精度は比例して高くなりませんということだけ覚えておけばよいでしょう。

いや、統計は説明しにくいですし、上記の説明も相当端折っているので、じっくり教科書を紐解くのもよいと思います。でも、分かりやすい教科書がまたなかなかないんですよね。極端に数式ばかりものや、端折りすぎのもの、なかなかよいものがありません。わかるように説明しきれていると思えませんが、ご参考になれば幸いです。。。