t検定

統計学の検定手法の1つです。
デザインごとのサンプリングしたCVRの母数を比較した際に、平均値に有意な差があるかを検定しています。
Kaizen Platformではデフォルトで有意差をt検定5%水準で判定しております。
つまり有意差が出たと表示された場合は、「95%の確率でデザイン同士のCVRに差があることが確からしい」という状態になります。
また、オファー作成画面のオプション項目にある「信頼度」からこちらの値を変更することも可能です。

信頼度

有意差の判定を信頼できる度合いです。
95%の場合は「100回計測したうち、95回は許容できる誤差の範囲内に収まる程度」の信頼度となります。
信頼度を低くすると有意差の判定が完了するまでの期間が短くなります。