A/Bテストのサンプルサイズはどう計算しますか？
A/Bテストのサンプルサイズは、基準CVR、検出したい最小差（MDE）、信頼水準、検出力の4要素で決まります。一般には信頼95％・検出力80％を前提に、基準CVRとMDEから必要な母数を見積もります。アクセスが少ない場合は期間を伸ばすか、指標をクリックに切り替えるのが現実的です。
計算の考え方（前提とステップ）
サンプルサイズは「どのくらいの差を、どれだけの確かさで見つけたいか」を数式化したものです。実務では次の手順で決めます。
・基準CVR（現状の成約率）を決める
・最小検出差MDE（例CVR2.0％を2.6％に＋0.6pt）を設定
・信頼水準95％、検出力80％を基本にする
・各パターンに必要な訪問数を算出し、テスト期間を見積もる
アクセスが限られる場合は、まずクリック率など上流指標でテストし、勝ち案をCVRで再検証する二段構えが有効です。必要に応じて流入を集中させ、同時期・同条件で配信することも重要です。参考として、LP制作の流れや納期目安は制作フローをご確認ください。
・基準CVR（現状の成約率）を決める
・最小検出差MDE（例CVR2.0％を2.6％に＋0.6pt）を設定
・信頼水準95％、検出力80％を基本にする
・各パターンに必要な訪問数を算出し、テスト期間を見積もる
アクセスが限られる場合は、まずクリック率など上流指標でテストし、勝ち案をCVRで再検証する二段構えが有効です。必要に応じて流入を集中させ、同時期・同条件で配信することも重要です。参考として、LP制作の流れや納期目安は制作フローをご確認ください。
簡易近似の目安と具体例
近似では、差が小さいと必要母数は急増します。実務目安の一例です（各パターンの必要訪問数の感覚値）。
・基準CVR2％、MDE＋0.5ptなら各1,500〜2,000
・基準CVR2％、MDE＋1.0ptなら各700〜1,000
・基準CVR5％、MDE＋1.0ptなら各600〜900
日次流入が少ないLPでは、まずCTA文言や色などクリック改善のテストを行い、その後CVRで本番検証に進むと無理がありません。行動の可視化には、紹介代理中のヒートマップツールの活用が有効です。
・基準CVR2％、MDE＋0.5ptなら各1,500〜2,000
・基準CVR2％、MDE＋1.0ptなら各700〜1,000
・基準CVR5％、MDE＋1.0ptなら各600〜900
日次流入が少ないLPでは、まずCTA文言や色などクリック改善のテストを行い、その後CVRで本番検証に進むと無理がありません。行動の可視化には、紹介代理中のヒートマップツールの活用が有効です。
精度を上げる運用ポイント
・指標は事前に一本化（CVRかCTR）
・1回1要素のみ変更して原因特定
・季節要因や広告配信の波をそろえる
・十分な母数に達するまで打ち切らない
・勝ち案は恒久反映後も再計測
既存LPの見直しやテスト設計のご相談はLP改善サービスで承ります。制作から実装まで一貫対応が可能です。
・1回1要素のみ変更して原因特定
・季節要因や広告配信の波をそろえる
・十分な母数に達するまで打ち切らない
・勝ち案は恒久反映後も再計測
既存LPの見直しやテスト設計のご相談はLP改善サービスで承ります。制作から実装まで一貫対応が可能です。