バナーA/Bテストシステムの構築方法

1つの「ラッキー」バナーがシステムを作らない。A/Bテストシステムはパイプラインです：オプションの概要→生産→インプレッションの制御→正しい指標の収集→統計→ソリューション→アーカイブ→スケーリング。以下は、再現可能で収益性の高いテストのためのプロセスとアーティファクトの最小セットです。

1）目標と指標： 私たちが最適化するもの

プリクリックとポストクリックのメトリックを希釈します。そうでなければ、ジャンクトラフィックのコストでCTRを「微調整」します。

プレクリック：

ビューアビリティ。
vCTR=クリック/可視インプレッション（創造性のメインメトリック）。
頻度および範囲（「疲労」を制御するため）。
Placement-mix（プラットフォーム/フォーマット）。

クリック後：

着陸CTR（最初の行為）、LPV/スクロール、主要なでき事CVR。
最初の行為、失敗、鉛/順序の質への時間。
ダウンファネル（利用可能な場合）：デポジット/購入/繰り返し。

制限/ポリシー（YMYL/ギャンブル、フィンテックなど）：

「保証された結果」、責任/法的尊重の約束はありません。
中立的なCTA （「View Terms」、「Open Demo」）、必要に応じて免責事項。

2）実験アーキテクチャ： システムが構成するもの

1.仮説ルール（テンプレート）：問題→アイデア→期待効果（MDE）→メトリック→セグメント→リスク。

2.ファイル/コードの命名とバージョン管理：


 。 。webp ［webp］

3.トラフィックルーティングテーブル：配置→グループA/B→表示の共有→除外。

4.Схема（トラッキングプラン）：インプレッション、視聴可能なインプレッション、クリック、ページビュー、cta_click、 form_start、 form_error、送信、購入。

5.ストレージと準備レイヤー：raw logs→normalization（デダップ、アンチボットフィルタ）→ショーケース。

6.ダッシュボード：プリクリック、ポストクリック、実験に関する統合レポート。

7.意思決定アーカイブ：仮説→期間→サンプルサイズ→p値/信頼区間→意思決定→ロールアウト。

3）設計A/B： 「純粋な」因果ルール

一度に1ファクター（オファーまたはビジュアルまたはCTA）を変更します。

ディスプレイ（cookie/uid）ではなくユーザーによるランダム化により、1人がセッションで両方のオプションを表示しないようにします。

それらがvCTRに強く影響を与える場合、層別化（サイト/フォーマット/デバイスによる）。

テスト=1日ごとに季節性をカバーするための完全な週。

開始する前にMDE（最小検出可能な効果）を修正します。たとえば、vCTRに+8％をキャプチャします。

停止条件：必要な統計力と持続時間≥ N日に達しました。「のぞき」しないでください早期停止しないでください。

4）痛みのない統計

サンプリングとデュレーション：ベースラインvCTR/CRが低くなり、MDEが低くなるほどトラフィックが多くなり、テスト時間が長くなります。

解決策のためのメトリック：クリエイティブでは-より頻繁にvCTRが、最終的な解決策は、ポストクリックがある場合、CR/CPAに上げることです。

レポートに常に信頼間隔を表示します。1-2日の結論を避けて下さい。

マルチシークエンス：>2オプションの場合、Bonferroni/FDRプランを使用するか、ペアでテストします。

シーケンシャルテスト/早期停止：境界を適用する（例：O'Brien-Fleming）楽器がそれを行うことができる場合。

盗賊vs A/B：盗賊は安定したターゲットで勝者の自動搾取に適しています。製品のインサイト、創造的な分析、アーカイブのために-古典的なA/Bはより透明です。

5）交通品質管理

アンチボットフィルタ：疑わしい高速、視認性のないクリック、異常なユーザーエージェント/IP。

ブランドの安全性：サイト/キーワードの除外、負のプレイリスト。

Geo/Device：スケールする予定のセグメントでテストします。

頻度おおうこと：ユーザーによる表示の頻度を限って下さい（例えば、3-5/day）、さもなければ「疲労」は結果を歪めます。

6）クリエイティブの回転と「疲労」

疲労しきい値：vCTRが30〜40％低下し、安定した視認性とカバレッジ-回転する信号。

回転カレンダー：vCTR/配置の傾向を毎週点検して下さい；6-12バリエーション（行列提供×視覚× CTA）のプールを維持します。

結果の分解：時間をかけて勝者の「レシピ」を収集するために、ストアファクターサイン（オファー、ビジュアル、cta、色、レイアウト）。

7）エンドツーエンドのプロセス

1.企画（月曜日）：仮説委員会（マーケティング+デザイン+アナリスト）。我々は、1週間のための2-4の仮説を選択します。

2.生産（1-3日）：すべてのフォーマット、QAチェックリスト（CTAコントラスト、重量、セーフゾーン、コンプライアンス）のパッケージを設計します。

3.開始：トラフィックの配布50/50（または33/33/33）；セグメントを固定し、ログを有効にします。

4.モニタリング：毎日の健全性チェック（意思決定なし）：印象の共有、視聴可能性、ボットフラグ。

5.分析（週の終わり/電力に達すると）：間隔でレポート、モバイル/デスクトップのサブサンプル、説明。

6.ソリューション：勝者-操作へ、敗者-アーカイブへ；私たちは洞察に基づいて以下の仮説を形成します。

7.アーカイブ：実験カード+クリエイティブファイル+sqlクエリレポート+履歴書。

8）データとダッシュボード： 保存するものと視聴する方法

ミニディスプレイケースモデル（日/クリエイティブ/セグメント別）：


日付、キャンペーン、地理、デバイス、配置、フォーマット、creative_id、オファー、ビジュアル、cta、バリアント、
インプレッション、viewable_impressions、クリック、vctr、 lp_sessions、 cta_clicks、 form_start、送信、購入、bounce_rate、 avg_scroll、 time_to_first_action

ダッシュボード：

事前クリック：表示、vCTR、周波数、リーチ、プレースメントカード。
ポストクリック：漏斗ピッチ、鉛/CPA品質によるCR。
実験：信頼区間のはしご、効果への時間、セグメントの風の上昇。

9） QAおよび起動チェックリスト

フォーマット：300 × 250、336 × 280、300 × 600、160 × 600、728 × 90、970 × 250；モバイル320 × 100/50、1：1、4：5、16：9、9：16
重量≤ 150-200 KB （静的/HTML5）、 WebP/PNG、「重い」GIFなし
CTAコントラスト（WCAG）、セーフゾーン（エッジから≥ 24 px）
クリックベイト/約束なし、正しい免責事項
：閲覧、クリック、lpview、 cta_click、 form_start、送信
ユーザーによるランダム化、A/Bインプレッションの明確な割合
アンチボットフィルタが有効になっている、配置例外が設定されている

10）仮説ライブラリ： 何をテストするか

オファー：

「透明ボーナス用語」と「1ページのすべての用語」
「登録なしのデモ」と「ビューインターフェイス」

CTA：

「条件を見る」と「詳細を学ぶ」
「オープンデモ」と「今すぐ試す」

ビジュアル：

シーン/ヒーローvsスクリーンインターフェイスvs図像
暖かい背景と中立；アウトラインボタンと塗りつぶし

コンポジション：

左上のロゴとコンパクト。CTA右と下
CTAの信頼バッジと見出し

マイクロモーション（HTML5）：

スムーズなフェードインPTCとパルスCTAストローク（≤ 12 c、 2-3フェーズ）

11）意思決定規則

意義しきい値：p ≤ 0。MDEランドマークの05および/または全信頼間隔>0。

常識の境界：vCTRの勝利があるが、CR/CPAがsaggedなら、私達はロールアウトしません。

セグメントの勝者：違いがモバイル/GEOでのみ重要な場合-ターゲットを絞り出します。

倫理：我々は、操作テキスト/クリックベイトのコストで賞金を受け付けていません。

12）アンチパターン（システムを壊す）

1つのテストの多くの要因→結論なし。

決定は「2日間の予定通り」です。

1つの実験でチャンネル（異なるオーディエンス）をミキシングします。

視認性の欠如→死んだvCTR。

実験のアーカイブがない→エラーの繰り返しと「永遠の自転車」。

「最初の注意」による印象→偽の勝利の頻度は考慮されません。

13）30/60/90実施計画

0-30日-システムMVP

仮説テンプレート、命名、QAチェックリスト。

イベントとダッシュボードの図前/ポストクリック。

1-2実験：キー形式のオファーとCTA （300 × 250/320 × 100）。

視認性とアンチボットフィルタを有効にします。

31-60日-深化

すべてのフォーマットとトップの配置に展開します。HTML5バリアントを追加します。

回転規則と「疲労」しきい値を実装します。

デバイス/サイト別の層別化、勝者のセグメントキックアウトを紹介します。

61-90日-成熟度

実験と因子基盤のアーカイブ（提供/視覚/cta）。

オートアンケートブリーフ+セミスタンダードレイアウト（クリエイティブデザインシステム）

毎月のレポート：テストのROI、勝者の％、CR/CPAへの貢献。

安定したセグメントで勝者の自動搾取のための盗賊のパイロット。

14）ミニテンプレート（コピーペーストの準備ができました）

仮説テンプレート


問題：vCTR low on mobile in GEO {X}
アイデア：スクリーンインターフェイス+CTA「オープンデモ」で視覚をシーンに置き換えます"
MDE：+8％-vCTR
メトリック：vCTR（プライマリ）、CR（セカンダリ）、CPA（コントロール）
セグメント：モバイル、フォーマット320 × 100/1：1
リスク：クリック後のドロップ；イベントLPチェック

トータルカード


A： vCTR 1。22% [1.15;1.29］、 CR 4。1%
B： vCTR 1。34% [1.27;1.41］、 CR 4。3％、 CPA 6％
決定：Bが勝った。ロールアウト：モバイルGEO {X}、 100％
コメント：Y/Zの配置に強い効果

A/Bバナーテストシステムは「ボタンの色」ではなく、正しい指標（ビューアビリティ→vCTR→ポストクリック）、純粋なランダム化、ハードQA、トラフィック品質管理、回転規制、透明ソリューションの一連の分野です。仮説のパイプラインを構築し、アーカイブとファクターベースを維持します-そして創造性は宝くじではなくなります：あなたは一貫して広告の有効性を高め、予測可能なステップでCPAを削減します。