배너 A/B 테스트 시스템을 구축하는 방법

하나의 "행운의" 배너는 시스템을 만들지 않습니다. A/B 테스트 시스템은 파이프 라인입니다. 간단한 → 옵션 생성 → 노출 제어 → 올바른 메트릭 → 통계 → 솔루션 → 아카이브 → 스케일링. 다음은 테스트를 재현하고 수익성있게하기위한 최소 프로세스 및 아티팩트 세트입니다.

1) 목표와 지표: 우리가 최적화 한 것

프리 클릭 및 클릭 후 지표를 희석하십시오. 그렇지 않으면 정크 트래픽 비용으로 CTR을 "조정" 합니다.

사전 클릭:

시야성.
vCTR = 클릭/가시 노출 (창의성을위한 주요 지표).
주파수와 도달 ("피로" 를 제어하기 위해).
배치 믹스 (플랫폼/형식).

클릭 후:

착륙 CTR (첫 번째 동작), LPV/스크롤, 주요 이벤트 CVR.
첫 번째 조치, 실패, 납/주문 품질.
다운 깔때기 (사용 가능한 경우): 예금/구매/반복.

제한/정책 (YMYL/도박, 핀 테크 등):

책임/법률에 대한 "보장 된 결과" 에 대한 약속은 없습니다.
중립 CTA ("View Terms", "Open Demo"), 필요한 경우 면책 조항.

2) 실험 아키텍처: 시스템으로 구성된 것

1. 가설 규칙 (템플릿): 문제 → 아이디어 → 예상 효과 (MDE) → 메트릭 → 세그먼트 → 위험.

2. 파일/코드의 이름 지정 및 버전 지정:


2025-10 _ campaign _ geoUA _ former-300x250 _ offer-A _ cta-B _ visual-C _ v02. 웹

3. 트래픽 라우팅 테이블: 배치 → 그룹 A/B → 디스플레이 → 제외 공유.

4. 계획 추적: 인상, 볼 수있는 인상, 클릭, 페이지 뷰, cta _ click, form _ star, form _ orr, 제출, 구매.

5. 저장 및 준비 계층: 원시 로그 → 정규화 (de-dup, anti-bot filter) → 쇼케이스.

6. 대시 보드: 실험에 대한 사전 클릭, 클릭 후, 필수 보고서.

7. 결정 아카이브: 가설 → 기간 → 샘플 크기 → p-값/신뢰 구간 → 결정 → 롤아웃.

3) 디자인 A/B: "순수한" 인과 관계 규칙

한 번에 1 요소를 변경하십시오 (제공 또는 시각적 또는 CTA).

한 사람이 세션에서 두 가지 옵션을 모두 볼 수 없도록 디스플레이가 아닌 사용자가 무작위로 표시합니다.

vCTR에 큰 영향을 미치는 경우 계층화 (사이트/형식/장치 별).

테스트 = 계절별로 전체 주를 다룹니다.

시작하기 전에 MDE (최소 감지 가능한 효과) 를 수정하십시오. 예를 들어 vCTR로 + 8% 를 캡처하려고합니다.

정지 조건: 필요한 통계적 전력 및 지속 시간에 도달했습니다. "엿보기" 하지 말고 일찍 멈추지 마십시오.

4) 통증이없는 통계

샘플링 및 지속 시간: 기준 vCTR/CR이 낮을수록 MDE가 낮을수록 트래픽이 많고 테스트가 길어집니다.

솔루션을위한 메트릭: 크리에이티브에서-더 자주 vCTR, 그러나 최종 솔루션은 클릭 후 CR/CPA로 올리는 것입니다.

보고서에 항상 신뢰 구간을 표시하십시오. 1-2 일 동안의 결론을 피하십시오.

다중 시퀀스:> 2 옵션 인 경우 Bonferroni/FDR 계획을 사용하거나 쌍으로 테스트하십시오.

순차적 테스트/초기 정지: 경계를 적용하십시오 (예: 악기가 할 수 있다면 O'Brien-Fleming).

Bandits vs A/B: 도적은 안정적인 목표를 가진 승자의 자동 이용에 적합합니다. 제품 통찰력, 창의적 분석 및 아카이브-클래식 A/B가 더 투명합니다.

5) 교통 품질 관리

봇 방지 필터: 의심스러운 고속, 시야없이 클릭, 비정상적인 사용자 에이전트/IP.

브랜드 안전: 사이트/키워드 제외, 네거티브 재생 목록.

Geo/Device: 크기를 조정할 세그먼트에서 테스트합니다.

주파수 상한: 사용자 별 표시 빈도 (예: 3-5/일) 를 제한하면 "피로" 가 결과를 왜곡합니다.

6) 크리에이티브의 회전과 "피로"

피로 임계 값: 안정적인 시야와 적용 범위로 vCTR 30-40% 감소-회전 신호.

회전 일정: 매주 vCTR/배치 동향을 확인하십시오. 6-12 개의 변형 풀을 유지하십시오 (행렬은 × 시각적 × CTA를 제공합니다).

결과 분해: 시간이 지남에 따라 승자의 "레시피" 를 수집하기 위해 저장 요인 표시 (제공, 시각, cta, 색상, 레이아웃).

7) 엔드 투 엔드 프로세스

1. 계획 (월요일): 가설위원회 (마케팅 + 디자인 + 분석가). 우리는 일주일 동안 2-4 개의 가설을 선택합니다.

2. 생산 (1-3 일): 모든 형식의 디자인 패키지, QA 체크리스트 (CTA 대비, 무게, 안전 영역, 규정 준수).

3. 시작: 트래픽 50/50 (또는 33/33/33) 분포; 세그먼트를 수정하여 로그를 활성화하십시

4. 모니터링: 일일 건강 검진 (의사 결정없이): 인상 공유, 시야성, 봇 플래그.

5. 분석 (주 말/전력에 도달하면): 간격으로보고, 모바일/데스크톱 하위 인자, 설명.

6. 솔루션: 승자-운영, 패자-아카이브; 우리는 통찰력을 바탕으로 다음과 같은 가설을 형성합니다

7. 보관: 실험 카드 + 크리에이티브 파일 + sql 쿼리 보고서 + 이력서.

8) 데이터 및 대시 보드: 저장 대상 및 시청 방법

미니 디스플레이 케이스 모델 (주간/크리에이티브/세그먼트 별):


날짜, 캠페인, 지리, 장치, 배치, 형식, 크리에이티브 _ id, 오퍼, 비주얼, cta, 변형,
(PHP 3 = 3.0.6, PHP 4)

대시 보드:

사전 클릭: 뷰빌리티, vCTR, 빈도, 도달 범위, 배치 카드.
클릭 후: 깔때기 피치 별 CR, 리드/CPA 품질.
실험: 신뢰 간격의 사다리, 효과 시간, 세그먼트의 바람 상승.

9) QA 및 출시 체크리스트

형식: 300 × 250, 336 × 280, 300 × 600, 160 × 600, 728 × 90, 970 × 250; 모바일 320 × 100/50, 1:1, 4:5, 16:9, 9:16
"무거운" GIF가없는 무게
CTA 대비 (WCAG), 안전 영역 (가장자리에서 24px 이상)
클릭 베이트/약속 없음, 올바른 면책 조항 없음
보기 가능, 클릭, lpview, cta _ click, form _ star, 제출
사용자에 의한 무작위 화, A/B 노출의 명확한 비율
안티 봇 필터 활성화, 배치 예외 설정

10) 가설 라이브러리: 테스트 대상

제공:

"투명한 보너스 용어" vs "한 페이지의 모든 용어"
"등록없는 데모" vs "보기 인터페이스"

CTA:

"보기 약관" vs "세부 사항 배우기"
"오픈 데모" vs "지금 시도"

비주얼:

장면/영웅 대 화면 인터페이스 vs 도해
따뜻한 배경 대 중립; 개요 버튼 대 채우기

구성:

왼쪽 상단 로고 vs 콤팩트; CTA 오른쪽 vs 바닥
헤드 라인 아래 CTA에서 신뢰 배지

마이크로 모션 (HTML5):

부드러운 페이드 인 PTC vs 펄스 CTA 스트로크

11) 결정 규칙

중요한 임계 값: p 방향 0. MDE 랜드 마크에서 05 및/또는 전체 신뢰 구간> 0.

상식적인 경계: vCTR 승리가 있지만 CR/CPA가 처진 경우 롤아웃하지 않습니다.

세그먼트 수상자: 모바일/GEO에서만 차이가있는 경우 대상 롤아웃입니다.

윤리: 우리는 조작 텍스트/클릭 베이트 비용으로 상금을받지 않습니다.

12) 반 패턴 (시스템을 파괴하는)

하나의 테스트에서 많은 요소가 → 결론이 없습니

"2 일 동안 예정된 결정".

한 실험에서 채널 (다른 청중) 혼합.

관점 부족 → 죽은 vCTR.

실험 보관소는 없습니다 → 오류 반복 및 "영원한 자전거".

"처음주의" 로 인한 인상의 빈도 → 가짜 승리는 고려되지 않습니다.

13) 30/60/90 구현 계획

0-30 일-시스템 MVP

가설 템플릿, 이름 지정, QA 체크리스트.

이벤트 및 대시 보드 사전/사후 클릭 다이어그램.

1-2 실험: 키 형식 (300 × 250/320 × 100) 으로 제공 및 CTA.

시야성 및 안티 봇 필터 활성화

31-60 일-심화

모든 형식과 최상위 배치로 확장; HTML5 변형을 추가하십시오.

회전 규정 및 "피로" 임계 값을 구현하십시오.

장치/사이트 별 계층화, 승자의 세그먼트 킥아웃을 소개합니다.

61-90 일-성숙

실험 및 요인 기반 보관소 (제공/비주얼/cta).

자동 설문지 브리프 + 반표준 레이아웃 (크리에이티브 디자인 시스템).

월간 보고서: 테스트의 ROI, 승자의%, CR/CPA에 대한 기여.

안정적인 세그먼트에서 승자의 자동 이용을위한 도적 조종사.

14) 미니 템플릿 (복사 페이스트 준비)

가설 템플릿


문제: GEO {X} 의 모바일에서 vCTR 낮음
아이디어: 비주얼을 화면 인터페이스 + CTA "오픈 데모" 로 장면으로 대체
MDE: + 8% vCTR
측정 항목: vCTR (1 차), CR (2 차), CPA (제어)
세그먼트: 모바일, 형식 320 × 100/1: 1
위험: 클릭 후 드롭; 이벤트 LP 확인

토탈 카드


A: vCTR 1. 22% [1. 15; 1. 29], CR 4. 1%
B: vCTR 1. 34% [1. 27; 1. 41], CR 4. 3%, CPA ° 6%
결정: B가 이겼습니다. 롤아웃: 모바일 GEO {X}, 100%
댓글: Y/Z 배치에 미치는 영향이 더 강합니다

A/B 배너 테스트 시스템은 "버튼 색상" 이 아니라 올바른 메트릭 (vCTR → 포스트 클릭), 순수한 무작위 화, 하드 QA, 트래픽 품질 제어, 회전 규정 및 투명한 솔루션 세트입니다. 가설의 파이프 라인을 구축하고, 아카이브 및 요인 기반을 유지하며, 창의성은 추첨이 아닙니다. 광고의 효과를 지속적으로 높이고 예측 가능한 단계에서 CPA를 줄입니다.