چگونه برای ساخت یک بنر A/B سیستم تست

یک بنر «خوش شانس» سیستم را نمی سازد. سیستم تست A/B یک خط لوله است: مختصر → تولید گزینه ها → کنترل برداشت ها → مجموعه معیارهای صحیح → راه حل → بایگانی → مقیاس بندی. در زیر حداقل مجموعه ای از فرآیندها و مصنوعات برای تست های قابل تجدید و سودآور است.

1) اهداف و معیارها: آنچه ما بهینه می کنیم

معیارهای پیش کلیک و پس از کلیک را رقیق کنید - در غیر این صورت CTR را با هزینه ترافیک ناخواسته «نیشگون می گیرید».

پیش کلیک کنید:

قابلیت مشاهده
vCTR = کلیک/برداشت قابل مشاهده (متریک اصلی برای خلاقیت).
فرکانس و رسیدن (برای کنترل «خستگی»).
قرار دادن مخلوط (سیستم عامل/فرمت).

پست کلیک کنید:

فرود CTR (اولین اقدام)، LPV/پیمایش، CVR رویداد کلیدی.
زمان اولین اقدام، شکست، کیفیت سرب/سفارش.
پایین قیف (در صورت موجود بودن): سپرده/خرید/تکرار.

محدودیت ها/سیاست ها (YMYL/قمار، fintech و غیره):

بدون وعده «نتیجه تضمین شده»، احترام به مسئول/قانونی.
CTA های خنثی («مشاهده شرایط»، «باز کردن نسخه ی نمایشی»)، سلب مسئولیت در صورت لزوم.

2) معماری تجربی: آنچه سیستم از آن تشکیل شده است

1. قوانین فرضیه (الگو): مسئله → ایده → اثر مورد انتظار (MDE) → معیارها → بخش ها → خطرات.

2. نامگذاری و نسخه بندی فایل ها/کدها:


2025-10_campaignX_geoUA_format-300x250_offer-A_cta-B_visual-C_v02 است. وب سایت

3. جدول مسیریابی ترافیک: قرار دادن → گروه A/B → سهم نمایش → خروج.

4. (طرح ردیابی): برداشت، برداشت قابل مشاهده، کلیک، نمایش صفحه، ، ، ارسال، خرید.

5. لایه ذخیره سازی و آماده سازی: سیاهههای خام → نرمال سازی (فیلتر ضد فیلتر، ضد ربات) → ویترین.

6. داشبورد: قبل از کلیک، پس از کلیک، گزارش یکپارچه در آزمایش.

7. بایگانی تصمیم گیری: فرضیه → دوره → اندازه نمونه → p-value/فاصله اطمینان → تصمیم → برنامه ریزی.

3) طراحی A/B: قوانین علیت «خالص»

تغییر 1 عامل در یک زمان (پیشنهاد یا بصری یا CTA).

تصادفی سازی توسط کاربر به جای نمایش (cookie/uid) به طوری که یک نفر هر دو گزینه را در یک جلسه نمی بیند.

طبقه بندی (توسط سایت/فرمت/دستگاه) اگر آنها به شدت بر vCTR تاثیر می گذارد.

تست = هفته های کامل برای پوشش فصلی در روز.

رفع MDE (حداقل اثر قابل تشخیص) قبل از شروع: به عنوان مثال، ما می خواهیم به گرفتن + 8٪ به vCTR.

شرایط توقف: به قدرت آماری مورد نیاز و مدت زمان ≥ N روز رسیده است. «نگاه» نکنید و زود متوقف نشوید.

4) آمار بدون درد

نمونه برداری و مدت زمان: پایه vCTR/CR پایین تر و MDE پایین تر، ترافیک بیشتر و طولانی تر آزمون.

متریک برای راه حل: در خلاقیت - اغلب vCTR، اما راه حل نهایی است برای بالا بردن به CR/CPA، اگر یک پس از کلیک وجود دارد.

همیشه فواصل اطمینان را در گزارش نشان دهید ؛ اجتناب از نتیجه گیری برای 1-2 روز.

چند گزینه ای: اگر> 2 گزینه، از برنامه Bonferroni/FDR استفاده کنید یا به صورت جفت آزمایش کنید.

تست های متوالی/توقف های اولیه: مرزها را اعمال کنید (به عنوان مثال O'Brien-Fleming) اگر ابزار بتواند این کار را انجام دهد.

راهزنان در مقابل A/B: راهزنان مناسب برای خودکار بهره برداری از برنده با یک هدف پایدار هستند. برای بینش محصول، تجزیه و تحلیل خلاق و آرشیو - A/B کلاسیک شفاف تر است.

5) کنترل کیفیت ترافیک

فیلترهای ضد ربات: سرعت مشکوک بالا، کلیک بدون قابلیت مشاهده، عامل کاربر غیر طبیعی/IP.

ایمنی نام تجاری: سایت/کلمه کلیدی محرومیت، لیست پخش منفی.

Geo/Device: تست در بخش هایی که قصد دارید مقیاس کنید.

محدود کردن فرکانس نمایش توسط کاربر (به عنوان مثال، 3-5/روز)، در غیر این صورت «خستگی» نتیجه را تحریف می کند.

6) چرخش و «خستگی» خلاقیت

آستانه خستگی: کاهش در vCTR توسط 30-40٪ با قابلیت مشاهده و پوشش پایدار - یک سیگنال برای چرخش.

تقویم چرخش: بررسی روند vCTR/قرار دادن هر هفته ؛ یک استخر از 6-12 تغییرات (ماتریس ارائه × بصری × CTA).

تجزیه نتیجه: نشانه های عامل فروشگاه (پیشنهاد، بصری، CTA، رنگ، طرح) به منظور جمع آوری دستور العمل های برندگان در طول زمان.

7) فرآیند پایان دادن به پایان

1. برنامه ریزی (دوشنبه): کمیته فرضیه (بازاریابی + طراحی + تحلیلگر). ما 2-4 فرضیه را برای یک هفته انتخاب می کنیم.

2. تولید (1-3 روز): بسته های طراحی برای تمام فرمت ها، چک لیست QA (کنتراست CTA، وزن، منطقه امن، انطباق).

3. شروع: توزیع ترافیک 50/50 (یا 33/33/33) ؛ ثابت بخش، فعال کردن سیاهههای مربوط.

4. نظارت: بررسی سلامت روزانه (بدون تصمیم گیری): سهم برداشت ها، قابلیت مشاهده، پرچم های ربات.

5. تجزیه و تحلیل (پایان هفته/پس از رسیدن به قدرت): گزارش در فواصل، زیر نمونه های تلفن همراه/دسکتاپ، توضیحات.

6. راه حل: برنده - به عملیات، بازنده - به آرشیو ؛ ما فرضیه زیر را بر اساس بینش تشکیل می دهیم.

7. بایگانی: کارت آزمایش + فایل های خلاق + گزارش پرس و جو sql + رزومه.

8) داده ها و داشبورد: چه برای ذخیره و چگونه به تماشای

مدل مورد مینی نمایش (به روز/خلاق/بخش):


تاریخ, کمپین, جغرافیایی, دستگاه, قرار دادن, قالب, creative_id, پیشنهاد, تصویری, CTA, نوع,
برداشت, , کلیک, VCTR, , , ارسال, خرید, ,

داشبورد:

پیش کلیک کنید: قابلیت مشاهده، vCTR، فرکانس، رسیدن، کارت های قرار دادن.
پس از کلیک: CR توسط زمین قیف، کیفیت سرب/CPA.
آزمایش: نردبان فواصل اطمینان، زمان به اثر، باد افزایش یافت از بخش.

9) QA و چک لیست راه اندازی

فرمت های: 300 250, 336 280, 300 600, 160 600, 728, 90, 970 250; موبایل 320 × 100/50, 1:1, 4:5, 16:9, 9:16
وزن ≤ 150-200 کیلوبایت (استاتیک/HTML5)، WebP/PNG، بدون GIF های «سنگین»
کنتراست CTA (WCAG)، مناطق امن (≥24 پیکسل از لبه)
بدون کلیک طعمه/وعده، سلب مسئولیت درست
Трекинг: قابل مشاهده، کلیک کنید، lpview، cta_click، form_start، ارسال
تصادفی توسط کاربر، نسبت روشن از برداشت A/B
فیلترهای ضد ربات را فعال کنید، قرار دادن استثنائات پیکربندی شده است

10) کتابخانه فرضیه: چه چیزی را آزمایش کنید

پیشنهاد:

«شرایط پاداش شفاف» در مقابل «همه شرایط در یک صفحه»
«نسخه ی نمایشی بدون ثبت نام» در مقابل «مشاهده رابط»

CTA:

«مشاهده شرایط» در مقابل «اطلاعات بیشتر»
«باز کردن نسخه ی نمایشی» در مقابل «سعی کنید در حال حاضر»

تصویری:

صحنه/قهرمان در مقابل رابط صفحه نمایش در مقابل نماد
پس زمینه گرم در مقابل خنثی ؛ دکمه طرح در مقابل پر کردن

ترکیب بندی:

آرم بالا سمت چپ در مقابل جمع و جور ؛ CTA راست در مقابل پایین
نشان اعتماد در CTA در مقابل عنوان

میکرو حرکت (HTML5):

محو شدن صاف در PTC در مقابل سکته مغزی CTA پالس (≤12 c، 2-3 مرحله)

11) قوانین تصمیم گیری

آستانه اهمیت: p≤0. 05 و/یا کل فاصله اطمینان> 0 در نقطه عطفی MDE.

مرز حس مشترک: اگر یک پیروزی vCTR وجود دارد، اما CR/CPA تضعیف شده است، ما رول نیست.

برندگان بخش: اگر تفاوت فقط در تلفن همراه/GEO قابل توجه باشد، هدف قرار می گیرد.

اخلاق: ما برنده در هزینه دستکاری متن/clickbait را قبول نمی کند.

12) ضد الگوهای (که سیستم را می شکند)

بسیاری از عوامل در یک آزمون - هیچ نتیجه گیری.

تصمیم گیری «در برنامه به مدت 2 روز».

مخلوط کردن کانال ها (مخاطبان مختلف) در یک آزمایش.

عدم قابلیت مشاهده → vCTR مرده.

هیچ آرشیوی از آزمایشها، تکرار خطاها و «دوچرخه ابدی» وجود ندارد.

تعداد دفعات برداشتها → پیروزیهای جعلی به دلیل «توجه اول» در نظر گرفته نمیشود.

13) طرح اجرایی 30/60/90

0-30 روز - سیستم MVP

الگو فرضیه، نامگذاری، چک لیست QA.

نمودار رویدادها و داشبورد قبل/بعد از کلیک.

1-2 آزمایش: ارائه و CTA در قالب کلیدی (300 × 250/320 × 100).

قابلیت مشاهده و فیلترهای ضد ربات را فعال کنید.

31-60 روز - عمیق شدن

گسترش به تمام فرمت ها و قرار دادن بالا ؛ اضافه کردن انواع HTML5.

پیاده سازی مقررات چرخش و آستانه «خستگی».

معرفی طبقه بندی توسط دستگاه/سایت، بخش kickouts از برندگان.

61-90 روز - بلوغ

آرشیو آزمایشات و پایه عامل (پیشنهاد/بصری/CTA).

پرسشنامه خودکار مختصر + طرح بندی نیمه استاندارد (سیستم طراحی خلاق).

گزارش ماهانه: ROI آزمون،٪ از برندگان، سهم به CR/CPA.

خلبان راهزنان برای بهره برداری خودکار از برندگان در بخش های پایدار

14) قالب های کوچک (آماده برای کپی چسباندن)

قالب فرضیه


مسئله: vCTR کم در تلفن همراه در GEO {X}
ایده: جایگزین بصری با صحنه با رابط صفحه نمایش + CTA «باز کردن نسخه ی نمایشی»
MDE: + 8٪ к CTR
معیارها: vCTR (اولیه)، CR (ثانویه)، CPA (کنترل)
بخش ها: تلفن همراه، فرمت 320 × 100/1: 1
خطرات: افت پس از کلیک ؛ رویداد بررسی LP

مجموع کارت


A: CTR 1. 22% [1. 15; 1. 29]، CR 4. 1%
B: CTR 1. 34% [1. 27; 1. 41]، CR 4. 3٪، CPA ↓ 6٪
نتیجه: ب برنده شد. اجرای: GEO موبایل {X}، 100٪
نظر: اثر در قرار دادن Y/Z قوی تر است

سیستم تست بنر A/B «رنگ دکمه» نیست، بلکه مجموعه ای از رشته ها است: معیارهای صحیح (قابلیت مشاهده → vCTR → پس از کلیک)، تصادفی خالص، QA سخت، کنترل کیفیت ترافیک، مقررات چرخش و راه حل های شفاف. ایجاد یک خط لوله از فرضیه ها، حفظ آرشیو و پایه عامل - و خلاقیت متوقف خواهد شد قرعه کشی: شما به طور مداوم افزایش اثربخشی تبلیغات و کاهش CPA در مراحل قابل پیش بینی.