Holdout test
Holdout test je experiment, při kterém se části publika reklama záměrně nezobrazuje. Testovací skupina reklamu vidí, holdout skupina ne, a rozdíl v nákupním chování obou skupin ukazuje, kolik konverzí reklama skutečně způsobila a kolik by jich přišlo tak jako tak. Je to nejčistší forma měření inkrementality na úrovni publika.
V kostce
| Co to je | Náhodně vybraná část publika, která reklamu nevidí, jako kontrola |
| Kde se používá | Konverzní lift studie platforem, CRM kampaně, retargeting, e-mailing |
| Co ukáže | Podíl konverzí, které by vznikly i bez kampaně |
| Podmínka platnosti | Náhodné rozdělení skupin. Jakékoli jiné dělení výsledek znehodnotí |
Jak test probíhá
Postup v pěti krocích
- Definice. Před spuštěním se určí publikum, kampaň, sledovaná metrika (objednávky nebo tržby na uživatele) a délka testu: jeden nákupní cyklus plus týden na doběh konverzí.
- Náhodné rozdělení. Publikum se rozdělí náhodně, ne podle chování ani podle toho, koho algoritmus oslovil. Holdout mívá 5 až 20 % publika: u velkých publik stačí méně, u menších musí být větší, aby v něm vzniklo dost konverzí.
- Běh testu. Testovací skupina dostává reklamu, holdout je z kampaně vyloučen a po celou dobu se s ním nijak jinak nepracuje. Ostatní kampaně, ceny ani web se během testu nemění.
- Měření. V obou skupinách se počítají všechny konverze ze stejného zdroje, z objednávkového systému nebo CRM, ne konverze připsané platformou. Srovnává se konverzní poměr nebo tržby na uživatele, protože skupiny mají různou velikost.
- Výpočet. Lift = (konverzní poměr testu minus konverzní poměr holdoutu) / konverzní poměr holdoutu. Inkrementální konverze = konverze testu minus (uživatelé testu × konverzní poměr holdoutu). Náklady kampaně dělené inkrementálními konverzemi dají inkrementální CPA.
Modelový výpočet
Modelový příklad: retargeting e-shopu na návštěvníky za posledních 30 dní, čtyři týdny testu a týden doběhu, holdout 10 %.
| Testovací skupina | 180 000 uživatelů, 7 560 objednávek, konverzní poměr 4,2 % |
| Holdout | 20 000 uživatelů, 720 objednávek, konverzní poměr 3,6 % |
| Lift = (4,2 minus 3,6) / 3,6 | 16,7 % |
| Inkrementální objednávky = 7 560 minus (180 000 × 3,6 %) | 7 560 minus 6 480 = 1 080 |
| Platforma připsala 3 000 objednávek | způsobených 1 080 (36 %) |
| Náklady 540 000 Kč | připsané CPA 180 Kč, inkrementální CPA 500 Kč |
Při průměrné marži 450 Kč na objednávku vypadala kampaň podle reportu ziskově, podle testu ale každá skutečně způsobená objednávka stojí víc, než vydělá. Řešením není kampaň vypnout, ale zúžit publikum nebo snížit rozpočet a test po změně zopakovat.
Kdy holdout nepoužít
Holdout potřebuje kontrolu nad tím, komu se reklama zobrazí, a dost konverzí v obou skupinách. Nehodí se proto ve třech situacích. U malých publik, kde by holdout měl jen desítky konverzí: rozdíl mezi skupinami pak zapadne do náhodného kolísání a test nic neprokáže. U kanálů, kde nejde vyloučit konkrétního uživatele, tedy u vyhledávání, offline médií nebo části programatiky: tam se používá geo lift test, který místo uživatelů dělí regiony. A tam, kde holdout skupinu zasahují jiné kampaně se stejným sdělením: kontrolní skupina musí být vyloučena ze všech, jinak se měřený efekt zmenší a kampaň vyjde hůř, než ve skutečnosti je.
Jak holdout funguje
Publikum se náhodně rozdělí, obvykle v poměru 90 ku 10 nebo 80 ku 20. Větší část reklamu vidí, menší ne. Po ustáleném období se porovná konverzní poměr obou skupin. Modelový příklad: když konvertuje 5 procent testovací skupiny a 4 procenta holdoutu, reklama způsobila jen pětinu připsaných konverzí: zbytek by přišel sám. Přesně tento poměr rozhoduje, jestli má kampaň smysl škálovat, nebo jí rozpočet sebrat.
Z naší praxe
Holdout je standardní nástroj tam, kde kampaň cílí na vlastní publikum: retargeting a CRM. Právě tam bývá rozdíl mezi připsaným a způsobeným největší, protože kampaň cílí na lidi, kteří už byli na cestě k nákupu. V kombinaci s geo lift testy, které používáme přes DiagnostIQ na celé kanály, dává holdout obraz na úrovni publik: geo test odpovídá na otázku, jestli funguje kanál, holdout na otázku, jestli funguje konkrétní publikum.
Časté chyby
- Porovnávat oslovené s neoslovenými bez randomizace. Lidé, které algoritmus oslovil, jsou jiní než ti, které vynechal. Bez náhodného dělení je srovnání bezcenné.
- Malý holdout na malém publiku. Když v kontrolní skupině konvertují jednotky lidí, výsledek je šum.
- Krátké trvání. Efekt reklamy dobíhá. Hodnotí se až po ustálení, ne po týdnu.
Časté otázky
Jak velký má holdout být?
Obvykle 10 až 20 procent publika. Menší holdout šetří dosah kampaně, ale prodlužuje dobu do průkazného výsledku.
Nepřicházím o tržby, když části lidí reklamu nezobrazím?
Dočasně o část přicházíte, to je cena za informaci. Když test ukáže nízkou inkrementalitu, ušetřený rozpočet ji mnohonásobně vrátí.
Kde holdout udělám technicky?
Platformy nabízejí konverzní lift studie, u CRM kampaní se holdout dělá rozdělením seznamu před odesláním.
Kde vám pomůžeme
Testy inkrementality navrhujeme a vyhodnocujeme v rámci služby Výkonnostní marketing.