Geo lift test
Geo lift test je experiment, při kterém se reklama zapne nebo vypne jen ve vybraných regionech a vývoj tržeb se porovná s kontrolními regiony, kde se nic nezměnilo. Rozdíl mezi skupinami je inkrementální přínos kampaně. Je to nejpraktičtější způsob měření inkrementality, protože nepotřebuje cookies, souhlasy ani zásah do měření, jen tržby rozdělené podle regionů.
V kostce
| Co to je | Zapnutí nebo vypnutí reklamy ve vybraných regionech proti kontrolním |
| Co potřebuje | Tržby členitelné podle regionů a možnost cílit kampaně podle regionů |
| Co nepotřebuje | Cookies, souhlasy, pixely, zásahy do webu |
| Typická délka | Čtyři až osm týdnů, plus období náběhu a doběhu |
Jak test probíhá
Fáze a jejich délka
Test má pevný časový rozvrh. Kdo některou fázi vynechá, dostane číslo, které nejde obhájit.
- Pretest období. Alespoň 8 týdnů týdenních tržeb po regionech, lépe 12 a víc. Slouží k výběru kontrolních regionů a kalibraci modelu, kampaně v něm běží beze změny.
- Minimální detekovatelný efekt. Z rozptylu historických dat se před startem spočítá nejmenší lift, který sestava dokáže odlišit od šumu. Když je očekávaný efekt menší, zvětší se změna rozpočtu nebo prodlouží test.
- Náběh. První jeden až dva týdny po změně se nehodnotí: kampaň se učí a nákupy přicházejí se zpožděním.
- Hodnocené období. Minimálně 4 týdny, obvykle 4 až 8. Kratší test nerozliší efekt od běžných týdenních výkyvů.
- Doběh. Jeden až dva týdny po skončení změny, aby se zachytily opožděné objednávky a návrat regionů k normálu.
Kontrola a výpočet liftu
Kontrolou není jeden region, ale vážená kombinace kontrolních regionů, jejíž historie kopíruje vývoj testovací skupiny: syntetická kontrola. Váhy se najdou v pretest období, během testu se stejné váhy použijí na aktuální tržby kontrolních regionů a výsledek je odhad, jak by se testovací regiony vyvíjely bez změny. Lift = (tržby testovacích regionů minus odhad) / odhad. Inkrementální tržby jsou tento rozdíl v korunách, inkrementální ROAS je rozdíl dělený útratou v testovacích regionech za hodnocené období.
Modelový příklad
Modelový příklad: e-shop spouští nový kanál jen ve třech krajích. V pretest období měly tyto kraje průměrně 500 000 Kč tržeb týdně a syntetická kontrola se s nimi shoduje s odchylkou do 2 %. Kampaň běží 7 týdnů s útratou 40 000 Kč týdně, první týden je náběh, hodnotí se týdny 2 až 7.
| Odhad bez kampaně (syntetická kontrola) | 520 000 Kč týdně, kontrolní regiony sezónně vzrostly o 4 % |
| Skutečné tržby testovacích krajů | 585 000 Kč týdně |
| Lift | (585 000 minus 520 000) / 520 000 = 12,5 % |
| Inkrementální tržby za 6 týdnů | 65 000 × 6 = 390 000 Kč |
| Útrata za 6 hodnocených týdnů | 40 000 × 6 = 240 000 Kč |
| Inkrementální ROAS | 390 000 / 240 000 = 1,6 |
Bez kontroly by srovnání s pretest obdobím ukázalo růst 17 % (585 000 proti 500 000) a připsalo by kampani i sezónu. Skutečný efekt je 12,5 % a s ROAS, který si za stejné regiony a týdny připsala platforma, se porovnává inkrementální ROAS 1,6. Zda se kanál vyplatí, rozhodne až marže: inkrementální ROAS 1,6 znamená 1,60 Kč tržeb za korunu útraty, ne zisk.
Jak se test staví
Regiony se rozdělí na testovací a kontrolní tak, aby si historicky odpovídaly vývojem tržeb: páry regionů s podobnou sezónností a velikostí. V testovacích se kampaň vypne, zapne nebo zásadně navýší, v kontrolních běží vše beze změny. Po skončení se porovná vývoj obou skupin proti společné historii. Kontrolní regiony se obvykle skládají do syntetické kontroly, která kopíruje historický vývoj testovacích regionů, a lift je odchylka od této předpovědi.
Z naší praxe
Geo přístup je základ naší platformy DiagnostIQ, kterou používáme na měření inkrementálního dopadu kanálů. Takto jsme například změřili, že TikTok u e-commerce klienta přináší 15 procent tržeb navíc, které by bez něj nevznikly, přestože atribuce kanál podceňovala. Česká specialita, se kterou počítáme při návrhu: menší trh znamená méně regionů a delší testy, aby se efekt oddělil od šumu.
Časté chyby
- Vybrat regiony náhodně. Bez historické podobnosti se rozdíl skupin nedá přičíst kampani.
- Testovat v sezónní špičce nebo při promoakci. Externí vlivy překryjí lift.
- Ukončit test předčasně. První týdny obsahují dobíhající efekt předchozí reklamy. Hodnotí se až ustálený stav.
- Měřit jen konverze z pixelu. Smysl testu je právě v nezávislosti na měření. Hodnotí se tržby, ne připsané konverze.
Časté otázky
Funguje to i na menším trhu, jako je Česko?
Ano, jen s většími nároky: méně regionů znamená delší test a větší potřebnou změnu rozpočtu, aby byl efekt měřitelný.
Musím vypínat reklamu?
Ne nutně. Stejně funguje test navýšení: v testovacích regionech se rozpočet zdvojnásobí a měří se, kolik tržeb navíc to přineslo.
Jak často testovat?
Velké kanály jednou až dvakrát ročně, vždy po větší změně rozpočtu nebo strategie.
Kde vám pomůžeme
Návrh a vyhodnocení geo lift testů děláme přes DiagnostIQ v rámci služby Výkonnostní marketing.