Măsurarea efectului marketingului: atribuire, incrementalitate, experimente și Marketing Mix Modeling

Măsurarea efectului marketingului înseamnă estimarea diferenței dintre rezultatul obținut după o intervenție de marketing și rezultatul care s-ar fi produs în absența ei. Această diferență reprezintă efectul incremental al intervenției. Problema este că rezultatul alternativ — ce s-ar fi întâmplat fără campanie, discount, mesaj sau canal — nu poate fi observat direct pentru aceeași companie, în aceeași perioadă și în aceleași condiții.

De aceea, numărul de conversii raportat de o platformă, venitul atribuit unei campanii sau un ROAS ridicat nu demonstrează automat că marketingul a produs rezultatul observat. Aceste informații pot fi utile pentru operarea campaniilor, dar răspund unei întrebări diferite de cea cauzală.

Pentru management, distincția este importantă. O companie nu trebuie să afle doar unde au fost înregistrate conversiile, ci și ce venit, marjă sau profit nu ar fi existat fără investiția de marketing. În funcție de întrebare și de datele disponibile, răspunsul poate necesita atribuire, experimente randomizate, teste geografice, metode observaționale, Marketing Mix Modeling sau o combinație între ele.

Ce înseamnă măsurarea efectului marketingului

Măsurarea efectului marketingului urmărește să identifice contribuția cauzală a unei intervenții asupra unui rezultat comercial. Intervenția poate fi o campanie, o modificare de buget, o promoție, un mesaj, un canal, o schimbare de ofertă sau o combinație de activități.

Rezultatul analizat poate fi:

  • numărul de comenzi;
  • venitul;
  • marja comercială;
  • profitul;
  • numărul de clienți noi;
  • retenția;
  • cererea de brand;
  • vizitele în magazine;
  • leadurile calificate;
  • valoarea pe termen lung a clienților.

Pentru a vorbi despre efect este nevoie de o comparație între două stări:

  1. rezultatul în condițiile în care intervenția s-a produs;
  2. rezultatul care s-ar fi produs fără intervenție.

A doua stare este numită contrafactual. Ea nu poate fi observată direct. O persoană nu poate fi, în aceeași situație, simultan expusă și neexpusă aceleiași reclame. O regiune nu poate avea, în aceeași săptămână și în condiții identice, atât bugetul majorat, cât și bugetul nemodificat.

Metodele de măsurare încearcă să construiască sau să estimeze acest contrafactual. Credibilitatea rezultatului depinde de cât de bună este această comparație și de cât de plauzibile sunt ipotezele necesare.

Rezultatul observat nu este același lucru cu efectul produs

Să presupunem că o campanie este asociată cu venituri de 500.000 de lei. Această valoare nu arată cât venit a produs campania. O parte dintre clienți ar fi cumpărat și fără reclamă, deoarece:

  • cunoșteau deja compania;
  • căutau deja produsul;
  • au primit o recomandare;
  • au revenit direct pe site;
  • au reacționat la o promoție independentă de campanie;
  • au fost influențați de alte canale;
  • ar fi cumpărat în perioada respectivă din motive sezoniere.

Dacă, în absența campaniei, venitul ar fi fost de 430.000 de lei, efectul incremental estimat ar fi de 70.000 de lei, nu de 500.000 de lei.

Formula conceptuală este:

Efect incremental = rezultatul observat cu intervenția − rezultatul contrafactual estimat fără intervenție

Dificultatea reală nu constă în scădere, ci în estimarea credibilă a contrafactualului.

De ce conversiile atribuite nu demonstrează efectul marketingului

Atribuirea distribuie creditul pentru o conversie între punctele de contact observate. Ea poate răspunde la întrebări precum:

  • care reclamă a fost accesată înainte de comandă;
  • ce canal a primit ultimul click;
  • cum distribuie platforma creditul între interacțiuni;
  • ce trasee apar frecvent înainte de conversie;
  • ce campanii raportează cele mai multe rezultate.

Aceste întrebări sunt utile, dar nu stabilesc automat dacă interacțiunea a modificat comportamentul clientului.

Un utilizator care caută numele companiei, accesează o reclamă de brand și cumpără poate fi atribuit campaniei. Totuși, este posibil ca el să fi cumpărat și dacă rezultatul plătit nu ar fi fost afișat. În acest caz, campania a primit credit pentru conversie, dar efectul său incremental poate fi mic.

Atribuirea pornește de la comportamentul observat

Modelele de atribuire analizează traseele care au existat. Ele nu observă traseul alternativ al acelorași persoane în absența campaniei.

În plus, datele disponibile sunt incomplete. O parte dintre interacțiuni nu pot fi conectate din cauza consimțământului, dispozitivelor diferite, browserelor, aplicațiilor, limitelor platformelor sau cumpărăturilor offline. Chiar și într-un sistem de tracking corect implementat, traseul observat nu este identic cu procesul real al deciziei de cumpărare.

Un audit de tracking poate verifica dacă datele sunt definite, colectate și transmise corect. El nu transformă însă automat datele observaționale în dovezi cauzale.

Platformele folosesc definiții diferite

Google Ads, Meta Ads, Google Analytics 4 și sistemul comercial pot raporta valori diferite deoarece folosesc:

  • ferestre de atribuire diferite;
  • modele de atribuire diferite;
  • momente diferite pentru înregistrarea conversiei;
  • identificatori diferiți;
  • reguli diferite privind anulările și retururile;
  • surse diferite pentru venit;
  • metode diferite de modelare a conversiilor neobservate.

Aceste diferențe nu înseamnă neapărat că unul dintre sisteme este greșit. Frecvent, sistemele răspund unor întrebări diferite. Articolul despre diferențele dintre veniturile GA4 și comenzile magazinului explică de ce reconcilierea trebuie făcută la nivel de tranzacție înainte de interpretare.

Atribuire versus incrementalitate

Atribuirea și incrementalitatea nu sunt două denumiri pentru aceeași analiză. Ele au obiective diferite.

DimensiuneAtribuireIncrementalitate
Întrebarea principalăCui îi acordăm credit pentru conversia observată?Ce rezultat suplimentar a produs intervenția?
Baza analizeiPuncte de contact și conversii observateComparația cu un contrafactual
Utilizare frecventăRaportare și optimizare operaționalăEvaluarea efectului și alocarea investiției
CauzalitateNu este demonstrată automatEste obiectivul explicit
Limită centralăPoate acorda credit unor conversii care s-ar fi produs oricumDepinde de calitatea designului și de ipotezele folosite

Atribuirea nu trebuie abandonată doar pentru că nu demonstrează cauzalitatea. Ea poate ajuta la:

  • monitorizarea implementării;
  • identificarea erorilor;
  • analiza traseelor;
  • optimizarea tactică;
  • compararea execuțiilor în interiorul aceluiași sistem;
  • transmiterea semnalelor către algoritmii platformelor.

Problema apare când rezultatele atribuite sunt interpretate ca efecte incrementale fără dovezi suplimentare.

Corelația nu este suficientă pentru o concluzie cauzală

Corelația arată că două variabile se modifică împreună. Cauzalitatea presupune că schimbarea uneia produce, în anumite condiții, schimbarea celeilalte.

Cheltuielile de marketing și vânzările sunt adesea corelate pozitiv. Aceasta nu dovedește singură că fiecare creștere de buget a produs creșterea vânzărilor. Companiile pot cheltui mai mult exact în perioadele în care se așteaptă deja la cerere mai mare, cum ar fi sărbătorile, începutul sezonului sau lansarea unui produs.

În acest caz, sezonalitatea influențează simultan atât investiția, cât și vânzările. Dacă nu este controlată, o parte din efectul sezonului poate fi atribuit greșit marketingului.

Alte explicații alternative pot include:

  • modificarea prețurilor;
  • promoțiile;
  • schimbarea stocurilor;
  • activitatea concurenților;
  • evoluția economică;
  • distribuția;
  • vremea;
  • notorietatea acumulată anterior;
  • schimbarea portofoliului;
  • modificările operaționale.

O analiză cauzală credibilă trebuie să identifice aceste explicații și să arate cum au fost eliminate, controlate sau incluse în nivelul de incertitudine.

Ce metode pot fi folosite pentru măsurarea efectului marketingului

Nu există o metodă universală care să rezolve toate întrebările de marketing. Fiecare familie de metode construiește contrafactualul într-un mod diferit.

Experimentele randomizate

Într-un experiment randomizat, unitățile eligibile sunt repartizate aleatoriu între cel puțin două grupuri:

  • grupul de tratament, care primește intervenția;
  • grupul de control, care nu o primește sau primește versiunea curentă.

Randomizarea urmărește să distribuie atât diferențele observabile, cât și diferențele neobservabile între grupuri. Dacă experimentul este suficient de mare și implementat corect, diferența dintre rezultate poate fi atribuită intervenției cu un nivel de incertitudine cuantificabil.

Google Ads, de exemplu, permite experimente în care traficul este împărțit între variante de control și tratament pentru testarea unor modificări de campanie. Aceste experimente pot evalua schimbări de licitare, structură sau alte setări, dar întrebarea testată trebuie formulată atent. Un experiment de platformă poate măsura efectul unei configurații față de alta fără să demonstreze neapărat efectul întregului canal asupra companiei.

Limitele experimentelor

Un experiment poate produce concluzii slabe atunci când:

  • eșantionul este prea mic;
  • intervenția este prea redusă pentru a putea fi detectată;
  • grupurile se influențează reciproc;
  • tratamentul nu este aplicat consecvent;
  • perioada este prea scurtă;
  • indicatorul este ales după observarea rezultatelor;
  • experimentul surprinde doar efectul pe termen scurt;
  • rezultatul local este generalizat la alte audiențe, perioade sau canale.

Randomizarea întărește validitatea internă, dar nu garantează automat că rezultatul poate fi extrapolat la întreaga companie.

Testele de tip holdout

Într-un test holdout, o parte eligibilă a audienței nu primește intervenția, iar rezultatele sale sunt comparate cu cele ale grupului expus. Diferența poate fi folosită pentru estimarea liftului incremental.

Un astfel de test este potrivit când platforma sau infrastructura permite separarea reală a grupurilor. Trebuie verificat însă dacă persoanele din control nu sunt expuse prin alte campanii, dispozitive, conturi sau canale.

Experimentele geografice

Experimentele geografice folosesc regiuni ne-supravuse ca unități de test. Unele regiuni primesc intervenția sau o modificare de buget, iar altele formează grupul de control.

Cercetările Google privind experimentele geo descriu repartizarea regiunilor între tratament și control pentru estimarea efectului publicității. Metoda poate fi utilă atunci când randomizarea individuală nu este posibilă, inclusiv pentru canale care funcționează la nivel de piață sau regiune.

Calitatea testului depinde de:

  • comparabilitatea regiunilor;
  • numărul unităților geografice;
  • stabilitatea relației dintre regiuni;
  • dimensiunea intervenției;
  • durata testului;
  • absența transferurilor între regiuni;
  • controlul promoțiilor și al schimbărilor operaționale.

România poate ridica dificultăți practice din cauza numărului limitat de regiuni suficient de mari și comparabile. Un test care compară pur și simplu Bucureștiul cu un alt județ nu devine automat un experiment credibil. Diferențele structurale pot domina efectul campaniei.

Metodele observaționale

Metodele observaționale încearcă să estimeze efectul folosind date produse fără repartizare randomizată. Exemplele includ:

  • difference-in-differences;
  • matching;
  • synthetic control;
  • regresii cu variabile de control;
  • serii temporale întrerupte;
  • modele structurale sau cauzale.

Aceste metode pot fi utile când experimentarea nu este posibilă, dar rezultatele depind mai mult de ipoteze. De exemplu, o analiză difference-in-differences presupune în mod obișnuit că grupurile ar fi urmat tendințe paralele în absența intervenției. Această ipoteză nu poate fi demonstrată complet doar din datele observate.

Într-un raport managerial, ipotezele trebuie prezentate explicit. O estimare nu devine adevăr doar pentru că a fost produsă de un model statistic complex.

Marketing Mix Modeling

Marketing Mix Modeling, prescurtat MMM, folosește de regulă date agregate în timp și, când sunt disponibile, pe regiuni. Modelul încearcă să separe contribuția canalelor de marketing de tendințe, sezonalitate și alți factori care influențează rezultatul.

Un model poate include:

  • cheltuieli sau expuneri media;
  • vânzări sau alte rezultate comerciale;
  • prețuri;
  • promoții;
  • sezonalitate;
  • activitate concurențială;
  • indicatori economici;
  • distribuție;
  • evenimente și sărbători;
  • variabile organice sau non-media.

Modelele moderne încearcă să reprezinte și două mecanisme importante:

  • adstock, adică persistența în timp a efectului publicității;
  • saturația, adică reducerea randamentului marginal pe măsură ce investiția crește.

Google Meridian descrie MMM drept o problemă fundamental cauzală și recomandă ca deciziile de modelare să urmărească estimarea efectelor, nu doar reducerea erorii de predicție. Documentația avertizează că performanța predictivă nu validează direct calitatea inferenței cauzale. Un model poate reproduce bine trecutul și totuși poate atribui greșit contribuția canalelor.

Meta Robyn subliniază, la rândul său, rolul datelor, al variației investițiilor, al variabilelor externe, al adstockului, saturației și calibrării prin experimente.

Ce poate face MMM

Un Marketing Mix Model bine construit poate ajuta la:

  • estimarea contribuției canalelor la nivel agregat;
  • analiza canalelor online și offline într-un cadru comun;
  • evaluarea efectelor pe termen mai lung;
  • estimarea curbelor de răspuns;
  • analiza scenariilor de buget;
  • compararea randamentelor marginale;
  • sprijinirea alocării investiției.

Ce nu poate face automat MMM

MMM nu elimină nevoia de judecată și nu garantează cauzalitatea doar pentru că folosește o regresie sau un model bayesian. Rezultatul poate fi distorsionat de:

  • date insuficiente;
  • variație redusă a investiției;
  • canale care se modifică simultan;
  • variabile omise;
  • definiții comerciale incorecte;
  • schimbări structurale în companie;
  • specificarea greșită a modelului;
  • prioruri neplauzibile;
  • granularitate nepotrivită;
  • interpretarea mecanică a optimizatorului de buget.

Calibrarea cu rezultate experimentale poate crește credibilitatea modelului. Experimentele și MMM nu trebuie privite neapărat drept metode concurente. Experimentele pot oferi estimări cauzale mai directe pentru anumite intervenții, iar MMM poate integra informațiile într-o perspectivă mai largă asupra mixului.

Cum alegi metoda potrivită

Metoda trebuie aleasă pornind de la decizia care urmează să fie luată, nu de la instrumentul disponibil sau de la metoda care pare mai sofisticată.

ÎntrebareMetodă posibilăLimită importantă
Ce variantă de campanie funcționează mai bine?Experiment A/B în platformăCompară variante, nu neapărat canalul cu absența lui
Ce conversii sunt asociate canalelor observate?AtribuireNu estimează automat efectul incremental
Ce rezultate suplimentare produce o campanie digitală?Holdout sau experiment randomizatNecesită separarea corectă a grupurilor
Ce efect are publicitatea într-o piață?Experiment geoNecesită regiuni comparabile și intervenție detectabilă
Cum contribuie întregul mix de canale?Marketing Mix ModelingDepinde de variație, date și ipoteze cauzale
Ce efect a avut o schimbare care nu poate fi randomizată?Metodă observaționalăRezultatul depinde de ipoteze mai puternice

Întrebarea managerială trebuie formulată precis

„Funcționează marketingul?” este prea larg. O întrebare utilă trebuie să precizeze:

  • intervenția;
  • populația;
  • rezultatul;
  • perioada;
  • alternativa analizată;
  • decizia care va fi schimbată.

De exemplu:

Care este efectul creșterii cu 20% a bugetului pentru campaniile de prospectare asupra profitului generat de clienții noi în următoarele 90 de zile, comparativ cu menținerea bugetului actual?

Această formulare este mai utilă decât întrebarea „Care este ROAS-ul campaniei?”, deoarece definește intervenția, comparația și rezultatul economic.

Costul unei concluzii greșite contează

Nu fiecare decizie justifică un proiect complex de măsurare. Dacă bugetul este redus, intervenția reversibilă și riscul limitat, o aproximare poate fi suficientă.

În schimb, o companie care urmează să realoce milioane de lei, să întrerupă un canal sau să schimbe strategia de creștere trebuie să solicite dovezi mai puternice.

Rigoarea metodei ar trebui să crească odată cu:

  • valoarea deciziei;
  • ireversibilitatea ei;
  • incertitudinea existentă;
  • numărul explicațiilor alternative;
  • riscul comercial al unei concluzii greșite.

Ce indicatori trebuie măsurați

Efectul incremental poate fi calculat pentru mai multe rezultate. Alegerea indicatorului trebuie să reflecte mecanismul comercial al companiei.

Conversii incrementale

Conversiile incrementale reprezintă numărul suplimentar de conversii produse de intervenție față de contrafactual.

Conversii incrementale = conversii în tratament − conversii contrafactuale estimate

Indicatorul poate fi util, dar tratează toate conversiile ca fiind echivalente. În realitate, comenzile pot avea valori, marje, probabilități de retur și costuri de servire diferite.

Venit incremental

Venitul incremental estimează valoarea vânzărilor suplimentare produse de marketing.

Venit incremental = venit observat − venit contrafactual estimat

Venitul nu reprezintă însă profit. O campanie poate genera venit incremental și, în același timp, să distrugă valoare dacă marja este prea mică.

Incremental ROAS

Incremental ROAS, sau iROAS, raportează venitul incremental la costul incremental al intervenției:

iROAS = venit incremental / cost incremental de marketing

Indicatorul este diferit de ROAS-ul atribuit de platformă. Platforma poate include toate veniturile asociate campaniei, în timp ce iROAS urmărește doar venitul suplimentar estimat.

Profit incremental

Pentru deciziile comerciale, profitul incremental este adesea mai relevant:

Profit incremental = marja incrementală − costurile incrementale ale intervenției

Calculul poate necesita includerea:

  • costului produselor;
  • discounturilor;
  • retururilor;
  • transportului subvenționat;
  • taxelor de plată;
  • comisioanelor;
  • costurilor operaționale variabile;
  • costului media;
  • costurilor agenției sau tehnologiei, când sunt incrementale.

Articolul despre ROAS versus profit explică de ce venitul atribuit unei campanii nu poate fi interpretat automat ca valoare economică produsă.

De ce MER nu este o măsură cauzală

Marketing Efficiency Ratio raportează venitul total la cheltuiala totală de publicitate. Este un indicator agregat care poate reduce unele probleme de dublă atribuire și poate ajuta la monitorizarea relației dintre investiție și venit.

Totuși, MER nu izolează efectul marketingului. Indicatorul poate crește sau scădea din cauza:

  • sezonalității;
  • prețurilor;
  • promoțiilor;
  • cererii organice;
  • retenției;
  • stocurilor;
  • mixului de produse;
  • notorietății acumulate;
  • schimbării canalelor de vânzare.

Prin urmare, MER versus ROAS este o comparație utilă pentru raportare, dar niciunul dintre indicatori nu substituie un design de măsurare a incrementalității.

Erori frecvente în măsurarea efectului marketingului

Interpretarea ROAS-ului drept efect cauzal

ROAS-ul platformei raportează venitul atribuit conform regulilor sistemului. Nu arată câte dintre vânzări nu s-ar fi produs fără campanie.

Compararea canalelor după rapoartele proprii

Două platforme pot revendica aceeași conversie. Adunarea rezultatelor raportate poate depăși vânzările reale ale companiei.

Oprirea campaniei și compararea perioadelor

Compararea săptămânii cu publicitate cu săptămâna fără publicitate nu izolează efectul dacă s-au schimbat simultan cererea, promoțiile, prețurile sau stocurile.

Alegerea metodei după rezultatul dorit

O companie poate prefera modelul care justifică bugetul existent. Aceasta este o problemă de guvernanță, nu doar una statistică.

Ignorarea incertitudinii

O estimare de 1,8 pentru iROAS nu trebuie prezentată ca valoare exactă dacă intervalul plauzibil este foarte larg. Managementul trebuie să vadă incertitudinea relevantă pentru decizie.

Optimizarea după venit, fără marjă

Marketingul poate crește vânzările prin produse, clienți sau promoții cu profitabilitate redusă. Efectul asupra veniturilor și efectul asupra profitului trebuie analizate separat.

Confundarea unui test de execuție cu un test de incrementalitate

Un experiment între două reclame poate arăta care variantă produce mai multe conversii. Nu demonstrează automat că publicitatea, comparativ cu absența ei, produce conversii suplimentare.

Un proces managerial pentru măsurarea efectului marketingului

1. Definește decizia

Precizează ce decizie va fi schimbată de rezultat: buget, canal, ofertă, audiență, regiune, frecvență sau structură de campanie.

2. Definește rezultatul economic

Stabilește dacă măsori comenzi, venit, marjă, profit, clienți noi, retenție sau valoare pe termen lung.

3. Formulează intervenția și alternativa

Compară două stări suficient de clare: buget majorat versus buget actual, campanie activă versus holdout, strategie nouă versus strategie curentă.

4. Desenează mecanismul cauzal

Explică prin ce mecanism ar trebui intervenția să producă rezultatul și ce alte variabile ar putea influența simultan expunerea și rezultatul.

5. Verifică datele

Înainte de modelare, verifică definițiile, identificatorii, tranzacțiile, anulările, costurile și concordanța dintre sisteme. Datele mai sofisticat modelate nu compensează definițiile comerciale greșite.

6. Alege designul

Folosește cel mai credibil design disponibil pentru întrebarea respectivă: experiment individual, holdout, test geo, metodă observațională sau MMM.

7. Stabilește analiza înainte de rezultat

Definește indicatorii, perioada, excluderile și criteriile înainte de observarea rezultatului. Aceasta reduce riscul ajustării analizei până când apare concluzia dorită.

8. Raportează estimarea și incertitudinea

Prezintă atât valoarea estimată, cât și intervalul de incertitudine, sensibilitatea la ipoteze și explicațiile alternative care nu au putut fi eliminate.

9. Tradu rezultatul în economie

Transformă efectul asupra conversiilor sau veniturilor în marjă și profit. Include costurile care se modifică odată cu intervenția.

10. Repetă măsurarea

Efectul nu este o constantă universală. El poate varia după sezon, audiență, creativ, nivel de buget, concurență și maturitatea brandului.

Cum arată un sistem matur de măsurare

Un sistem matur nu încearcă să forțeze toate deciziile într-un singur model. El combină mai multe straturi:

  • date comerciale pentru rezultatul real;
  • tracking pentru observarea comportamentului;
  • atribuire pentru raportare operațională;
  • experimente pentru estimări cauzale punctuale;
  • Marketing Mix Modeling pentru perspectiva agregată;
  • analiză financiară pentru marjă și profit;
  • judecată managerială pentru deciziile care nu pot fi automatizate.

Rezultatele metodelor trebuie reconciliate, nu amestecate fără discernământ. Un experiment și un MMM pot produce estimări diferite deoarece măsoară perioade, populații, intervenții sau indicatori diferiți. Diferența trebuie investigată înainte de alegerea rezultatului convenabil.

Măsurarea efectului marketingului nu înseamnă alegerea unui dashboard mai sofisticat și nici înlocuirea unui model de atribuire cu un altul. Înseamnă construirea unei comparații credibile între rezultatul observat și ceea ce s-ar fi întâmplat fără intervenție.

Atribuirea explică distribuirea creditului pentru conversiile observate. Incrementalitatea urmărește rezultatul suplimentar produs. Experimentele construiesc contrafactualul prin grupuri de control, iar Marketing Mix Modeling încearcă să estimeze contribuțiile la nivel agregat, în condițiile unor ipoteze explicite.

Metoda potrivită depinde de întrebare, date, posibilitatea experimentării și costul unei concluzii greșite. Pentru management, criteriul final nu este cât de avansat pare modelul, ci dacă dovezile sunt suficient de credibile pentru decizia care urmează să fie luată.

Surse și lecturi suplimentare

Continuă analiza

Atunci când atribuirea, trackingul și rapoartele platformelor produc concluzii contradictorii, un diagnostic al sistemului de analytics și tracking poate stabili ce date sunt suficient de credibile și ce metodă de măsurare este justificată.