onsdag 15 juli 2015

Webbpaneler, kvalitet och sannolikhetsurval

 Bildresultat för sannolikhetsurval
Av Måns Månsson
Allt fler undersökningar genomförs idag med webbpaneler. Som svar på detta har Surveyföreningen kommit med en rapport om kvalitet i webbpaneler. Dock lägger denna rapport ett allt för stort fokus på huruvida rekryteringen har skett med självrekryterade urval eller med sannolikhetsurval. Med så pass låga (kumulativa) deltagarandelar som dagens webbpaneler har, blir frågan om sannolikhetsurval mindre intressant. Det som istället spelar roll är vilka kalibreringsmodeller som används.



I februari presenterade Surveyföreningen sitt arbete avseende kvalitet i webbpaneler. Ett av de huvudsakliga problemen som lyftes i samband med seminariet är att många webbpaneler använder självselekterade urval, istället för de i undersökningssammanhang klassiska sannolikhetsurvalen. Problemet med självselekterade urval i webbpaneler lyfts i Surveyföreningens rapport liksom i Torbjörn Sjöströms artikel i senaste Qvintensen. Det konstateras ofta att det inte finns någon statistisk teori då självselekterade urval används och att dessa därför ”saknar vetenskaplig grund”. Även i Surveyföreningens arbete ”Kvalitet i webbpanelundersökningar: metoder och mått” lyfts bristen på teori för självselekterade urval fram gång på gång. För självselekterade urval menar författarna att ”[n]ågon teoretisk grund för att beräkna osäkerhetstal finns inte” (sidan 19).  Osäkerhetsintervall bör därför inte produceras eller publiceras.


Jag menar att dessa slutsatser är fel väg att gå för att bedöma kvaliteten i webbpanelundersökningar, dels för att det finns statistisk teori – även om den inte bygger på teorin för sannolikhetsurval - och dels för att osäkerhetsintervall är det självklara sättet vi alltid bör presentera statistisk osäkerhet på.


Idag är det stora (och ökande) bortfallet ett stort problem för de flesta moderna undersökningar. Vid seminariet konstaterades att det inte är ovanligt med bortfall på över 60 % för vanliga undersökningar och (kumulativa) bortfall på mer än 95 % i webbpanelundersökningar. Bortfallet påverkar våra skattningar och introducerar alltid bortfallsfel – en felkälla som inte heller minskar med antalet observationer. Med hjälp av kalibrering kan vi även vid relativt stora bortfall minska bortfallsfelet – givet att vi har en god bortfallskompensatorisk modell med bra hjälpvariabler. Ju större vårt bortfall är, desto tyngre vilar våra resultat på denna kompensatoriska modell, denna ”magiska viktning” som Torbjörn Sjöström kallar det. Idag betyder det att webbpaneler, sannolikhetsurval eller ej, i praktiken är beroende av den kompensatoriska modellen.


Att i fallet med webbpaneler då göra en stor skillnad på sannolikhetsurval (med ex. 96% kumulativt bortfall) och självselekterade urval (som vi kan se som ett urval med 99,99…% bortfall) blir missvisande. Det centrala, i båda fallen, är vilken bortfallskompensatorisk modell som används – inte huruvida den lilla grupp som rekryteras har kända inklusionssannolikheter eller inte.


Det är också här jag inte delar synsättet i Surveyföreningens rapport, eller i de resonemang som fördes fram vid seminariet och i Torbjörn Sjöströms artikel i förra Qvintensen. Att det inte finns någon teori eller vetenskaplig grund för självselekterade urval är ett felaktigt påstående. Det finns en lång tradition av modellbaserad stickprovsteori för ändliga populationer, både frekventistisk och bayesiansk, som kan användas. Ett allt vanligare exempel där denna metodik används är skattningar för små undersökningsgrupper (small area estimation). Med dessa metoder kan vi beräkna konfidensintervall, medelkvadratfel eller tillhandahålla beslutsunderlag i form av posteriorifördelningar med många goda teoretiska egenskaper. Vi blir dock modellberoende – liksom i fallet då vi stöder oss på vår bortfallskompensatoriska modell. Men genom att bygga vår teori för webbpaneler på modellbaserad skattningsmetodik får vi ett naturligt sätt att presentera vår osäkerhet med osäkerhetsintervall, samtidigt som vi kan använda oss av kunskaperna för bortfallskompensation som kalibrering från stickprovsteorin. Särskilt den bayesianska metodiken har här fördelar som kan utnyttjas då vi kan inkludera metodologisk kunskap och resultat som stöd i våra skattningar.


I Surveyföreningens text avråds nu från osäkerhetsintervall vid självselekterade urval.  Det vi då ger intryck av att säga är att det inte finns någon osäkerhet i våra estimat. Det är ju helt fel – med så starka modellberoenden är vi mer osäkra på våra skattningar än om vi hade ett sannolikhetsurval med 100 % svarsfrekvens. Hur ska personer som inte är statistiskt kunniga kunna omvandla kvalitativa mått på en webbpanel till kunskap om enskilda skattningar? Här ligger ett ansvar hos oss statistiker att presentera och utveckla modeller för att fånga in och presentera denna osäkerhet – inte att låta bli att försöka eller hävda att det inte finns teori för osäkerhetsmått.


Vad finns det då för ytterligare kvalitetsindikatorer för webbpaneler som skulle behövas? Jag skulle hävda att den mest centrala kvalitetsdimensionen är öppenhet och reproducerbarhet. Vilka modellantaganden görs och hur görs beräkningarna, det är inte ovanligt att det bara konstateras att omviktning görs efter ett antal variabler. Inte hur denna viktning görs.


Istället för att lägga vår kraft på om de få procent som deltar i webbpaneler är insamlade med sannolikhetsurval eller inte bör vi istället fokusera på de bortfallskompensatoriska modellerna och den teori som redan finns och skapa metoder för att presentera osäkerhet från självselekterade urval. Vi bör fokusera på öppenhet som en kvalitetsindikator i en värld där det inte finns någon statistisk inferens från webbpaneler som inte är modellberoende.


Måns Magnusson