Det här handlar om ett verkligt fall. Jag är inte själv inblandad, men jag har av en slump råkat få lite inblick i fallet, och jag vill här återge vissa resonemang som jag lagt märke till. För att inte chikanera de inblandade har jag i denna framställning avidentifierat dem. Detta gör att jag inte kan ange källor till de citat jag ger.
Bakgrunden är följande: En statlig myndighet, M, behöver för sin verksamhet viss månatlig statistik som ska belysa vissa saker i samhället. Man kan inte samla in statistiken själv utan går ut med en så kallad upphandling. Flera anbud från olika undersökningsföretag kommer in. Efter granskning kvarstår anbuden från de båda undersökningsföretagen A och B som intressanta för myndigheten.
Myndigheten M bestämmer sig slutligen för att anta anbudet från företaget A, vilket framkallar invändningar från företaget B, som överklagar i diverse rättsliga instanser. Myndigheten M:s beslut kvarstår dock. Det är skriftväxlingen i det här ärendet, som jag fått viss inblick i.
Anbuden från A och B ligger ekonomiskt nära varandra. Det är alltså inte av ekonomiska skäl man fastnat för A, utan valet sker på andra grunder. Det kan vara intressant (ibland häpnadsväckande) för en statistiker att se hur resonemanget har gått.
Metodskillnader mellan de två anbuden
Företaget A erbjuder sig att leverera statistik genom en så kallad webbpanelundersökning. Generellt sker urvalet vid en sådan undersökning i två faser: (1) Först rekryteras en panel bestående av personer, som förklarar sig villiga att medverka som respondenter i flera framtida undersökningar via webben, ifall de blir utvalda. (2) För varje specifik undersökning görs sedan ett urval av personer från den givna panelen. I A:s fall köper man en färdig panel från företaget CINT, som är en välkänd leverantör av sådana paneler. Från denna köpta panel tänker man sedan varje månad göra ett urval av personer.
Hur den köpta panelen har rekryterats har man ingen detaljerad kunskap om, men av de papper jag sett har jag förstått att panelen har bildats genom hopslagning av omkring hundra olika paneler. Sådana här paneler brukar vanligtvis erhållas genom självrekrytering eller annat icke-sannolikhetsbaserat urvalsförfarande, och det finns anledning att tro att så är fallet även här. Själva datainsamlingen sker genom webbenkät till de personer som väljs ut från panelen.
Företaget B erbjuder sig att leverera statistik genom en undersökning av mer traditionellt slag. De personer som ska tillfrågas varje månad är här ett personurval från SPAR (Statens personadressregister, vilket omfattar alla som är folkbokförda i Sverige). Man skaffar sedan telefonnummer för de utvalda personerna; i första hand fasta abonnemang, i andra hand mobila. Datainsamlingen tänks sedan ske genom telefonintervju.
Ur statistisk metodsynpunkt skiljer sig de båda anbudsgivarnas förslag från varandra i två viktiga avseenden, nämligen i fråga om urvalsmetod och i fråga om datainsamlingsmetod. Vad gäller urval är det webbpanelundersökning gentemot personurval från ett personregister. Vad gäller datainsamling är det webbenkät gentemot telefonintervju.
Ett viktigt begrepp när man ska diskutera urvalsförfarande är begreppet sannolikhetsurval. Med detta menas (1) att det finns en entydigt definierad population från vilken urval ska göras med användande av en viss urvalsram, och (2) att urvalet görs med användande av en av oss själva kontrollerad slumpmekanism, så att varje individ i urvalsramen får en känd sannolikhet, större än noll, att bli utvald. Urvalsförfaranden som inte uppfyller villkoren för sannolikhetsurval faller under rubriken icke-sannolikhetsurval. Huruvida ett urvalsförfarande kan betraktas som sannolikhetsurval eller ej är en viktig sak, eftersom det bara är i fallet med sannolikhetsurval som det går att beräkna konfidensintervall, såvida man inte har en välgrundad statistisk modell för undersökningsvariablerna.
Hur är det nu i de två aktuella fallen, kan något av de två urvalsförfarandena ses som exempel på sannolikhetsurval? I fallet A kan man direkt säga att det inte är fråga om sannolikhetsurval. Visserligen säger A i en skrivelse till rättsliga instanser att urvalet av personer från panelen är ”slumpmässigt”, men eftersom själva panelrekryteringen antagligen inte skett genom sannolikhetsurval, så kan urvalsförfarandet som helhet inte betraktas som sannolikhetsurval från en klart definierad population. Vidare brukar vanligen bortfallet vid panelrekrytering och urval från panelen vara så stort att urvalet även av denna anledning inte kan betraktas som sannolikhetsurval. Det går då inte att beräkna konfidensintervall, såvida man inte har en välgrundad statistisk modell för hur bortfallet uppkommer. Det verkar som om man i detta fall inte har någon sådan modell.
Även i fallet B är det osäkert om man kan tala om sannolikhetsurval. Visserligen är urvalet från början ett sannolikhetsurval, men om man därefter har ett stort bortfall, så kan den kvarstående mängden av respondenter inte utan vidare betraktas som erhållen genom sannolikhetsurval. Jag har tolkat de uppgifter jag sett som att man räknar med en svarsfrekvens på cirka 45 procent, alltså ett bortfall på cirka 55 procent. Det är alltså även här mycket tveksamt ifall det är meningsfullt att försöka beräkna konfidensintervall.
Uttalanden från myndigheten M
De två citat som här följer är hämtade från papper där myndigheten M kommenterar sitt val av A som statistikleverantör. Sin allmänna syn på statistisk undersökningsmetodik ger myndigheten i följande uttalande:
Alla urvalsundersökningar är alltid behäftade med kvalitetsbrister. Beroende på val av undersökningsmetod uppstår kvalitetsproblem på lite olika sätt, men de finns alltid där.
Webbpanelundersökningar är behäftade med vissa problem, telefonintervjuunder-sökningar med andra. Den tekniskt mest riktiga metoden är troligen postala undersökningen mot totalbefolkningen, men där uppstår andra komplikationer, bl a kostnaden.
Vi kan konstatera att de för en statistiker viktigaste frågorna, de om urvalsförfarande och möjligheter att dra slutsatser från stickprovet till populationen, inte nämns vare sig i citatet ovan eller någon annanstans i det citerade dokumentet. Varför postenkäter skulle vara den ”tekniskt mest riktiga metoden” förstår jag inte.
I information inför sin kommande upphandling skrev myndigheten att ”varje leverantör får ta ansvar för att levererade data håller önskad kvalitet, vilket i anbud specificeras med avseende på konfidensintervall”. Vid jämförelse mellan de anbud, som sedan kom in, lade myndigheten stor vikt vid anbudsgivarnas beskrivning av konfidensintervall. Där gav myndigheten högst betyg åt A, högre betyg än vad man gav åt B. Myndigheten sade:
Vår bedömning är att A gjort en omfattande, noggrann och pedagogisk sammanställning av beräkningar av konfidensintervall […]. Vår bedömning är att B gjort en mer kortfattad sammanställning med färre exempel.
Den viktigaste frågan, den om det överhuvudtaget är möjligt att beräkna tillförlitliga konfidensintervall i de undersökningar som det här är frågan om, var man från myndighetens sida uppenbart omedveten om.
De båda uttalanden som här citerats tyder enligt min mening på brist på statistisk medvetenhet hos myndigheten M. Detta ska inte uppfattas som kritik. Vad jag menar är att när en myndighet saknar egen kompetens i en bedömningsfråga, så kan man söka hjälp av utomstående experter, i detta fall till exempel Statistiska centralbyrån.
Uttalanden från undersökningsföretaget A
Som redan nämnts kom B med invändningar mot att myndigheten valt A som statistikleverantör. Den ur statistisk metodsynpunkt mest intressanta invändningen har att göra med om det är möjligt att beräkna tillförlitliga konfidensintervall vid den typ av undersökningar som A föreslår. Som också sagts ovan hänger denna fråga ihop med frågan om data från en webbpanelundersökning kan betraktas som erhållna genom sannolikhetsurval eller ej.
I skrivelse till Förvaltningsrätten hävdar A att urvalet till deras webbpanelundersökning är ett sannolikhetsurval:
Respondenterna är INTE självrekryterade […] utan enkäten skickas slumpmässigt ut till ett urval från de 450 000 individer som är panelmedlemmar i vår samarbetspartners CINTs paneldatabas.
A glömmer här att urvalet vid en webbpanelundersökning görs i två faser. I första fasen rekryteras en panel från populationen, i andra fasen görs ett urval från panelen till den specifika undersökningen. Om panelen erhållits genom självrekrytering, så blir urvalsförfarandet i sin helhet ett icke-sannolikhetsurval. Då hjälper det inte att urvalet från panelen till den specifika undersökningen gjorts med sannolikhetsurval.
Det faktum att panelen som A erhållit från CINT utgör en hopslagning av cirka hundra paneler, som tillkommit på olika sätt kommenteras av A på följande sätt:
Detta ger att respondenterna i en undersökning kommer från olika paneler som ägs av olika företag med olika rekryteringssätt och olika ersättningslösningar. Detta medför att det naturliga bias som finns i alla paneler reduceras.
Att eventuell skevhet i en panel skulle bli mindre, ifall panelen är hopsatt av ett stort antal mindre paneler, är ett påstående som, såvitt jag förstår, saknar empirisk grund.
Beträffande sannolikhetsurval och konfidensintervall säger A slutligen:
Eftersom hela 36 000 respondenter på årsbasis väljs ut slumpmässigt från hela 450 000 svenska medlemmar kan urvalet sägs vara nära sannolikhetsurval. Med ett så stort urval som 36 000 st så är de variabler som mäts normalfördelade och därför möjligt att beräkna konfidensintervall på. Urvalet blir därför inte skevt i den utsträckning som den kritik säger som riktas mot självrekryterade paneler (se Stora talens lag).
I det citerade uttalandet sägs, såvitt jag förstår, följande:
- Om ett urval är stort, så blir det ”nära” ett sannolikhetsurval (oavsett hur urvalet gjorts).
- Om ett urval är stort, så blir undersökningsvariablerna normalfördelade.
- Då blir det möjligt att beräkna konfidensintervall.
- Då kommer självrekrytering inte att orsaka skevhet i större utsträckning.
- Allt detta följer av Stora talens lag.
Jag finner detta fullständigt obegripligt. Och uppenbarligen har varken myndigheten eller rättsinstanserna haft sakkunskap att bedöma uttalanden av detta slag.
En avvikelse från ämnet
På några ställen i de dokument jag studerat har jag sett hänvisning till en skrivelse från Eurostat, Riktlinjer för europeisk statistik, där det i den svenska översättningen bland annat sägs att
[…] insamlingen av statistiska uppgifter ska uppfylla höga krav på opartiskhet, insyn, tillförlitlighet, objektivitet, vetenskapligt oberoende, kostnadseffektivitet och insynsskydd för statistiska uppgifter.
Här finns en för mig obegriplig term, nämligen ”vetenskapligt oberoende”. Vad är det för någonting? Det är tydligen inte detsamma som opartiskhet och objektivitet, för dessa saker har ju redan räknats upp. Jag gissar att man kanske menar att insamlingen av uppgifter ska vila på någon sorts vetenskaplig grund. Men då borde väl datainsamlingen vara i någon mening beroende av vetenskapen snarare än oberoende?
JAN WRETMAN
