Samtlige produsenter tar målet om god kvalitet i offisiell statistikk på alvor, men det er forbedrings­punkter. Det er behov for at alle produsenter tilgjengeliggjør skriftlig dokumentasjon av retnings­linjer, rutiner, metoder og kvalitet. Det anbefales at det arbeides for bedre rutiner for publisering av foreløpige tall. Flere produsenter må finne gode løsninger for å ivareta statistikklovens bestemmelser om konfidensialitet og bør ta initiativ til mer regelmessig brukerkontakt.

Systemet for kvalitetssikring må utvikles videre og suppleres. Etablerte metoder må gjennomgås og forenkles, og anvendes på all offisiell statistikk. Nye metoder, som måling av kvalitet i sanntid, bør utvikles og gjøres tilgjengelig for produksjon av offisiell statistikk.

Informasjonskilder

Denne første rapporten bygger på informasjon fra forskjellige kilder.

Den viktigste kilden er kvalitetsevalueringen som er en ny undersøkelse (kapittel 3). Utgangspunkt for kvalitetsevalueringen er kvalitetskrav i statistikkloven og kvalitetsprinsipper fra Retningslinjer for europeisk statistikk (SSB 2017). Alle produsentene av offisiell statistikk, inklusive de tre statistikk­avdelingene i SSB, ble inkludert i kvalitetsevalueringen. Datainnsamlingen ble gjennomført i perioden september 2021 – januar 2022. Resultatene fra kvalitetsevalueringen blir i løpet av sommeren publisert som en delrapport (SSB 2022, under arbeid).

I november 2021 ble det gjennomført en Peer review (kapittel 4). Peer review er en fagfellevurdering på oppdrag av Eurostat. Den er avgrenset til Norges bidrag til det europeiske statistikksystemet. Selv om Peer review ikke gjelder all offisiell statistikk, er vurderingene og anbefalingene av interesse og inngår i denne rapporten.

Mange produsenter bruker data fra administrative informasjonssystemer som kilde for offisiell statistikk. Siden 2012 har SSB hatt et standardisert og formalisert samarbeid om blant annet kvalitet med eiere av administrative informasjonssystemer (kapittel 5). Det er i begrenset grad kartlagt om øvrige produsenter av offisiell statistikk har et tilsvarende samarbeid med dataeiere. Rapporten tar for seg status på SSBs samarbeid om kvalitet med eiere av administrative informasjonssystemer.

Relevans er et kvalitetskrav som er nevnt i statistikkloven § 5 og i Retningslinjer for europeisk statistikk. En statistikk som ikke oppfyller brukernes behov er ikke relevant. Brukerorienteringen er derfor viktig for sikring av kvalitet i statistikk og har en sentral plass i systemet for kvalitetssikring. Det er per i dag ikke systematisk kartlagt hvilket arbeid andre produsenter enn SSB gjør når det gjelder brukerorientering. Arbeid og status som er beskrevet i denne rapporten gjelder derfor først og fremst for SSB. Vurderinger og anbefalinger om brukerorientering gjelder allikevel alle produsenter.

Siden 2011 har SSB gjennomført kvalitetsgjennomganger som et viktig verktøy i det interne kvalitetsarbeidet. I en kvalitetsgjennomgang vurderes om en statistikk eller et statistikkområde oppfyller kvalitetskravene fra statistikkloven og Retningslinjer for europeisk statistikk (kapittel 7). Det er en gjennomgang av en statistisk produksjonsprosess for å kartlegge styrker og svakheter, og resulterer blant annet i en liste med anbefalte forbedringstiltak. Kapittelet om kvalitets­gjennomganger bygger på erfaringer fra kvalitetsarbeidet internt i SSB. Vurderingene og anbefalingene gjelder all offisiell statistikk.

Denne første kvalitetsrapporten bygger på det som er tilgjengelig av informasjon og systemer for kvalitet på tidspunktet for rapportering. I vurderingene og anbefalingene er det så langt som mulig forsøkt å se all produksjon av offisiell statistikk under ett.

Anbefalinger

Basert på datagrunnlaget fra ovenstående informasjonskilder ved utgangen av 2021 anbefales følgende hovedpunkter til forbedring.

Produsentene av offisiell statistikk bør forbedre skriftlig dokumentasjon av retningslinjer, rutiner, metoder og kvalitet. Skriftlig dokumentasjon bidrar til at flere prinsipper for kvalitet fra statistikkloven og Retningslinjer for europeisk statistikk blir oppfylt. Arbeidet med å utarbeide skriftlig dokumentasjon ble satt i gang av flere produsenter mens datainnsamlingen til kvalitetsevalueringen pågikk, men det gjenstår en del arbeid på området.

Det er store forskjeller blant produsenter av offisiell statistikk når det gjelder foreløpig statistikk. Det er ulike begrunnelser for å publisere foreløpig statistikk, samt forskjellig praksis og ulik oppfatning av hva som oppfattes som foreløpig statistikk. Brukere kan muligens oppfatte det som forvirrende, men den antagelsen er ikke undersøkt nærmere. Det anbefales at det arbeides for økt bevissthet om og bedre rutiner for publisering av foreløpige tall. Et spørsmål som flere produsenter kan stille seg, er om det er behov for å publisere foreløpig statistikk.

Produsentene tar lovens bestemmelser om statistisk konfidensialitet på alvor, men flere er usikre på hvordan man skal tolke loven og på å finne gode løsninger for å ivareta statistisk konfidensialitet. Det er en utfordring som bør gis svært høy prioritet fordi mangler på dette feltet kan svekke tilliten til offisiell statistikk.

SSB har avtaler om utlevering av data og samarbeid om kvalitet i administrative informasjons­systemer. Det anbefales at flere myndigheter som produserer offisiell statistikk også inngår slike avtaler. Dette kan også være et aktuelt tiltak innad i en virksomhet hvor en avdeling eier en datakilde og en annen bruker den til å lage offisiell statistikk.

De fleste produsenter oppfyller kvalitetskravet om at statistikken skal være relevant, men kvalitetsevalueringen tyder på at det kan være behov for økt bevissthet på dette området. Produsenter bør ha regelmessig brukerkontakt.

Metoder for å måle kvalitet

Denne kvalitetsrapporten bygger på kvalitetsevalueringen og kvalitetsinformasjon fra tidligere etablerte metoder. De etablerte metodene er anerkjente, men de brukes på rapporterings­tidspunktet ikke for all offisiell statistikk. I notatet «System for kvalitetssikring av offisiell statistikk» (SSB 2021a) varslet SSB at det er behov for mer informasjon om ulike sider av kvalitet i all offisiell statistikk. Selv om kvalitetsarbeidet er utviklet videre etter 2021, er det fortsatt behov for mer informasjon.

Det er behov for å samle inn og kartlegge mer av informasjonen produsentene har. En målsetning for kvalitetsarbeidet er mer kunnskap om kvalitet i offisiell statistikk ved å utvide kunnskaps­grunnlaget for bedre å utvikle systemet framover. Etablerte metoder bør videreutvikles og suppleres.

Kvalitetsgjennomganger skal gjøres hos alle produsenter av offisiell statistikk. Selvevalueringer som bygger på skjemaet til kvalitetsevalueringen kan tilpasses slik at det fungerer som en selvevaluering av statistiske prosesser og statistikker. Det anbefales å lage en systematisk fremgangsmåte for utvelgelse og prioritering av statistikker for kvalitetsgjennomganger blant alle produsenter. Kombinasjonen av grundige kvalitetsgjennomganger for enkelte statistikker med selvevalueringer av samlet statistikkproduksjon, vil gi et godt grunnlag for den årlige kvalitetsrapporten til Finans­departementet.

Det er startet et arbeid med å etablere kvalitetsindikatorer i SSBs produksjonsløp. Det anbefales at man utvikler og implementerer et sett med felles indikatorer hos alle produsenter.

Produsentene vil være tjent med verktøy og retningslinjer med mer som kan hjelpe dem til å følge opp kvalitetskrav fra statistikkloven og Retningslinjer for europeisk statistikk. Det vil være et fremskritt at alle produsenter er engasjert i kvalitetsarbeidet. Det er behov for arenaer der produsentene kan samarbeide om konkrete tiltak og få et tettere samarbeid. Det kan gjøres ved å bygge ut metodenettverket og forsterke kvalitetsaspektet. I dag er deltakelse i metodenettverket frivillig. Det bør utredes om det er behov for et mer forpliktende samarbeid om kvalitet mellom produsentene.

Bedre dokumentasjon av kvalitet og synliggjøring av kvalitetsarbeidet støtter målet om transparens og etterprøvbarhet, og vil gjøre det enklere å følge opp kvalitetshevende tiltak. En anbefaling fra Peer review er å utrede tiltak for å synliggjøre og dokumentere kvalitetssystemet.

Arbeidsdeling i kvalitetsarbeidet

Denne første rapporten om kvalitet i offisiell statistikk inneholder flere anbefalinger om tiltak som kan bidra til å heve kvaliteten i offisiell statistikk. Anbefalingene kan deles i to hovedgrupper. Den ene hovedgruppen er konkrete anbefalinger først og fremst fra kvalitetsevalueringen, men rapporten inneholder også noen konkrete anbefalinger fra de andre informasjonskildene. Den andre hovedgruppen er anbefalinger for utvikling av systemet for kvalitetssikring av offisiell statistikk.

Ansvaret for å gjennomføre tiltak som bygger på anbefalinger i den første gruppen ligger hos den enkelte produsent. Statistikkloven § 6 har gitt SSB et spesielt ansvar for samordningen av offisiell statistikk og rapporteringen om kvaliteten på offisiell statistikk. Den kommer i tillegg til oppgaven som produsent av offisiell statistikk. Det forutsettes at SSB gjør oppgaver i forbindelse med samordning og rapportering i samarbeid med Utvalget for offisiell statistikk. I hovedtrekk blir arbeidsdelingen som følger:

SSB

  • Planlegge, koordinere og samordne kvalitetsarbeidet om offisiell statistikk
  • Utarbeide en årlig offentlig rapport til departementet om kvaliteten på offisiell statistikk
  • Skaffe til veie datagrunnlaget for kvalitetsrapporten
  • Lede kvalitetsevalueringer og kvalitetsgjennomganger
  • Utvikle indikatorer for kvalitet i offisiell statistikk
  • Lede metodenettverket

Alle produsenter av offisiell statistikk

  • Følge opp anbefalinger fra kvalitetsevalueringen og kvalitetsrapporten ellers
  • Gjøre selvstendige kost-nytte vurderinger av anbefalingene og lage prioriteringer basert på vurderingene
  • Delta i kvalitetsevalueringer og kvalitetsgjennomganger
  • Delta aktivt i metodenettverket