Kvalitetsarbeidet i SSB

Kvalitetsarbeid er ikke nytt i SSB. Tidligere direktør Petter Jakob Bjerve skrev et notat om internasjonale trender i offisiell statistikk (PDF) i 1978. Her nevner han at statistikken skal optimalisere fordelene for dens brukere. For å få det til må den være relevant, objektiv, sammenhengende, punktlig og aktuell i tillegg til å være nøyaktig nok. Dette er stort sett de kriteriene som legges til grunn for å beskrive statistikkens kvalitet i dag. Men ofte ble kvalitet i forrige århundre først og fremst forbundet med nøyaktighet.

En kvalitetsrevolusjon

En kvalitetsrevolusjon fant sted over hele verden i siste halvdel av det 20. århundre. Dette hadde stor betydning for statistikkproduksjonen. Denne revolusjonen forbindes ofte med professor W. Edwards Deming og hans rådgivningsvirksomhet i Japan fra 1950, som ga grunnlaget for Total Quality Management (TQM – TKL eller total kvalitetsledelse på norsk). Et viktig prinsipp i TQM er kunde- eller brukerorientering. Statistisk metodikk ble brukt som grunnlag for forbedringer i produksjonsprosessene.

I Europa var en milepæl i utviklingen av et systematisk kvalitetsarbeid innen offisiell statistikk «Leadership Expert Group (LEG) on Quality» som publiserte en omfattende rapport om kvalitet i det europeiske statistikksystemet (ec.europa.eu) i 2002. Rapporten er inspirert av TQM-filosofien og viser til kvalitetsdefinisjonen gitt av International Standardization Organization (ISO).  ISO-versjonen er: «Kvalitet er helheten av egenskaper en enhet har, og som vedrører dens evne til å tilfredsstille uttalte og underforståtte behov.» (ISO 9001:2015). En enkel versjon av dette er "fit for use". Ulike brukere kan ha ulike behov som må balanseres for å gi kvalitetsbegrepet et konkret innhold.

Gruppens rapport slår fast at kvalitet er flere ting: Relevans, nøyaktighet, aktualitet og punktlighet, tilgjengelighet og klarhet, sammenlignbarhet, sammenheng og fullstendighet. Disse dimensjonene er stort sett identiske med prinsippene i retningslinjer for europeisk statistikk.

Gruppen utviklet en liste med anbefalinger om kvalitetsarbeid i det europeiske statistiske systemet. En anbefaling var å organisere en konferanse som dekket metodiske og kvalitetsrelaterte temaer. Konferansene har blitt holdt annethvert år fra 2001, med unntak av pandemiåret 2020. SSB har vært godt representert med deltakere og bidrag i disse konferansene.

FNs fundamentale prinsipper for offisiell statistikk har hatt stor innvirkning på arbeidet i statistiske organisasjoner. Disse ble opprinnelig utviklet under ledelse av FNs økonomiske kommisjon for Europa (UNECE) som så behovet for et sett med prinsipper som styrer offisiell statistikk, da land i Øst-Europa begynte å endre seg fra sentralt planlagte økonomier til markedsorienterte demokratier. De ble vedtatt av UNECE i Conference of European Statistics (CES) i 1992. Statistikere i andre deler av verden innså snart at prinsippene var av mye større global betydning. Derfor startet prosessen fram mot FNs statistikk-kommisjons vedtak av prinsippene i 1994. Den ganske korte og enkle formuleringen strukturert som 10 bud er en av styrkene. Prinsippene har vært grunnlag for nyere kvalitetsrammeverk som FNs National Quality Assurance Framework (NQAF) (unstats.un.org) og regionale rammeverk som de europeiske retningslinjene.

Det internasjonale pengefondet (IMF) sitt datakvalitetsrammeverk (dsbb.imf.org) bør også nevnes. Faktisk var IMF en av de første organisasjonene som fremmet offisiell statistikk som et felles offentlig gode og viktigheten av lik og samtidig tilgang til slik statistikk for alle. I EU og EØS er de europeiske retningslinjene grunnlaget for kvalitetskravene til offisiell statistikk. Disse kravene gjenspeiles i statistikkloven. I Norge er kravene til offisiell statistikk gitt i den nye statistikkloven fra 2019. Faglig uavhengighet og upartiskhet er bærebjelker i denne loven.

Et kvalitetsrammeverk er ikke mye verdt hvis det ikke brukes til forbedringer. Det kan være grunnlag for egenvurderinger, revisjonslignende gjennomganger og fagfellevurderinger som identifiserer forbedringspunkter som skal følges opp. I Europa har fagfellevurderinger blitt utført for hele det europeiske statistiske systemet tre ganger. Alle land måtte sette opp forbedringsplaner som har blitt fulgt opp av Eurostat årlig.

Etter hver runde med europeiske fagfellevurderinger har de europeiske retningslinjene for statistikk blitt revidert. SSB har deltatt i disse revisjonene.

Det internasjonale statistikkmiljøet har arbeidet med kjerneverdier for offisiell statistikk. Målet er å fremme tillit til offisiell statistikk. Conference of European Statisticians-sesjonen i 2022 godkjente et sett med seks kjerneverdier (PDF) for offisiell statistikk eller deres produsenter.

Den første kjerneverdien er at offisiell statistikk skal være relevant for brukerne. Andre verdier er upartiskhet, åpenhet, profesjonell uavhengighet og vern av oppgavegivere (konfidensialitet). Den siste kjerneverdien er samarbeid, noe som peker framover.

Kvalitetsarbeidet i SSB de siste 25 årene

Inspirert av TQM/TKL og arbeidet med kvalitet i andre statistikkbyråer, særlig i Sverige, startet SSB et opplegg med systematisk kvalitetsarbeid ved årtusenskiftet. I starten ble det gjennomført kurs for såkalte kvalitetsloser som deltok i forbedringsprosesser i institusjonen. Kvalitetsarbeidet ble fornyet gjennom et lean-prosjekt ca. 10 år senere.

Et viktig element fra 2011 er kvalitetsgjennomganger av enkeltstatistikker i SSB. Slike systematiske gjennomganger av kvaliteten i enkeltstatistikker og tilhørende produksjonsprosesser er et effektivt verktøy for kvalitetssikring. I disse gjennomgangene vurderes statistikken og produksjonsprosessen opp mot kvalitetskravene til offisiell statistikk. Gjennomgangene utføres av et internt team på 4–5 personer med kompetanse fra kvalitetsarbeid, statistikkproduksjon, kommunikasjon og metoder. Da statistikkprogrammet kom på plass i 2021, startet også SSB med kvalitetsgjennomganger av offisielle statistikker produsert av andre enn SSB. 

Opplegget for kvalitetsgjennomganger er gradvis blitt videreutviklet og består nå av følgende hovedelementer:

1. Selvvurdering etter retningslinjer for europeisk statistikk, med supplerende dokumentasjon.
2. Workshop om mulige feilkilder i data, populasjon, enheter og variabler basert på Totalfeilmodellen (onlinelibrary.wiley.com) (TE-modellen).
3. Workshop med en gjennomgang av produksjonsprosessen basert på den internasjonale prosessmodellen GSBPM (General Statistical Business Process Model).
4. Fokusgruppe og intervju med brukere.
5. En vurdering av hvordan statistikken er formidlet.

Rapport fra gjennomgangene inneholder styrker, svakheter, anbefalte forbedringer og de ansvarliges tiltaksplan. Tiltaksplanene følges opp årlig.

SSB var et av de første statistikkbyråene som tilpasset og tok i bruk en prosessmodell, og deltok også i utviklingen av den internasjonale GSBPM (UNECE.org) som ble ugitt med første versjon i 2009.

Etter statistikkloven fra 2019 skal SSB utarbeide en årlig offentlig rapport til Finansdepartementet om kvaliteten på offisiell statistikk. I den forbindelse ble det utviklet et system for kvalitetssikring av offisiell statistikk. Det viktigste nye elementet er kvalitetsevalueringer for all offisiell statistikk. Kvalitetsevalueringer har blitt gjennomført årlig hos alle produsenter av offisiell statistikk, med et selvvurderingsskjema på institusjonsnivå og fra 2023 på statistikknivå. Spørreundersøkelsen følges opp med et intervju.

Den årlige rapporten om kvalitet i offisiell statistikk inneholder anbefalinger om forbedringer. Alle produsenter vurderer anbefalingene og formulere forbedringstiltak. Det rapporteres årlig status på disse forbedringstiltakene.

I rapporten omtales også de europeiske fagfellevurderingene (ESS Peer review) som i 2021 i tillegg til SSB omfattet statistikkproduksjonen i NAV, Fiskeridirektoratet, Folkehelseinstituttet og NIBIO.  Kvalitetsgjennomganger av utvalgte statistikker som beskrevet over, er også omtalt i rapporten. Videre er anbefalte kvalitetsindikatorer, utvikling av flere indikatorer og implementering av indikatorene omtalt.

I tillegg har SSB et system for sikring av kvalitet i administrative datasystemer som brukes i statistikken. Samarbeidet mellom SSB og eierne av slike systemer er standardisert og formalisert gjennom avtaler. Avtalene regulerer bestillingene av årlige dataleveranser, regelmessige møter på ledernivå og strukturerte tilbakemeldinger fra SSB om kvaliteten i registrene. Her benyttes BLUE ETS kvalitetsindikatorene (pietdaas.nl), som ble utviklet i europeisk samarbeid mellom Norge, Sverige, Italia og Nederland. 

Kvalitetssystemet er illustrert i figuren under.

Andre elementer i arbeidet med kvalitetssikring av offisiell statistikk omfatter brukerkontakt i form av brukerråd, referansegrupper og rådgivende utvalg. Det gjennomføres også undersøkelser om brukertilfredshet på ssb.no. SSB arrangerer jevnlig kurs og seminarer i kvalitetsarbeid som er åpne for produsenter av offisiell statistikk.

I SSBs årsrapport til Finansdepartementet om egen virksomhet inngår et sett kvalitetsindikatorer, blant annet aktualitet, svarprosenter og oppgavebyrde. Finansdepartementet stiller krav til slike indikatorer i de årlige tildelingsbrevene, se Tildelingsbrev, årsrapporter og instrukser (regjeringen.no).

Se ellers omtale av kvalitet i offisiell statistikk.