Veiledningspakker

Før man planlegger et forsøk, er det viktig å ha en klar forståelse av informasjonsbehovet. Hva trengs det mer kunnskap om, og hvilke beslutninger skal støttes med informasjon fra et eventuelt forsøk?

For å vurdere behov og velge metode, må man utarbeide en tydelig problemstilling og spesifisere formål og målsetninger. Både målgruppe og interessenter, samt hva som skal måles, må identifiseres.

Når informasjonsbehovet er avklart, må man vurdere om det er nødvendig å gjennomføre et forsøk. Det er viktig å gå igjennom eksisterende litteratur og tidligere forskning som kan belyse problemstillingen. Slik unngår en å duplisere tidligere arbeid, og kan få innsikt som er nyttig til eventuell datainnsamling. Gjennomgangen er også sentral i en kost/nytte-vurdering.

Faglitteratur, resultater fra tidligere politikkendringer, erfaringer og studier fra andre etater eller land, er nyttige deler av en slik systematisk gjennomgang. En slik gjennomgang kan gjøres med en fastsatt forskningsmetodikk som reduserer skjevhet. Meta-analyser vil også ofte brukes for å sammenfatte resultater fra ulike studier.

Et veldefinert informasjonsbehov kan deretter vurderes mot det eksisterende kunnskapsgrunnlaget. Dette vil tydeliggjøre hvilken informasjon som mangler. I denne fasen vurderer man hvilke metoder som egner seg for å hente inn den manglende informasjonen.

Mange ganger er det ikke nødvendig å gjennomføre forsøk, verken randomiserte eller kvasieksperimentelle. Mindre ressurskrevende eller inngripende metoder kan i stedet være aktuelle, som analyser av allerede tilgjengelige, men uutnyttede, data. Andre måter kan være kvalitative datainnsamlinger som fokusgrupper, eller kvantitative spørreundersøkelser. Ofte kan man kombinere flere av disse metodene.

Før en skal gjennomføre et forsøk, er det nødvendig å gjøre en kost-nyttevurdering for å veie mulige gevinster opp mot kostnadene og eventuelle ulemper ved å gjennomføre forsøket. Som beskrevet over, kan det være andre og mindre ressurskrevende metoder som kan framskaffe tilstrekkelig informasjon. Dersom slike metoder for datainnsamling ikke dekker for informasjonsbehovet, kan ulike typer forsøk vurderes.

En kost-nyttevurdering er en del av prosessen for å velge metode. Ressursene som kreves, hvis ulike metoder og forsøksdesign benyttes, vurderes opp mot antatte gevinster. Kostnader i alle faser av et eventuelt forsøk tas med: Planlegging, administrasjon, gjennomføring, analyse samt evaluering. Ulike kostnader forsøket vil ha for individer eller virksomheter som påvirkes av det, må også vurderes.

Disse kostnadene samlet sett må ses opp mot mulige fordeler og nytte i tillegg til potensiell usikkerhet i resultater av forsøket. Hvilken ny informasjon kan man samle inn? Hvilke tjenester kan bli mulig å forbedre? Risiko og usikkerhet ved gjennomføring tas også med i betraktningen, for å gi en mer helhetlig forståelse. Kost-nyttevurderingen skal bidra til å finne mulige alternative strategier, som kan oppnå lignende mål til lavere kostnad eller med større nytte. Kost-nytte-veiledning vil bidra til at aktører i forvaltningen gjør informerte valg som tar både økonomiske og samfunnsmessige hensyn.

Kost-nyttevurderingen bør gjøres forut for endelig valg og design av forsøket, siden det å utforme endelig forsøksdesign er svært ressurskrevende.

Vanligvis må flere forsøksdesign vurderes. Ulike design vil ha fordeler og ulemper, praktisk og metodisk. Å finne ett design som dekker alt en ønsker å undersøke, kan være krevende. Blant elementene som må vurderes er:

• Utvalgs- eller gruppestørrelser
• Tidsaspektet
• Administrering av forsøket

For å vurdere mulige design trengs ofte tilgang til data fra registre forvaltningsorganet selv eier, og noen ganger SSBs registre.

Behovet for veiledning om praktisk gjennomføring av forsøk, vil avhenge av hvor stort og komplekst forsøket er. For å sikre validitet og reliabilitet, er det avgjørende med kompetanse innen datainnsamling.

Områder som kan være aktuelle for veiledning er blant annet

• Rekruttering og oppfølging av deltakere
• Innsamling av data
• Utforming og gjennomføring av spørreundersøkelser

Under og etter forsøket, må arbeidet dokumenteres: Først utredning av informasjonsbehov, kunnskapsgrunnlag og problemstilling. Dernest valg av metoder og forsøksdesign, samt den praktiske gjennomføringen. Dokumentasjon vil bidra til at andre kan lære av arbeidet, og bygge kapasitet for randomiserte forsøk og andre typer forsøk i offentlig sektor. Dokumentasjon er også nødvendig for transparens, som er særlig viktig dersom resultatene fra forsøket gir grunnlag for politikkendringer.

Den viktigste delen av evalueringen er å analysere og tolke dataene som er samlet inn. Dataanalysen kan være enkel eller kompleks, avhengig av forsøksdesignet. Noen ganger er avanserte statistiske metoder aktuelle. Som del av analysen kan eksisterende data, for eksempel sosiodemografiske data fra SSB, være aktuelle.