Mittareiden valinta ja tiedonkeruusuunnitelman tekeminen

Mittaaminen on muutosten näkyväksi tekemistä. Muutosten näkyväksi tekeminen onnistuu, kun hyvin rakennettuun vaikuttavuusketjuun on kiinnitetty arvioinnin tavoitetta tukeva mittaristo ja sille laadittu tiedonkeruusuunnitelma. Ilman vahvaa vaikuttavuusketjua mittareiden valikoiminen on silkkaa arvailua. fake rolex oyster perpetual date

1. Valitse mittarit vaikuttavuusketjuun sopivaksi

Mittarit tulee valita vaikuttavuusketjun tavoitteiden mukaan ei päinvastoin.  Olemassa olevaan indikaattori- ja mittaritietoon tutustuminen on kuitenkin oleellinen osa tarpeen ja siten ilmiön ymmärtämistä. Olemassa olevien testattujen ja muualla hyödynnettyjen mittarien hyödyntäminen helpottaa toiminnan vertailtavuutta ja tiedon luotettavuutta.

Koska hyvä tavoite on mitattava, erityisesti tulosmittareita kannattaa pohtia samanaikaisesti tavoitteiden asettamisen kanssa.

2. Kokoa monipuolinen mittaristo, jossa on kolme tasoa

1. Toimintaa ohjaavat ja sen laatua varmistavat prosessimittarit. Jos tuloksia ei tulekaan, pitää pystyä selvittämään onko toimintaa toteutettu aiotulla tavalla ja laadukkaasti. Jos on, on syytä palata vaikutusmallin ääreen, siinä olevat oletukset ja syy-seuraussuhteet voivat olla vääriä. Prosessimittareita on mittaristossa usein eniten. Mittarit kuvaavat usein toiminnan ja osallistujien määrää, käytettyjä resursseja jne.
2. Muutoksen suuntaa ja suuruutta mitataan monipuolisilla tulosmittareilla. Muutosmittarit ovat aina suhteessa tavoitteisiin ja niitä voidaan asettaa eri aikajänteille riippuen toiminnan luonteesta. Mittareiden määrä riippuu kohderyhmien ja tavoitteiden määrittelyistä.
3. Vaikuttavuusmittarit kertovat muutoksesta yhteiskunnan tasolla. Vaikuttavuusmittarit kertovat muutoksesta yhteiskunnallisessa tarpeessa ja vision suunnassa. Vaikuttavuusmittareissa on keskityttävä määrän sijasta laatuun. Vaikuttavuutta on vaativinta osoittaa, joten kannattaa mieluummin hioa yksi tai kaksi timanttista mittaria kuin kehittää viisi huonoa.

3. Varmista tiedon luotettavuus

• Selvitä samaa asiaa monelta eri sidosryhmältä 
  
• Hyödynnä subjektiivisia, objektiivisia, laadullisia ja määrällisiä mittareita
• Varmista käsitteiden yksiselitteisyys ja mittareiden oikea käyttö yhdenmukaisen tiedon keräämiseksi

4. Miten todennat, että muutos on tapahtunut?

• alku- ja loppukartoitus tai tietyn väliajoin toistettavat kyselyt
• kohderyhmän seuranta reksiteriaineistoista (esim. tulo- ja etuustiedot, palveluiden käyttö jne.)
• Tiheämpää seurantaa ja tilastointia kannattaa tehdä toiminnan laadunvarmistuksen ja ohjauksen näkökulmasta
• Vertailu- ja kontrolliryhmien käyttäminen auttaa varmentamaan, että muutos on toiminnan ansiota

5. Mittaa muutoksen pysyvyyttä

Yhteiskunnallisen vaikuttavuuden kannalta on oleellista, että tavoiteltu muutos on pysyvä. Pysyvyyttä voidaan seurata mm.

• Seuraamalla kohderyhmien tilannetta eri rekistereistä esim. kuudesta kuukaudesta vuoteen siitä, kun palvelu on päättynyt. (esim. Caset Icehearts ja Vamos)
• Seuraamalla alueellisia tilastoja.  Riittävään tarkkuuteen päästään mm. Terveyden ja hyvinvoinnin laitoksen ATH-tutkimuksen avulla. Myös kuntien omat tilastot esimerkiksi palveluohjauksesta, kotiutuspäätöksistä, yms. ovat hyödyllisiä. Kovin pienen toimijan vaikutukset tosin eivät tilastoissa näy.
• Muutoksen pysyvyyttä voidaan selvittää myös haastattelu ja kyselyaineistojen avulla.

5 +1. Muista ennakoimattomat ja negatiiviset vaikutukset

Monipuolinen tiedonkeruu on tärkeää, jotta myös ennakoimattomia muutoksia on mahdollista havaita. Vaarana on, että mahdolliset ikävät seuraukset jäävät kokonaan seurannan ulkopuolelle, tai että syyt siihen, ettei tuloksia saavutetakaan jäävät selvittämättä. Laadullinen tiedonkeruu, kuten erilaiset haastattelut, päiväkirjat, avoimet kysymykset tai havainnointi, johdattavat niiden lähteille parhaiten.

Case Icehearts: Arvioinnin kehittämisessä tietoa kerättiin mm. strukturoidulla kyselylomakkeella lasten vanhemmilta ja opettajilta. Kyselylomakkeeseen oli lisätty kysymys ”Onko Icehearts toiminnasta ollut lapselle jonkinlaista haittaa tai harmia” sekä useita avoimia kysymyksiä toiminnan positiivisista ja negatiivisista vaikutuksista, kuten ”millä tavalla lapsen käyttäytyminen on muuttunut”, ”Millaista hyötyä Icehearts toiminnasta on ollut” ja ”Millaista harmia tai haittaa Icehearts toiminnasta on lapselle aiheutunut”.

Tiedonkeruusuunnitelma

Parhaankin mittariston hyöty riippuu tiedon käsittelytavasta. Tieto kannattaa kerätä ja tallentaa niin, että sekä yksilön muutoksen seuranta, erilaisten hyödynsaajaryhmien tarkastelu että yksikkö- ja tai palvelukohtainen analysointi onnistuu eripituisilla aikajänteillä.

1. Kirjaa suunnitelmaan mitä mitataan, millä mittarilla, miten tieto kerätään, kuka tiedon kerää tai missä prosessissa tiedonkeruu syntyy sekä millä aikavälillä tietoa kerätään
2. Pohdi, miten tiedonkerääjä hyötyy tiedosta. Tieto kirjataan usein tarkemmin mikäli tiedosta on suoraan tiedonkerääjälle hyötyä
3. Kerää vain tietoa, jolle on aidosti käyttöä. Kerää tietoa, joka auttaa kehittämään toimintaa ja tietoa, joka on arvokasta sisäisille ja ulkoisille sidosryhmille (esim.rahoittajat, vapaaehtoiset, organisaation johto, työntekijät).