“Minkälaisia mittareita meidän tulisi asettaa?” Tämä kysymys esitetään minulle usein, kun arviointi on puheenaiheena. Valitettavasti kysymykseen vastaaminen edellyttää, että kysyjä on ensin vastannut lukuisiin muihin kysymyksiin, jotka edeltävät mittareiden valitsemista.
Arvioinnin kehittäminen on ollut viime vuodet järjestöjen toiminnassa erittäin keskeisessä asemassa. Toiminnan laajuutta ja tuloksia halutaan tehdä entistä paremmin näkyviksi. On hienoa, että järjestöt haluavat hankkia entistä parempaa arviointitietoa toimintansa kehittämiseen, mutta jos totta puhutaan, niin todellinen paine arvioinnin kehittämiselle on tullut ulkoa päin: kilpailu rahoituksesta ja yhteiskunnallinen uskottavuus edellyttävät näkyviä tuloksia.
Institutionaaliset rahoittajat, yksityiset lahjoittajat, media ja päättäjät ovat entistä kiinnostuneempia seuraamaan sitä, että annettu raha todella tuottaa sitä hyvää, mitä järjestöt sen lupaavat tuottavan. Se on pääasiassa vain hyvä asia, sillä lisääntyneen tiedon ja läpinäkyvyyden myötä raha kanavoituu entistä paremmin sinne, missä se hyödyttää parhaiten. On kuitenkin varottava, ettei kiristyvä kilpailu johda rahoittajien liialliseen valtaan suhteessa järjestöjen autonomiaan tai markkinointitoiminnan ylikorostumiseen suhteessa järjestöjen ydintoimintaan.
Tulosten arviointi ei myöskään ole helppoa, sillä useimmat järjestöt tekevät ennaltaehkäisevää työtä. On paljon helpompaa arvioida, mitä on saatu korjattua kuin mitä kaikkea on onnistuttu välttämään. Masennukseen sairastuneiden määrä on tilastotietoa, mutta ne joiden todennäköinen sairastuminen saadaan ehkäistyä, on pelkkä arvio. Ymmärrän siis hyvin järjestöjen tarpeen löytää oikeita mittareita todentamaan toiminnan tuloksia, mutta sopivien mittareiden asettamien on vain yksi arvioinnin vaihe muiden joukossa.
Järjestöjen toiminnan arviointi ei silti ole mahdotonta, eikä usein edes niin vaikeaa. Vaativampaa se toki on, mutta hyvällä suunnittelulla selvitään ihan kohtuullisella työllä.
Kokonaisuus ensin haltuun
Ennen kuin päästään miettimään sopivia mittareita, on tiedettävä, mitä ollaan ylipäätään mittaamassa ja arvioimassa. Jos tässä tapauksessa lähdetään liikkeelle toiminnan tulosten arvioinnista, on ennen sitä saatava kattava kuva toiminnan oletetusta vaikutusketjusta (tai vaikuttavuusketjusta). Tiivistettynä: miksi teemme, mitä tavoittelemme, mitä teemme, mitä oletamme saavamme?
Kuten edellä oleva kuva hyvin havainnollistaa, on tuloksissa (ja vaikuttavuudessa) viime kädessä kyse siitä, onko toiminta vastannut kohderyhmien tarpeisiin ja niiden pohjalta asetettuihin tavoitteisiin. Tämä on sinänsä itsestäänselvä asia, mutta onnistuneen arvioinnin kannalta vaikutusketjun kirkastaminen on välttämätöntä. Ilman selkeää kokonaiskuvaa, saatamme helposti mitata vääriä asioita.
Esimerkki:
Yhdistys järjestää vertaistukiryhmiä omaisille, joiden läheinen on psyykkisesti sairastunut. Toimintaa järjestetään, koska tiedetään sen olevan hyödyksi omaisille. Arvioidakseen toiminnan tuloksia yhdistys on tehnyt palautelomakkeen, jossa osallistujat vastaavat, ovatko he olleet tyytyväisiä vertaistukiryhmiin. Selviää, että suuri osa ei ole tyytyväinen toimintaan. Yhdistys alkaa selvittää tarkemmin, mikä on vialla.
Tässä esimerkissä arvioinnin ongelmaksi muodostuu se, ettei arviointi tuota käyttökelpoista tietoa, jota voisi hyödyntää toiminnan kehittämisessä. Arvioinnin seurauksena kyllä tiedetään, että jossain ei olla onnistuttu, mutta toiminnan tuloksista se ei kerro juuri mitään, koska yhdistys ei mittaa tulosta tai vaikutusta (hyöty omaisille) vaan jotakin muuta (omaisten tyytyväisyys).
Yhdistys oppii virheistään ja kehittää arviointiaan. Tällä kertaa lomakkeella kysytään, onko toiminnasta ollut osallistujille hyötyä. Puolet vastaajista on sitä mieltä, että hyötyä on ollut vain vähän. Yhdistys ei ole tyytyväinen tuloksiin ja päättää alkaa panostaa vertaistukitoiminnan kehittämiseen.
Vaikka esimerkkiyhdistys korjasi mittariaan mittaamaan oikeansuuntaista asiaa (hyöty omaisille), ei se edelleenkään onnistu saamaan käyttökelpoista tietoa, joka auttaisi toiminnan kehittämisessä. Syy on se, ettei toiminnan tavoitetta (hyöty) ole konkretisoitu kunnolla. Yhdistys ei ole määritellyt, mikä on se hyöty, jota omaisten odotetaan saavan. Tavoite saattaa olla epämääräinen jo siksi, ettei alun perinkään ole määritelty tarpeeksi hyvin, mikä on se tarve, johon toiminnalla pyritään vastaamaan.
Tästä viisastuneena yhdistys kartoittaa ensiksi omaisten tarpeet. Selviää, että suurimmat syyt toimintaan hakeutumiselle ovat yksinäisyys ja voimattomuus. Siispä yhdistys ottaa tavoitteekseen omaisten yksinäisyyden vähentämisen ja voimavarojen lisäämisen. Vertaistukiryhmätoimintaan tehdään muutoksia, joiden oletetaan parhaiten edistävän näiden tavoitteiden toteutumista. Kyselylomakkeissa kysytään tällä kertaa, onko osallistujien kokemus yksinäisyydestä vähentynyt ja voimavarat lisääntyneet toiminnan ansiosta.
Tällä kertaa – oli tulos mikä tahansa – yhdistys onnistuu hankkimaan toiminnan kehittämisen ja tulosten raportoinnin kannalta hyödyllistä tietoa. On siis tärkeää ottaa kokonaisuus haltuun eli määritellä ja konkretisoida koko vaikutusketju alusta loppuun ennen mittareiden asettamista ja varsinaista arviointityön aloittamista. Mittaa siis vasta, kun tiedät riittävän tarkasti, mitä olet mittaamassa.
Käytä apuna FinFamin arviointisuunnitelman mallipohjaa.
Oikeita kysymyksiä, hyödyllisiä vastauksia
Arviointi on viime kädessä oikeiden kysymysten esittämistä ja niihin riittävän luotettavalla tiedolla vastaamista. Riittävän luotettavalla tarkoitan sitä, että saatu arviointitieto on hyödyllistä ja käyttökelpoista. Paras osoitus arvioinnin pätevyydestä on sen antaman tiedon hyöty toiminnan kehittämisessä. Sidosryhmien näkökulmasta riittävän luotettavaa on usein tieto, jolla voidaan todentaa, ovatko asetetut tavoitteet saavutettu vai ei. Useimmissa tapauksissa todentamiseen ei tarvita huippututkimusta, vaan yksinkertaisempi aineisto ja analyysi riittävät hyvin.
Kun tarkastelet toiminnan vaikutusketjua, mieti, mitkä kysymykset ovat olennaisia missäkin vaiheessa. Kokosin tähän loppuun muutaman mallikysymyksen, joista voi olla hyötyä arvioinnin suunnittelussa:
Tarve: Mikä on kohderyhmämme? Koostuuko se useista eri ryhmistä? Miten rajaamme sen? Miten selvitämme heidän tarpeensa ja näkemyksensä? Millainen on se nykytila, johon tarvitaan muutosta? Mihin ongelmiin tai asioihin meidän yhdistyksemme tulisi tarjota ratkaisu? Keitä haluamme ensisijaisesti auttaa?
Visio: Mikä on se suuri suunta tai päämäärä, jota viimekädessä tavoittelemme? Mikä kiintopiste tekee toiminnastamme erityisen merkityksellistä?
Tavoite: Mitä muutosta haluamme saada aikaan? Mitä muutosta haluamme saada kohderyhmämme elämässä? Mihin asioihin voimme toiminnallamme vaikuttaa? Ovatko tavoitteemme riittävän tarkkoja, konkreettisia, mitattavissa, saavutettavissa, olennaisia ja aikataulutettuja? Ovatko tavoitteemme todellisia etappeja matkalla kohti suurempaa visiota tai päämäärää?
Resurssit: Mitä resursseja meillä on käytössämme? Minkälaiseen toimintaan ne riittävät? Mitä tarvitsisimme lisää? Miten kohdennamme resurssit parhaalla mahdollisella tavalla? Käytämmekö resursseja tavoitteidemme mukaisesti?
Toimenpiteet: Mitä meidän tulee tehdä, jotta saavutamme tavoitteemme? Mihin perustuu ajatuksemme siitä, että juuri nämä toimenpiteet ovat oikeita? Miten todennamme, että valitut toimenpiteet tuottavat odottamaamme tulosta? Miten keräämme seurantatietoa toiminnasta?
Tulokset: Jos toiminta vastaa tavoitteita, mitä oletamme silloin saavamme? Mitä muutosta saamme toiminnallamme suoraan aikaiseksi? Miten voimme todentaa tulokset? Miten mittaamme muutosta? Mikä on onnistumisen kriteeri?
Vaikutus/vaikuttavuus: Mitä muutosta odotamme aikaansaavamme (pidemmällä aikavälillä) kohderyhmämme elämässä tai yhteiskunnassa? Olemmeko saaneet lähtötilanteeseen verrattuna pysyvää muutosta? Onko koko toiminnan tarve muuttunut toimintamme ansiosta? Miten todennamme pidemmän aikavälin muutoksia? Onko toimintamme vienyt meitä lähemmäksi perimmäisiä päämääriämme?
Kokonaisuudesta käsin yksityiskohtien määrittelyyn
Vasta sitten, kun arvioinnin kohteena oleva toiminta ja sen tavoiteltavat tulokset alkavat olla riittävän selvästi määriteltynä, kannattaa alkaa hioa mittareita. Ai miksikö? No siksi, että tavoittelemme toiminnallamme jotain tiettyä muutosta yhteiskunnassa tai kohderyhmämme elämässä. Jos emme määrittele tätä muutosta ja sen osatekijöitä riittävän selkeästi, emme tiedä tarpeeksi tarkasti, mitä olemme mittaamassa.
Ja siksi suosittelen aina katsomaan arviointia ensin kokonaisuutena, jonka jälkeen pääsemme paljon paremmin käsiksi yksittäisten tavoitteiden tai mittareiden määrittelyyn. Tässä työssä voit käyttää apuna FinFamin arviointisuunnitelman mallipohjaa.
