Jatkuva arviointi TESSU-projektissa

Yksi merkittävimmistä TESSUn menestystekijöistä on ollut suunnitelmallinen toiminnan arviointi ja seuranta. Kun arviointia ja seurantaa tehdään projektin kaikissa vaiheissa, voidaan tarvittaessa ketterästi korjata suuntaa. TESSU-projektissa arviointi on ollut mukana arjen toiminnassa ja jatkuvassa laadun parantamisessa.

Arviointi muodostui kolmesta kokonaisuudesta:

  • Valmennusten asiakaspalautteiden kerääminen ja analysointi
  • Ohjausryhmän tekemä arviointi
  • Projektin itsearviointi

Jokaisen kokonaisuuden arvioinnin tuloksista koottiin keskeisimpiä ja merkittävimpiä, ja niistä muodostettiin ja toteutettiin konkreettisia kehittämistoimenpiteitä. Arviointitoimenpiteiden lisäksi projektissa on tarkasteltu ja kehitetty toimintaa jatkuvasti esimerkiksi projektivastaavien tapaamisissa ja koko ryhmän yhteisissä kehittämispäivissä 1-2 kertaa vuodessa.

Ohjausryhmä on projektin peili

Ohjausryhmä on parhaimmillaan asiantunteva ja luottamuksellinen yhteistyöryhmä, joka kannustaa ja auttaa projektia eteenpäin kohti sen tavoitteita. Ohjausryhmän tehtävä on seurata toiminnan etenemistä ja arvioida sitä. Tärkeää on myös se, että ohjausryhmä arvioi omaa toimintaansa. TESSU-projektilla oli yhteinen ohjausryhmä OSMO-projektin kanssa syksystä 2016 alkaen.

Projektin arviointiin ohjausryhmä keskittyi erityisesti projektin puolivälissä vuonna 2017. Ohjausryhmän arvioinnissa käsiteltiin projektin toimintaa sekä ohjausryhmän roolia sen tukemisessa ja edistämisessä. Arvioinnissa todettiin, että projektin tulostavoitteiden edistämisessä vahvuuksia ja onnistumisia olivat muiden muassa seuraavat asiat:

  • projektin johtaminen ja toiminnan rakenne
  • asiakaslähtöinen ja osaava valmennustoiminta sekä Ohjaamojen tuntemus
  • dokumentointi ja viestintä
  • systemaattinen arviointi
  • verkostotoiminta.

Kehittämiskohteina tai projektin haasteina nostettiin esille esimerkiksi lisääntyvä Ohjaamojen määrä ja Ohjaamojen henkilöstön vaihtuvuus, monialaisen yhteistyön käsitteistön ymmärrys, nuorten äänen kuuleminen sekä hiljaisen tiedon näkyväksi tekeminen. Ohjausryhmän oman toiminnan todettiin olevan sitoutunutta ja aktiivista, ja ohjausryhmä oli pyrkinyt tukemaan projektin toimintaa. Mahdollisina parantamiskohteina nähtiin ohjausryhmästä ulospäin tiedon levittäminen, ohjausryhmän osallistuminen laajemminkin toiminnan kehittämiseen sekä kokouskäytäntöjen uudistaminen.

tarralappuja taululla arviointipäivässä, lapussa lukee Aktiivinen viestintäProjektin päätösvaiheessa keväällä 2019 ohjausryhmä kokoontui 21.2. viimeiseen kokoukseen, jossa käytiin OSMO-projektin projektipäällikön aloitteesta lyhyt arviointikeskustelu. Ohjausryhmä tarkasteli keskustelussa sitä, kuinka se on tukenut hankkeen toteutumista sekä miten ohjausryhmä luonnehti hankkeen onnistumisia. Havainnot olivat edellä kuvatun arvioinnin tulosten mukaisia: ohjausryhmän koettiin olleen tukena projektin seurannassa, tietojen levittämisessä ja yhteistyökumppanina. OSMO- ja TESSU-projektit koettiin tarpeellisiksi, ja ohjausryhmän jäsenet totesivat, ettei Ohjaamoille olisi järjestynyt vastaavanlaista tukea muualta.

Oman toiminnan arvioinnissa opitaan yhdessä

TESSU-projektin itsearviointi suoritettiin CAF-menetelmää soveltaen 2 kertaa: tammikuussa 2017 ja toukokuussa 2018. Arviointi tuotti pikaparannusehdotuksia, ja laajempiinkin kehittämistoimenpiteisiin ryhdyttiin molemmilla kerroilla.

Ensimmäisessä itsearvioinnissa projektin vahvuuksina todettiin muiden muassa seuraavat asiat:

  • sitoutunut, luotettava ja laaja-alainen johtaminen
  • toiminnan perustuminen projektisuunnitelmaan sekä asiakkaiden tarpeisiin
  • työparimalli ja luottamus asiantuntijuuteen
  • yhteistyö Ohjaamo-verkoston ja yhteistyökumppaneiden kanssa
  • asiakaspalautteet.

Itsearvioinnin tuloksena keskeisiksi kehittämiskohteiksi valittiin:

  • toimintasuunnitelma, TESSU-palvelujen tuotteistaminen ja yhteinen käsitys valmennuksesta
  • tarvekartoitushaastattelujen kehittäminen
  • yhteinen aika projektin työntekijöiden kesken, lisää tiedon jakamista ja toiminnan ennakointia
  • valmennuspalautteiden analysointi ja hyödyntäminen toiminnan suunnittelussa.

Itsearvioinnista nousseita kehittämiskohteita työstettiin projektin yhteisissä kehittämispäivissä. Toiminnan kehittymisestä keskusteltiin ja sitä seurattiin erityisesti projektivastaavien, Satu Laitilan, Päivi Pukkilan ja Auli Sesayn, kesken.

Toisen itsearviointipäivän tuloksena projektin vahvuuksiksi todettiin muiden muassa seuraavat:

  • Aktiivinen, sitoutunut ja projektisuunnitelman mukainen johtaminen
  • Selkeä ja helposti toteutettava projektisuunnitelma, jatkuva kehittäminen
  • Yhteinen käsitteiden määrittely sekä kehitetyt välineet ja työkalut
  • Laaja ja monipuolinen osaaminen henkilöstöllä, kaksikielisyys
  • Yhteisen tekemisen mahdollistaminen
  • Projektin kumppanuudet eri tasoilla
  • Viestintä ja tiedottaminen kehittynyt
  • Talousseuranta

projektin työntekijöitä valkotaulun äärellä merkitsemässä tärkeimpiä kehittämiskohteitaArvioinnissa esiin nousseiden kehittämiskohteiden pohjalta valittiin ja muotoiltiin ensisijaisiksi kehittämistoimenpiteiksi seuraavat:

  • Yhteinen viestintäalusta käyttöön sisäiseen viestintään ja tiedonjakamiseen
  • Henkilöstöresurssien tarkentaminen ja linjaukset niiden suuntaamisessa
  • Valmennusten vaikuttavuuden arviointi, loppuvaiheen palautteen kerääminen

Kehittämiskohteisiin tartuttiin ottamalla käyttöön uudenlainen viestintäalusta sekä käynnistämällä valmennusten loppupalautteen keruun valmistelutyö. Henkilöstöresurssien hallinta projektin toteutusvuosien aikana on havaittu projekteissa haastavaksi, koska siihen vaikuttavat projektin ulkopuoliset seikat eri tavoin. Projektin sisällä pyrittiin kuitenkin lisäämään suunnitelmallisuutta ja ennakointia esimerkiksi Ohjaamojen kanssa sovittaviin valmennusprosesseihin liittyen.

Valmennuspalautteiden käsittely

Projekti on toteuttanut jokaisessa Ohjaamo-valmennusprosessissa 1-3 Webropol-palautekyselyä, joilla on kerätty osallistujien kokemuksia ja toiveita valmennukselle. Palautteenkeruu käynnistyi tavallisesti ensimmäisen valmennuspäivän jälkeen, jolloin palaute voidaan huomioida valmennuksen toteutuksessa sen jälkeen. Seuraava palautekysely Ohjaamolle on lähetetty 3. tai 4. valmennuskerran jälkeen, jolloin se on koskenut koko valmennusprosessia. Lisäksi TESSU-valmentajat keräsivät palautetta joidenkin valmennuskertojen yhteydessä suullisesti tai kirjallisesti niin sanottuna pikapalautteena.

Projektin aikana toteutettujen valmennusten palauteaineistoa käsiteltiin perusteellisesti syksyllä 2017. Kaikista siihen saakka saaduista kyselypalautteista koostettiin tietoa siitä, mikä valmennuksissa onnistunut ja mikä taas ontunut. Palautekyselyjen vastausten rinnalla tarkasteltiin valmennusraportteja, jotka ovat TESSU-valmentajien oma valmennusteemojen ja -menetelmien dokumentoinnin ja raportoinnin väline. Palautteiden parissa työskenneltiin yhteisesti TESSU-joukkuepäivissä 14.-15.9.2017. Analyysin tuloksena muodostettiin kehittämistoimenpiteitä valmennusten toteutukseen ja viestintään. Näihin sisältyi esimerkiksi TESSU-valmennusten määritelmän, tarvekartoitushaastattelun ja välityöskentelyjen kehittäminen. Tärkeäksi nähtiin myös se, että valmennuksen tavoitteista ja valmentajien roolista syntyy yhteinen ymmärrys TESSU-valmentajien sekä Ohjaamon työntekijöiden kesken, mikä koettiin viestinnälliseksi kehittämiskohteeksi. Tavoitteisiin kirjattiin näiden lisäksi se, että Ohjaamon edistymistä ja onnistumisia tehdään näkyväksi valmennusprosessin aikana.

Vuoden 2017 palauteanalyysin myötä projektissa päätettiin myös muokata projektin toteuttamia palautekyselyitä, jotta niistä saadaan projektin loppuvaiheessa entistä paremmin hyödynnettävää tietoa toiminnan kehittämiseen. Vuosina 2018-2019 palautteiden käsittelyssä näkökulmana oli se, kuinka TESSU-valmennukset ovat vaikuttaneet monialaiseen yhteistyöosaamiseen Ohjaamoissa, eli kuinka projektin keskeiset tulostavoitteet on onnistuttu saavuttamaan.

Loppuhaastatteluilla tietoa TESSU-valmennusten vaikutuksista

Vuonna 2018 päätettiin kerätä palautetta myös muutamissa Ohjaamoissa toteutetuilla ryhmähaastatteluilla. Haastatteluissa käsiteltiin erityisesti TESSU-valmennusten vaikutuksia Ohjaamon toimintaan. Haastattelut analysoitiin, ja tulosten avulla voitiin arvioida, kuinka hyvin projektin valmennus oli saavuttanut tuloksia ko. Ohjaamoissa. TESSU-valmennusten vaikutusten arvioitaessa on kuitenkin huomioitava, että Ohjaamon toimintaan ovat vaikuttaneet monet muutkin tekijät ja esimerkiksi eri tukihankkeilta saatu tuki.

Haastattelujen osallistujat olivat kokeneet TESSU-valmennukset hyödyllisiksi ja oikea-aikaiseksi tueksi Ohjaamon toiminnan kehittämiseen. Valmennustapaamiset olivat tarjonneet rauhallisen ja luottamuksellisen tilan yhteiseen kehittämiseen ja keskusteluun. Valmennukset olivat vaikuttaneet konkreettisesti toimintaan: yhdessä oli esimerkiksi työstetty Ohjaamon palveluprosessia ja työntekijöiden rooleja sekä vahvistettu tiimin keskinäistä vuorovaikutusta. Ohjaamon työntekijät olivat oppineet tuntemaan toisiaan ja toistensa osaamista paremmin, mikä vaikuttaa yhteisöllisyyteen ja arjen työhön. (ks. myös Leppänen ym. 2019.)

Lue myös Anne Leppäsen artikkeli, jossa on avattu haastattelujen tuloksia: Valmennus tukena Ohjaamojen menestystekijöille

Kirjoittaja: Anna-Kaisa Tiihonen

Artikkeli perustuu osittain TESSU-vuosikatsauksessa 2017 julkaistuihin sisältöihin.