Mindfindrin tutkimuksellinen tausta
Johdanto
Tässä dokumentissa esitellään tiiviisti Mindfindr-palvelun kehitysprosessia ja käyttömahdollisuuksia. Lisäksi tarkastellaan menetelmän keskeisiä psykometrisiä ominaisuuksia menetelmän käytettävyyden arvioinnin helpottamiseksi. Tekstissä avataan hieman psykologisten menetelmien luotettavuuden ja laadun arvioinnissa yleisesti käytettyjä käsitteitä. Menetelmän käyttöönottoa ja käyttöä on esitelty tekstin loppuosassa.
Mindfindr on kehitetty tukeutuen differentiaali- ja persoonallisuuspsykologian alalla tuotettuihin käsitteisiin, malleihin ja teorioihin sekä tällä alueella tavallisesti käytettyihin tutkimusmenetelmiin. Yksilöiden psykologisissa ominaisuuksissa esiintyy työkäyttäytymisen kannalta merkityksellistä vaihtelua. Differentiaalipsykologia tutkii yksilöiden ja ryhmien välisiä eroja ja pyrkii ymmärtämään ja selittämään psykologisia ominaisuuksia, käyttäytymistaipumuksia ja piirteitä. Työ- ja organisaatiopsykologia on luonteva differentiaalipsykologian sovellusalue: sekä organisaatiot että yksilöt hyötyvät siitä, että henkilöt voivat löytää valmiuksiaan, vahvuuksiaan ja kiinnostuksiaan parhaalla tavalla vastaavan paikan organisaatioissa. Organisaatiot ja yritykset puolestaan tarvitsevat tietynlaista kompetenssipotentiaalia toimintansa mahdollistamiseksi. Työmarkkinoilla toimii vastaava kysynnän ja tarjonnan vuorovaikutus kuin muillakin talous- ja elinkeinoelämän alueilla. Psykologiset arviointimenetelmät pyrkivät osaltaan edistämään optimaalisen kohtaannon toteutumista työmarkkinoilla.
Mindfindr-palvelun teoreettinen tausta
Tieteenfilosofinen lähtökohta
Psykologia tieteenalana asettuu laajasti ottaen luonnontieteiden, yhteiskuntatieteiden ja humanistisen tutkimuksen leikkausalueelle, ja näiden lähitieteiden merkitys korostuu eri tavoin riippuen tutkimuskohteista ja psykologisten koulukuntien painotuksista.
Organisaatioiden henkilöstöprosessien tarpeita palveleva, yritysten ja yksilöiden työmarkkinakohtaantoa edistävä ja yksilöiden työkäyttäytymistä (erityisesti työssä menestymistä, viihtymistä ja jaksamista) ennustava työ- ja organisaatiopsykologia tukeutuu teorianmodostuksessa myös talous- ja hallintotieteisiin ja psykologian sisartieteenä pidettävään sosiaalipsykologiaan. Luonnontieteiden alueella neurotieteellisen tutkimuksen nopea kehitys on vahvistanut persoonallisuudentutkimuksen tieteellistä pohjaa. Sosiologian ja kulttuurintutkimuksen merkitys on vastaavasti kasvanut pyrittäessä palvelemaan kansainvälistyviä ja globalisoituvia organisaatioita.
Mindfindr-menetelmän kehitystyö asettuu tieteenfilosofisessa, epistemologisen (tiedon luonnetta koskevan) ja ontologisen (tutkitun todellisuuden alueen luonnetta koskevan) näkökulman käsittävässä katsannossa lähinnä pragmatismin, tai tarkemmin realistisen pragmatismin kontekstiin. Mindfindr-menetelmää on kehitetty iteratiivisesti, kehämäisessä prosessissa hyödyntäen mm. erilaisia empiirisiä aineistoja, pääosin käytäntöön kytkeytyviä kriteereitä ja haastatteluita. Pragmatismissa teoriat, mallit ja menetelmät katsotaan käyttökelpoisiksi ja hyödyllisiksi instrumenteiksi, työvälineiksi siinä määrin kuin ne edistävät toiminnan tavoitteita käytännössä. Osana soveltuvuuden arviointia käytettyjen menetelmien ja instrumenttien arvo määräytyy sen perusteella, missä määrin ne lisäävät tietoa henkilöiden ja tehtävien välisestä yhteensopivuudesta.
Psykologisten menetelmien luotettavuudesta
Kuten tieteessä yleensä, psykologisten menetelmien luotettavuutta arvioitaessa on tarpeellista yhtäältä huomioida joitakin yleisiä ilmiöiden mittaamiseen liittyviä näkökohtia ja toisaalta ihmisen käyttäytymisen ja Mindfindr-menetelmän kohdalla erityisesti työkäyttäytymisen ennustamisen kannalta erityisiä seikkoja.
Kaikessa mittaamisessa, josta myös psykologisten menetelmien kohdalla termin teknisestä luonteesta huolimatta on kysymys, pyritään mahdollisimman luotettavasti ja tarkasti mittaamaan määriteltyä ilmiötä. Psykologisten ilmiöiden kohdalla puhutaan tavallisesti konstruktioista tai käsitteistä, jotka on sisällöllisesti määritelty ja empiiristä mittaamista varten operationalisoitu. Operationalisointi pyrkii määrittelemään käsitteen tai konstruktion siten, että sen määritelmän mukaisen esiintymisen todennäköisyyttä voidaan mitata empiirisen, kokemusperäisen aineiston avulla. Tarkoitus on siis selvittää tutkimuksen avulla, esiintyykö määritelty ilmiö reaalitodellisuudessa siten kuin operatiivinen määritelmä edellyttää. Menetelmän laadun arviointi edellyttää konstruktioista johdettujen käytännön seurausten esiintymisen mittaamista useammalta henkilöltä. Myöhemmin tekstissä lähemmin käsiteltävien seikkojen vuoksi tavallisten kriteerien perusteella laadukkaaksi todetun menetelmän antamat tulokset voivat antaa yksilöiden kohdalla hyvinkin eri tavalla osuvia ennusteita, vaikka menetelmä olisi keskimäärin luotettava. Osaksi tämä johtuu siitä, että tutkituilla ja arvioiduilla henkilöillä voi erilaisten tahattomien satunnaistekijöiden ohella olla erilaisia tietoisia intressejä koskien arviointitiedon antamista, mikä kasvattaa ennusteiden virhevarianssia. Mindfindr-menetelmä huomioi yleisimmin käytettyjen inventaarien (NEO-PI, PRF, PK5, MMPI) tapaan myös tällaisten tekijöiden vaikutusta tiedon laatuun.
Psykologian alueella tutkittavia, oletettuja ilmiöitä edustavat konstruktiot voivat käytännössä
esiintyä käyttäytymisen eri muotoina, kuten esimerkiksi toimintoina ja tekoina, motiiveina, tunteina
tai ajatuksina. Jos näitä ei konventionaalisten todennäköisyyttä koskevien kriteerien puitteissa
esiinny tutkimusjoukossa tai jos konstruktiota ei lähtökohtaisesti ole mahdollista
operationalisoida, kyseisen ilmiön olemassaolo ei ole objektiivisesti puolustettavissa tieteen
sääntöjen mukaan, vaikka se voi subjektiivisesti tuntua todelliselta yksilöiden tasolla. Kokemuksen
todellisuutta ei ole mahdollista kieltää, mutta siihen mahdollisesti liittyvien kokemusperäisten
korrelaattien esiintymistä voidaan yleensä mitata.
Reaalinen, objektiivinen todellisuus ja yksilön kokemusmaailma voivat viedä eri suuntiin, koska
tiede tutkii yleistä, ilmiöiden invarianssia. Yksilöiden kokemukseen vaikuttavat monet sellaiset
tekijät, joita kaikkia ei yleensä ole mahdollista kontrolloida.
Psykologisten menetelmien kohdalla operationalisointi näyttäytyy koehenkilöille esitettyinä tehtävinä tai kysymyksinä, jotka antavat tietoa vaikkapa mielialasta, vaikuttamisenhalusta tai muista tarpeista, kielellisestä kyvykkyydestä tai yleisestä älykkyydestä. Myöhemmin validiteetin tarkastelun yhteydessä mainitaan testien mahdollinen face validius, joka voidaan suomeksi kääntää lumevaliditeetiksi tai ilmivaliditeetiksi. Face valideissa menetelmissä myös koehenkilö voi yleensä nähdä, mitä menetelmän avulla pyritään mittaamaan. Toisaalta menetelmät voivat koostua kokonaan tai osaksi kysymyksistä tai tehtävistä, joiden tiedetään mittaavan sellaisia käyttäytymisen piirteitä tai taipumuksia ilmentäviä konstruktioita, joiden yhteys esitettyihin kysymyksiin ei ole suora tai ilmeinen. Näiden konstruktioiden yhteys ennustettuun käyttäytymiseen välittyy osaksi muun psykologisen tiedon kautta. Mindfindr-menetelmän kehitystyössä on hyödynnetty kumpaakin kysymystyyppiä.
Ihmisen käyttäytymisestä ei saada yhtä todennäköistä tietoa kuin vaikkapa fysikaalista todellisuutta tai biologisia ilmiöitä tutkittaessa. Mittaustulokset koostuvat kahdesta laajasta komponentista: reaalisen ilmiön tasoa tai tilaa koskevasta komponentista sekä satunnaistekijöistä. Mittaustuloksia tuottavien menetelmien luotettavuuden (reliabiliteetin) tutkimuksen kannalta on syytä huomioida myös aito yksilöllisesti eriävä muutos, jonka vaikutukset mittaustuloksiin kasvavat (mm. eri-ikäisillä tutkimushenkilöillä eri tavoin) mittausajankohtien välisen ajan kasvaessa. Varsinaisia satunnaistekijöitä ovat mittausolosuhteisiin liittyvät tekijät ja toisaalta sellaiset ihmisen käyttäytymiseen vaikuttavat tekijät, jotka eivät ole tutkimuksen kohteina mutta joiden vaikutusta ei voida täysin kontrolloida (mm. motivaatio, intressit, mieliala, viretila). Samaa instrumenttia hyödyntävien mittausten välisen ajan kasvaessa tulee huomioida, että mittaustulokset muuttuvat myös persoonallisuuden plastisiteetin vuoksi: ihmisen käyttäytyminen ei ole kivettynyttä, vaan kypsyminen, oppiminen ja harjaantuminen - sopeutuminen yksilötasolla - heijastuu myös persoonallisuudessa ja edelleen käyttäytymisessä. Tutkimuksen olosuhteisiin lukeutuvat myös yksilön toimintaympäristöön ja kokemusmaailmaan vaikuttavat sosiaaliset ja yhteiskunnalliset olosuhteet.
Ilmeisiä satunnaistekijöitä, virhevarianssin lähteitä ovat mittausolosuhteet, milloin niitä ei ole pyritty kontrolloimaan (työskentelyolosuhteet ja erityisesti keskittymisen mahdollistuminen, vuorokauden aika, vuodenaika jne.), yksilöiden vaihtelevat mielialat, motivaatio ja tietojen antamista koskevat intressit. Täysin samanlaisia tutkimusolosuhteita on usein haasteellista järjestää kahdesti samoille henkilöille, joilla ei olisi erilaisia tai muuttuvia intressejä tietojen antamisen suhteen eri mittauksissa sellaisen ajan puitteissa, että todellista muutosta ei voida olettaa tapahtuneen. Näistä syistä myös menetelmien luotettavuutta, erityisesti test-retest -reliabiliteettia (kuinka luotettavasti menetelmä antaa samanlaisia tuloksia eri mittauskerroilla) kuvaavia tutkimuksia ja tuloksia esitellään menetelmien yhteydessä usein niukasti.
Yläkäsite mittaamisen laatu tai luotettavuus voidaan yleisemmin jakaa yhtäältä menetelmän tarkkuuteen, osuvuuteen tai täsmällisyyteen, jolla viitataan siihen, kuinka hyvin menetelmä mittaa sitä konstruktiota tai ilmiötä, jota sen on tarkoitus mitata. Toisaalta keskeistä, ja validiteetin kannalta ensisijaista, on menetelmän luotettavuus, reliabiliteetti, millä viitataan siihen, missä määrin menetelmä antaa samoille henkilöille samanlaisia tuloksia eri mittauskerroilla. Edelleen voidaan toki puhua myös menetelmien uskottavuudesta, joka voi viitata tutkimuksen tekijöiden maineeseen tieteen kentällä, hankittuihin oppiarvoihin (pätevyyteen) ja toisinaan joidenkin tutkimusten kohdalla tutkimuksen tilanneiden intresseihin. Laveampana käsitteenä uskottavuus viittaa esimerkiksi menetelmän taustalla implikoidusti tai eksplikoidusti vaikuttaviin tieteenfilosofisiin lähtökohtiin ja olettamuksiin, tässä tapauksessa koskien ihmisen olemusta. Relativistista tai konstruktionistista näkemystä edustava voisi kuitenkin todeta, että ihmisellä ei ole mitään olemusta, joka rajaisi saati determinoisi käyttäytymistä mm. yksilön vapaista valinnoista riippumatta. Erilaiset elämänkatsomukselliset ja ihmiskäsityksiin liittyvät filosofiset positiot vaikuttavat siten huomattavasti siihen, missä määrin eri henkilöt pitävät esimerkiksi psykologian menetelmin hankittua tietoa uskottavana, tai ylipäänsä tietona. Myös koko tieteellisen tiedon arvo ja käytettävyys voidaan torjua.
Tieteellisen maailmankuvan ja psykologisen ihmiskäsityksen hyväksyvä yksilö tavallisesti suhtautuu psykologisten menetelmien tuottamaan tietoon uskottavana, sikäli kun muiden muassa tässä käsitellyt luotettavuus- ja tarkkuusvaatimukset täyttyvät, muistaen ihmisen käyttäytymisen ennustamista koskevat varaukset. Neurotieteiden ja geenitutkimuksen edistymisestä huolimatta psykologiatieteen piirissä saatavat tutkimustulokset eivät vertaudu varsinaisten luonnontieteiden alalla saatuihin tuloksiin: pelkästään muihin eläinlajeihin verrattuna ihmisen käyttäytymiseen vaikuttavat poikkeuksellisen paljon kulttuuriset tekijät ja myös sosiaalisten tekijöiden vaikutus toteutuvaan käyttäytymiseen on ihmisen kohdalla ilmeisesti komplisoidumpi kuin muilla kädellisillä. Näistä syistä psykologiatieteen piirissä saatuja tuloksia ei tule tarkkuuden tai ennusteiden varmuuden osalta verrata varsinaisten kovien luonnontieteiden tuloksiin.
Tutkimuksen laatu ja menetelmän luotettavuus
Psykologisen mittaamisen laatua - erityisesti reliabiliteettia ja validiteettia - voidaan havainnollistaa yleisesti käytetyllä "napakymppi" (bull’s eye) -vertauksella. Siinä missä jonkin jousiaseen tai ampuma-aseen luotettavuutta voidaan arvioida sen mukaan missä määrin osumat ovat tiiviisti nipussa, osuen siis samaan kohtaan tai lähelle toisiaan, psykologisen testin tai menetelmän kohdalla puhutaan reliabiliteetista: missä määrin menetelmä antaa eri mittauskerroilla samanlaisen tuloksen. Menetelmä ei voi olla täsmällinen tai tarkka, eikä siten hyödyllinen, jos se ei anna missään määrin samanlaisia tuloksia tietyissä puitteissa eri mittauskerroilla.
Kuva 1. Reliabiliteetti - mittauksen toistettavuuden luotettavuus.
Kuvassa 1 on esitetty reliaabelin, luotettavan mutta epätarkan menetelmän tai välineen antama tulos (ei validi). Osumat/mittaustulokset ovat luotettavasti tiiviissä rypäässä, mutta maalin vieressä.
Edelleen jousen tai sen käyttäjän tarkkuus määräytyy sen perusteella, missä määrin nuolet osuvat maaliin, sinne mihin on tähdätty. Tämä vertautuu psykologisen menetelmän validiteettiin.
Kuva 2. Validiteetti - mittauksen tarkkuus tai täsmällisyys.
Kuvassa 2 on esitetty epäluotettavan, ei-reliaabelin menetelmän antama tulos. Osumat/mittaustulokset ovat keskimäärin maalissa mutta hajallaan sen ympärillä. Koska menetelmä ei ole luotettava, ei sen validiteettia ole mahdollista määritellä.
Kuva 3. Pätevä menetelmä. Menetelmä tuottaa luotettavasti osuvia tuloksia.
Ollakseen validi, instrumentin tulee olla reliaabeli, luotettava. Reliaabelin ja validin jousen tai menetelmän kyseessä ollen nuolet tai mittaukset ovat keskellä, napakympissä (kuva 3).
Ensisijaista reliabiliteettia ja myös validiteettia voidaan tarkastella useasta näkökulmasta. Luotettavuus, reliabiliteetti on ensimmäinen vaatimus sille, että menetelmää on mielekästä tai hyödyllistä käyttää.
Reliabiliteetin arvioinnissa erotetaan kaksi pääasiallista lähestymistapaa.
- sisäinen konsistenssi - missä määrin mittarin eri osiot tai kysymykset mittaavat samaa ilmiötä (internal consistency)
- test-retest -reliabiliteetti - missä määrin eri mittauskerroilla saadaan samanlaisia, vakaita tuloksia (stability)
Uusintatestaus (test-retest) -reliabiliteetti on itsestään selvä, mutta toisaalla käsitellyistä syistä usein hankalasti hankittava menetelmän laadun arvioinnin mahdollistava tieto. Toisaalta sisäinen konsistenssi on jossain määrin keskustelunalainen kriteeri. Näitä molempia ominaisuuksia arvioidaan (keskiarvon ohella) tavallisimman tilastollisen tunnusluvun, korrelaatiokertoimen avulla.
Korrelaatiokerroin tarkoittaa lukuarvoa, joka kuvaa kahden mitatun ilmiön yhteisvaihtelua - sitä, missä määrin näiden ilmiöiden tasot vaihtelevat loogisesti ja suoraviivaisesti yhdessä, joko positiivisesti tai negatiivisesti. Täydellinen positiivinen korrelaatio (+1.0) tarkoittaa täydellistä yhteisvaihtelua positiiviseen suuntaan. Tällöin esimerkiksi ensimmäisen mitatun tekijän arvon muutos yhdellä yksiköllä positiiviseen suuntaan liittyy aina toisen tekijän muutokseen yhdellä yksiköllä niin ikään positiiviseen suuntaan.
Kuvitteellisessa havaintopsykologisessa tutkimuksessa voisimme saada tulokseksi yhteyden, jonka mukaan henkilön ikä ja oikeiden havaintojen tuottaminen jonkin aikarajan puitteissa korreloivat seuraavasti:
| Ikä | Oikeat havainnot aikayksikössä |
|---|---|
| 18 | 72 |
| 20 | 71 |
| 22 | 70 |
| 24 | 69 |
| 26 | 68 |
| 28 | 67 |
| 30 | 66 |
| … | — |
Taulukko 1. Kuvitteellinen esimerkki suoraviivaisesta negatiivisesta korrelaatiosta.
Tässä todettaisiin korrelaation laskennassa täydellinen negatiivinen korrelaatio (-1.0) iän ja havaintotestin tuloksen välillä: iän kasvuun kahdella vuodella liittyi havaintotestin tuloksen väheneminen yhdellä yksiköllä. Vaikka kuvitteellisessa esimerkissä tulos on käsityksemme mukainen, se tuskin koskaan näyttäytyy täysin suoraviivaisena ja näin vahvana.
Esimerkin kohdalla, arvioitaessa menetelmien luotettavuutta tai laajemmin laatua meidän tulisi varmistua siitä, että kyseisessä testissä havaintopsykologinen ilmiö olisi ensinnä täsmällisesti määritelty ja sen perusteella kyseinen testi laadittu siten, että se mittaa tuota aiottua konstruktiota tai käsitettä luotettavasti (reliabiliteetti) ja tarkasti (validiteetti). Testit on konstruktioiden empiiriseksi mittaamiseksi kehitetty tavallisesti iteratiivisessa, kehämäisessä prosessissa, jossa mittarin kehitysversioita pilotoidaan, osioita muokataan, karsitaan ja tarkennetaan.
Kun korrelaatioksi saadaan 0 (nolla), tai tiettyjen tilastomatemaattisten kriteerien puitteissa niin lähellä nollaa oleva luku, että sen ei katsota vaikutukseltaan eroavan nollasta, kahden ilmiön välillä ei vallitse riippuvuutta. Tässä tapauksessa toisen ilmiön vaihtelun avulla ei voida ennustaa toisen ilmiön vaihtelua. Vaikka korrelaatio, muuttujien yhteisvaihtelu olisi tätä nollaa suurempi, emme voi olettaa, että ennusteena käytetyn tekijän taso ennustaisi toisen tekijän tasoa reaalitodellisuudessa, vaikka yhden tekijän mitatun tason vaihtelu voi selittää toisen ilmiön tason vaihtelua. Esimerkiksi jossakin analyysissä voitaisiin hyvinkin todeta, että tilastollisesti (mutta ei kausaalisesti) jäätelön myynnin määrän vaihtelu eri kuukausina Suomessa selittää hukkumiskuolemien määrän vaihtelua. Kuitenkaan jäätelön myyntiin vaikuttamalla ei voitaisi ehkäistä hukkumiskuolemia. Näiden ilmiöiden välillä ei vallitse kausaalista yhteyttä, syy-seuraus -suhdetta, vaan molempien taustalla vaikuttaa yhteinen kausaalinen tekijä, lämpötilan vaihtelu.
Myös psykologisten konstruktioiden välisiä yhteyksiä tutkittaessa teknisen korrelaation lisäksi tulee todettu yhteys voida selittää (laajassa mielessä ymmärtää) jonkin tieteellisesti pätevän mekanismin avulla siten, että ns. väliin tulevat kolmannet tekijät on kontrolloitu tai niiden vaikutus on teknisesti vakioitu. Lisäksi syy-seuraus -yhteyden toteen näyttäminen edellyttää ajallista järjestystä: syytekijän tulee edeltää seurausvaikutusta. Psykologian alalla käsitteiden ja konstruktioiden yhteyksiä kuvaavat mekanismit (mm. teoriat, mallit, lait) ovat varsin usein myös arkikokemuksen mukaan ymmärrettäviä.
Reliabiliteetin arviointiin vaikuttavista tekijöistä
Erityisesti ihmisen ominaisuuksien tutkimuksessa on olennaista huomioida, että hyvinkin validisti testi- tai arviointimenetelmäksi operationalisoitua konstruktiota (esim. ahdistuneisuutta, työmuistin kapasiteettia tai persoonallisuuden ekstraversiota) mitattaessa mittaustulos koostuu kahdesta komponentista: yhtäältä mittarin tai menetelmän tulos kuvaa kyseisen ominaisuuden tasoa ja toisaalta tulokseen sisältyy tutkittavan ominaisuuden (ja tuloksen antaman ennnusteen) suhteen satunnaistekijöitä, joihin viitataan myös virhevarianssina.
Luotettavuutta, reliabiliteettia arvioitaessa on huomattava, että yksittäisten henkilöiden kohdalla mm. motivaation, vireystilan tai mielialan vaihtelu voi tuottaa erilaisia tuloksia eri testauskerroilla, vaikka käytetyt menetelmät eivät suoraan kohdistu erityisesti mielialan tai motivaation tason mittaamiseen. Psykologisesti on ymmärrettävää, että nämä seikat kuitenkin vaikuttavat suoriutumiseen ja vastaamistapaan myös muihin ominaisuuksiin kohdistuvissa testeissä. Työskentelyolosuhteet voivat niin ikään vaikuttaa tuloksiin.
Vaikka epäsuotuisat patologiset muutokset jätetään tarkastelun ulkopuolelle, ihmisen persoonallisuuden tiedetään jossain määrin muuttuvan mm. kypsymisen ja oppimisen myötä sen ympäristön, tai ympäristöjen (mm. fyysinen, sosiaalinen ja kulttuurinen) vaikutuksesta, joissa yksilö toimii. Tämän mahdollistaa ihmisen käyttäytymisen plastisiteetti, organismin biologisesti määräytynyt kyky mallintaa ja hallita toimintaympäristöä, joka on yksilöllisesti vaihteleva ominaisuus. Joillakin yksilöillä tämä plastisiteetti on vahvempi kuin toisilla, välittävinä tekijöinä vaikuttavat mm. oppimiskyky, yleinen älykkyys tai kyvykkyys eri alueilla. Älykkyys on varsin arvoladattu käsite ja usein nostetaan esiin lähinnä matemaattis-loogisen, kielellisen ja avaruudellisen hahmottamisen osa-alueet älykkyyden komponentteina. Toisaalta puhutaan yleisestä älykkyydestä, joka on määritelty mm. kyvyksi soveltaa opittua nopeasti, sopeutua uusiin tilanteisiin ja kyvyksi ymmärtää ja käsitellä abstrakteja käsitteitä tai tarkoituksenmukaiseksi tai johdonmukaiseksi toiminnaksi uudessa tilanteessa edellyttäen, ettei toiminta ole pelkästään aiemmin opitun toistamista.
Tässä kohdataan tarkoituksenmukaisuuden käsitteen kautta motivaatiotekijät ja edelleen arvot. Älykkyyttä ja sen mittaamiseksi käytettyjen menetelmien laatua on hyödyllistä tutkia selkeästi määriteltyjen ja rajattujen kognitiivisten (tiedon prosessointiin: havaintoon, ajatteluun, muistiin, toiminnanohjaukseen ja päätöksentekoon liittyvien) tehtävien ja yksiselitteisten kriteerien (esim. oikeat ratkaisut aikayksikössä) avulla haluttaessa kontrolloida muita tekijöitä. Kypsymistä ja erilaisten luontaisten lahjojen ja taipumusten tukemaa oppimista voidaan pitää tällaisina persoonallisuutta mikrotasolla muuttavina prosesseina. Persoonallisuuden tasojen ja ulottuvuuksien tutkimuksessa ajatellaan, että persoonallisuuden taustalla käyttäytymistä ohjaa perustavampi ja pysyvämpi temperamentti.
Näistä syistä on ymmärrettävää, että pyrittäessä arvioimaan psykologisen menetelmän luotettavuutta, reliabiliteettia, tähän tarvittavien mittausten välinen aika ei voi olla niin pitkä, että tutkimushenkilöiden voitaisiin olettaa muuttuneen tutkittavan ilmiön osalta esimerkiksi kypsymisen, oppimisen tai harjaantumisen kautta. Monissa testeissä tämän ajan tulee olla kuitenkin niin pitkä, että tutkimushenkilöt eivät oletettavasti voi muistaa, miten vastasivat kysymyksiin ensimmäisellä kerralla. Erityisesti kognitiivisia kykyjä mittaavissa testeissä tähän tuloksia vääristävään vaikutukseen viitataan oppimisvaikutuksena.
Myös sattuma (tilastollisessa mielessä) voi vaikuttaa siihen, että jossakin kyvykkyyttä mittaavassa testissä keskimääräinen henkilö onnistuu jollakin tutkimuskerralla keskimääräistä paremmin sattumalta ja toisella kerralla keskimääräistä huonommin. Laajemmin puhutaan regressiosta kohti keskiarvoa, jolla viitataan tähän ilmiöön yleisellä tasolla. Regressio kohti keskiarvoa perustuu siihen, että esimerkiksi jossakin kykyjä mittaavassa testissä parhaita tuloksia saaneiden joukossa osa on sellaisia henkilöitä, joita satunnaistekijät ovat tukeneet heidän todellista (tai keskimääräistä) suoriutumista parempaan tulokseen. Näitä tekijöitä voivat olla esimerkiksi mieliala, hyvä lepo ja valmistautuminen, korkea motivaatio. Toisaalta keskimääräistä huonommin menestyneissä osa on sellaisia, joilla vastaavat tekijät ovat olleet tuolla mittauskerralla epäsuotuisia. Mahdollisilla muilla mittauskerroilla nämä kyseiset henkilöt voivat saada lähemmäksi keskiarvoa osuvia tuloksia, eli heidän tuloksensa palautuvat lähemmäksi keskiarvoa (regression towards the mean).
Tähän kytkeytyvä vaikeammin kontrolloitava tekijä, joka tulisi huomioida arvioinnin tueksi tuotetun tiedon kokonaisuuden tulkinnassa, liittyy persoonallisuuden vaikutuksiin kykyjä kartoittavissa testeissä. Tiedämme, että emotionaalinen reagoivuus tai stressinsietokyky, persoonallisuuden introversio ja tunnollisuus voivat vaikuttaa siten, että kasautuvasti näiden ominaisuuksien ääripäihin asettuvat henkilöt saavat keskimäärin erilaisia tuloksia aikapaineessa tehtävistä kykytesteistä ilman, että näitä tuloksia tulisi suoraan tulkita menestymiserojen ennusteeksi käytännön työtehtävissä, joita näiden operationalisointien uskotaan edustavan. Varovainen, sisäänpäin kääntynyt ja tunnollinen henkilö saattaa olla pitkällä aikavälillä arvokkaampi kompetenssi monissa tehtävissä kun hän mukautuu varsinaisiin käytännön työskentelyolosuhteisiin, joissa nämä ennusteina käytettäviin testituloksiin vaikuttaneet tekijät ovat väistyneet. Toisaalta jos tehtäviä, joihin henkilöitä haetaan, luonnehtivat jatkuvat muutokset ja keskittymistä mahdollisesti häiritsevät tekijät, aikapaineessa nopeasti tehtävät vaihtuvat testit simuloivat ehkä paremmin myös täytettävän tehtävän haasteita ja tuottavat siten paremman ennusteen. Kriteerivaliditeetin tutkimuksessa pyritään löytämään menetelmiä, jotka ennustavat menestymistä käytännön työtehtävissä.
Psykologiset konstruktiot ja reliabiliteetti
Kun menetelmän tai mittarin sisäistä konsistenssia kuvaava yleisimmin käytetty kriteeriarvo (Cronbach’s alpha) kasvaa hyvin korkeaksi, voidaan ajatella, että:
- tilanne on ongelmaton ja myönteinen mitatun ilmiön ollessa selkeästi määritelty ja sikäli kun operationalisoinnin mahdollisesti tavoittama ekstensio (referentti, todellisuuden alue, jonka tasoa tai vaihtelua instrumentti pyrkii mittaamaan) on olemukseltaan tai ilmenemisessään kapea-alainen. Tämä voi tulla kysymykseen mitattaessa esimerkiksi kapeasti spatiaalista tai numeerista älykkyyttä testillä, jonka osatehtävät pyrkivät kuormittamaan täsmällisesti kapeaa kykyaluetta.
- toisaalta se ajatus on saanut tukea, että Cronbachin alfan noustessa yli arvon 0.90 sellaisten operationalisointien kohdalla, joihin ei voida olettaa liittyvän eri yksilöiden ymmärryshorisontissa vastaavanlaisia matemaattis-loogisen tarkkoja (osin opittuja) intensioita tai representaatiota, vaan liikutaan jopa kokemuksellisten kvalioiden alueella, tilannetta voidaan pitää ongelmallisena käsitteen koko kirjon tavoittamisen kannalta.
Myös osioiden määrän kasvaessa todetaan alphan inflatoitumista tavalla, jota ei voida pitää testin sisäisen konsistenssin todellisena marginaalisena vahvistumisena; suurempi määrä osioita kasvattaa näennäistä konsistenssia. Mindfindrin kompetenssipotentiaalia ennustavissa ulottuvuuksissa osioita on 4-7.
Mindfindr-menetelmän kohdalla loogis-matemaattista kompetenssipotentiaalia ennustavan osion sisäinen konsistenssi (Cronbachin alpha) vaihtelee kolmessa esimerkkiaineistossa välillä 0.88 (n=144) ja 0.89 (n=301). Toisaalta käsitteellisesti "sumeamman" intuitiivisuuden kompetenssi-dimension sisäinen konsistenssi on matalampi, Cronbachin alphan saadessa kolmessa aineistossa arvon 0.67 (n=144; 298; 301). Keskimäärin Mindfindrin kompetenssipotentiaalia, joka käsite tulee korrelatiivisista yhteyksistä huolimatta erottaa älykkyyden käsitteestä, mittaavien ulottuvuuksien sisäinen konsistenssi vaihteli kolmessa aineistossa välillä 0.79-0.81.
Varsinkin etabloituneiden persoonallisuusmittarien kohdalla on haettu kompromissia yhtäältä
reliabiliteetin ja toisaalta kysymysten tai tehtävien lukumäärän, käytettävyyden ja tehokkuuden
välillä. Tavoitteena on optimoida instrumenttien sisäinen konsistenssi mitattavien merkitysten tai
denotaatioiden (operationalisoinneilla tavoiteltujen todellisuuden alueiden, kuten suhteellisen
pysyvien käyttäytymistaipumusten) laajaa, myös aladimensiot huomioivaa kattavuutta uhraamatta.
Siten ei ole yllättävää, että mm. Prf-testin dimensioiden split-half reliabiliteetit vaihtelevat
välillä 0.48 - 0.90 mediaanin asettuessa 0.78:aan (Spearman -Brown; n=192). Suomalaisilla
aineistoilla saadut reliabiliteetit ovat vaihdelleet välillä 0.66 - 0.89. NEO-PI-R -testin, joka
edustaa käytetyintä Big Five / FFM -mallin testiä, dimensio-reliabiliteetit vaihtelevat välillä 0.50
- 0.82 isossa aineistossa, mediaanin ollessa 0.77 (n=12 156) ja pienessä yliopisto-opiskelijoista
koostuneessa aineistossa välillä 0.50 - 0.87 (med = 0.77; n=132). Huomataan, että sisäisen
konsistenssin osalta aineiston koolla ei ole erityistä merkitystä, toisin kuin validiteetin
kohdalla yleensä. Vastaavasti ns. kulttuurivapaan (Culture Fair Scales) älykkyystestin
reliabiliteetti (internal consistency) on 0.78.
Menetelmän vakaus, luotettavuus, toistettavuus - test-retest -reliabiliteetti
Menetelmän luotettavuutta arvioidaan yhtäältä test-retest -reliabiliteetin avulla silloin, kun on mahdollista saada samoilta koehenkilöiltä ja mahdollisuuksien mukaan samoissa olosuhteissa tuotettuja mittaustuloksia. Tämän menettelyn avulla halutaan selvittää, missä määrin menetelmä antaa samoja tai tiettyjen kriteerien puitteissa riittävän samankaltaisina pidettäviä tuloksia.
Ihmisen käyttäytymisen mittaamisessa tässä tarkoituksessa on huomioitava, että mittausten aikavälin tulisi olla sellainen, että tutkimushenkilö ei todennäköisesti voi toistaa samoja vastauksia tai ratkaisuja muistinvaraisesti. Tämä näkökohta on erityisen tärkeä kognitiivisia kykyjä tai valmiuksia mittaavien menetelmien arvioinnissa ja tietenkin vähintään yhtä merkittävä haaste niiden käytännön tulkinnassa osana arviointityötä. Jos samat henkilöt osallistuvat useasti samankaltaisiin, tai peräti samoihin testeihin, muodostuu testioppimista varsinkin yksittäisten testien kohdalla. Tämä on ongelma myös yleisemmällä tasolla, koska testien metalogiikka, perusajatus on usein samankaltainen.
Lähes samoissa olosuhteissa anonyymisti vailla ilmeisiä tietojen antamista koskevia intressejä Mindfindr-kartoituksen kahdesti keskimäärin 20 päivän väliajoin (med=19 päivää, vaihteluväli 11-37) tehneiden henkilöiden tulokset antoivat loogis-matemaattisen kompetenssipotentiaalin osalta uusintatestausreliabiliteetiksi 0.907 (n=31).
Tämän kompetenssiulottuvuuden konvergenssivaliditeettia on tarkasteltu tekstissä myöhemmin.
Kuva 4. Mindfindrin reliabiliteetti loogis-matemaattisen kompetenssipotentiaalin osalta.
Arvot on stardardoitu z-asteikolle; tällöin 0 kuvaa otoksen sisäistä keskiarvoa.
Toisessa aineistossa (Kuva 4) toisen asteen tutkinnon suorittaneet keskimäärin noin 23-vuotiaat henkilöt tekivät kartoituksen 6 kk:n välein, kuitenkin niin, että ensimmäisen mittauksen tietoja hyödynnettiin opiskelijavalinnoissa ja toisessa mittauksessa nämä henkilöt olivat koulutukseen valittuina suorittamassa tutkintoa. Paitsi vuodenaika (syyskesä vs. keskitalvi), myös vastaajien intressit ja olosuhteet (1. mittaus: aikapaineessa osana koepäivää, ryhmätilanteessa valvotussa luokassa vs. 2. mittaus: vapaa-aikana, ilman kontrollia ja aikapainetta tai mahdollista kilpailun tunnetta) olivat mittauksissa erilaiset. Uusintatestaus-reliabiliteetti oli 0.932 (n=42).
Kuvan 4 perusteella voidaan karkeasti laadullisesti arvioida menetelmän osuvuutta sen osalta, kuinka luotettavasti menetelmä erottelee todennäköisesti keskimääräistä vahvemmat keskimääräistä vähemmän vahvoista. Huomataan, että yksi henkilö asettuu ensimmäisessä mittauksessa keskimääräistä matalamman tuloksen saaneiden joukkoon (x- / vaaka-akselilla 0:n alapuolella) ja toisessa mittauksessa keskimääräistä vahvemman tuloksen saaneiden joukkoon (y- / pystyakselilla 0:n yläpuolella).
Alun perin Cattellin tutkimustyöhön perustuneen Culture Fair Scales –älykkyystestin Scale 2:n välittömään uusintatestaukseen (kahteen samaan samana päivänä ja peräkkäin tehtyyn testiin) perustunut test-retest –reliabiliteetti on 0.84. Scale 3:n osalta reliabiliteetti (välittömästä uusintatestauksesta korkeintaan viikon viiveellä tehtyyn uusintatestaukseen) on 0.82. NEO-PI-R -testin, joka edustaa käytetyintä Big Five / FFM -mallin testiä, uusintatestaus-reliabiliteetti yliopisto-opiskelijoista koostuneessa aineistossa oli yhden viikon viiveellä 0.83 (n=132).
Persoonallisuuden arviointi ja Mindfindr
Persoonallisuutta koskevassa reliabiliteetin tutkimuksessa on huomioitava, että kahden mittauksen välisen ajan kasvaessa myös henkilöiden elämäntilanteessa voi tapahtua merkittäviäkin muutoksia, jotka heijastuvat vastaamistapaan. Erityisesti nuorilla henkilöillä persoonallisuus vasta vakiintuu, kysymysten tulkinta ja siten myös niihin vastaaminen muuttuu kielen kehittyessä. Samoin käytännön olosuhteet (lepo, vuorokaudenaika, työskentelytila) ja erityisesti tiedostetut ja tiedostamattomat intressit ja motiivit sekä annetun tiedon merkitys ja funktiot suhteessa yksilön tavoitteisiin kaikki vaikuttavat saataviin tuloksiin.
Mindfindrin persoonallisuutta mittaavien osioiden uusintatestaus-korrelaatiot ovat yleensä matalampia kuin loogis-matemaattista kompetenssipotentiaalia mittaavassa osiossa. Kuitenkin FFM-mallin tai MBTI:n ekstraversiota ja Prf:n ulospäin suuntautuvaa kunnianhimoa ennustavien tulosten kanssa laajasti ottaen analoginen Mindfindrin dimensio (käsite kattaa mm. ulospäinsuuntautuneisuuden, sosiaalisen aktiivisuuden ja toiminnallisuuden) poikkeaa edellä todetusta. Tämän dimension uusintatestaus-reliabiliteetti oli edellä kuvatussa paremmin kontrolloidussa otoksessa 0.945 (p=.000; n=31). Ryhmä teki keskimäärin 20 päivän välein kartoituksen lähes samoissa olosuhteissa ilman todennäköisiä vastaamistapaan vaikuttavia intressejä anonyymisti (kuva 5). Toisen asteen tutkinnon suorittaneiden vastaajien keski-ikä oli 22,3 vuotta. Kaikkien Mindfindrin mittaamien persoonallisuusdimensioiden uusintatestauksen reliabiliteetti oli 0.90. Toiseksi korkein oli lähinnä FFM-mallin tunnollisuutta ja Prf:n rakennehakuisuutta vastaavan dimension reliabiliteetti (0.915; p=.000; n=31).
Kuva 5. Mindfindrin reliabiliteetti ekstraversiota vastaavan dimension osalta.
Kuvassa 5 on esitetty Mindfindrin mm. ekstraversiota ennustavan dimension
uusintatestausreliabiliteetti keskimäärin 20 päivän (vaihteluväli 11 - 37, mediaani 20) välein
tehdyissä kartoituksissa (0.945; p=.000; n=31). Arvot on standardoitu z-asteikolle. Tällöin 0 kuvaa
otoksen sisäistä keskiarvoa.
Toisessa anonyymisti tehdyssä tutkimuksessa, jossa noin kolmasosa oli alle 16-vuotiaita, toinen
kolmannes 20-30-vuotiaita ja loput yli 30-vuotiaita ja mittausten väli oli keskimäärin 2 viikkoa,
saatiin ekstraversiota vastaavan ulottuvuuden reliabiliteetiksi 0.937. Muiden dimensioiden
reliabiliteetti vaihteli välillä 0.864…0.877 (p=.000; n=68).
Kolmannessa aineistossa, jossa kaksi mittausta toteutettiin 6 kuukauden välein (ensimmäisessä
kartoitus tehtiin osana valintakoetta, aikapaineessa ja osana valintakoepäivää valvotuissa tiloissa,
toinen mittaus opiskelun alettua, vapaa-aikana valvomatta) loogis-matemaattisen
kompetenssi-dimension reliabiliteetti oli 0.932 ja persoonallisuutta mittaavien dimensioiden
reliabiliteetti vaihteli välillä 0.74 – 0.82 (n=40).
Keskimäärin koehenkilöiden vastausten perusteella ei jälkimmäisessä aineistossa todettu merkitseviä trendejä, jotka olisivat viitanneet pyrkimyksiin vastata sosiaalisesti suotavasti. Toisaalta nuorten aikuisten (iän keskiarvo 22,6) kohdalla puolen vuoden aika voi tuottaa muutoksia erityisesti (mm. edellä käsitellyissä) ns. virhevarianssitekijöissä, toisaalta puolen vuoden aikana voi tapahtua myös oikeita muutoksia persoonallisuudessa. Neurotieteellisen persoonalisuustutkimuksen pohjalta emotionaalisen reagoivuuden ohella ekstraversio-introversio -ulottuvuuden pysyvyys tiedetään vahvimmaksi.
Osin näistä syistä Mindfindr-menetelmä ei pyri "ennustamaan" tai attribuoimaan tutkimushenkilölle vain yhtä persoonallisuutta kuvaavaa ratkaisua. Menetelmä perustuu oletukselle, että ihmisen luontainen plastisiteetti näkyy yli ajan toteutuvana persoonallisuuden kasvuna ja muutoksena (transformation), jonka taustalla vaikuttavat neuraaliset prosessit. Plastisiteetti tarkoittaa myös (yksilöllisesti vaihtelevaa) valmiutta hyödyntää persoonallisuuden eri voimavaroja erilaisissa tilanteissa. Menetelmä ei siis pyri kivettämään yksilön kuvausta vain yhdeksi "tyypiksi", jonka stabiliteettia pidettäisiin arvona sinänsä. Myöskään pragmatistisen näkökulman pohjalta ei tule pitää tavoiteltavana mittarin liiallista kapea-alaisuutta (sivuuttamatta tässä käsiteltyjä laatuvaatimuksia) pyrittäessä palvelemaan dynaamisten organisaatioiden HR-tarpeita.
Mindfindrin ei ole tarkoitus mitata pelkästään yksittäisiä dimensioita, vaan hyödyntää usealta eri alueelta ja useasta dimensiosta saatua tietoa siten, että voidaan löytää useita yksilöllisesti mahdollisesti mielekkäitä (motivoivia ja tarpeita vastaavia) aloja tai tehtäviä. Toisaalta näin pyritään sumeasti ennustamaan henkilön todennäköistä soveltuvuutta (menestymistä, viihtymistä ja jaksamista) useassa tehtävässä, ei niinkään pelkästään yhdessä tietyssä positiossa. Menetelmä tarjoaa avaramman kuvan henkilölle todennäköisesti eriasteisesti soveltuvista tehtävistä samalla kun tuottaa primäärin ja tiettyjen raja-arvojen puitteissa mahdollisesti myös sekundäärisen yleisen persoonallisuuden kuvauksen.
Kuuden kuukauden välein Mindfindr-kartoituksen eri olosuhteissa ja erilaisin intressein tehneet henkilöt saivat soveltuvuuden arvioinnin pohjana käytettyihin tehtäviin tai ammatteihin numeeriset soveltuvuusennusteet, joiden keskimääräinen 6 kk:n uusintatestausreliabiliteetti oli 0.835 (p=.000; n=40). Tässä on hyvä huomata, että Mindfindr tarjoaa erilaisia listauksia arvioiduille soveltuvista tehtävistä koulutustason mukaan eriteltyinä. Reliabiliteetin arvioinnissa sinänsä ei ole huomioitu, kuinka monta esimerkiksi 10 soveltuvimman tehtävän joukkoon ensimmäisessä mittauksessa asettunutta tehtävää tai ammattia osui myös toisessa mittauksessa 10 soveltuvimmaksi ennustetun joukkoon.
Validiteetti - menetelmän tarkkuus ja ennusteiden osuvuus
Validiteetin arvioinnissa erotetaan mm. seuraavat lähestymistavat.
- Sisältövaliditeetti (content validity)
- Kriteerivaliditeetti
- Konstruktiovaliditeetti, joka voidaan jakaa
- Konvergenssivaliditeettiin ja
- Erotteluvaliditeettiin (discriminant validity)
Näiden tarkastelutapojen lisäksi menetelmien ja testien voidaan katsoa osoittavan hyvää face validiteettia (suom. lumevaliditeetti tai ilmivaliditeetti), mikä tarkoittaa lähinnä, että menetelmä näyttää jopa terveen järjen ja arkikokemuksen valossa mittaavan sitä ilmiötä, jota sen väitetään mittaavan. Face validiteettia ei arvioida erityisillä tieteellisillä mittareilla, mutta yleensä kyseistä ilmiökenttää jollain tavalla tuntevien katsannossa face validi menetelmä näyttää mittaavan sitä konstruktiota, jota sen väitetään mittaavan. Kuitenkaan face validius ei kerro mitään siitä, kattavatko mittarin osiot konstruktion käsitteellisen alan, saati siitä, antaako menetelmä konstruktiosta vastaavanlaisia tuloksia kuin muut kyseistä käsitettä mittaamaan pyrkivät menetelmät. Koska kaikissa mittareissa - ja mittaustilanteissa - on omat virhevarianssitekijänsä, mitään yksittäistä menetelmää ei psykologian alalla voida pitää kaikkien muiden menetelmien ensisijaisena ja ainoana kriteerinä. Osin tästä syystä arviointityössä tulisi hyödyntää useita mittareita kutakin arvioitavaa aluetta tutkittaessa.
Sisältövaliditeetti
Sisältövaliditeetti tarkoittaa, että operationalisoidut kysymykset, tehtävät tai osiot (items), joista arvioitava mittari tai menetelmän osa koostuu, kattavat mahdollisimman laajasti sen konstruktion käsitteellisen alan, jota menetelmän on tarkoitus mitata. Filosofisesti tämä voidaan ilmaista myös niin, että käsitteen ala tulee tällöin tavoitetuksi optimaalisesti onnistuneella käsitteen sisällön operationalisoinnilla, siis havaittavaan ja mitattavaan (empiiriseen) todellisuuteen kytkemisen menettelyllä. Sisällöllisesti validi mittari kattaa konstruktion olennaisen merkityksen.
Aiemmin tarkasteltaessa menetelmien reliabiliteettia pohdittiin sisäisen konsistenssin yhteydessä kysymystä siitä, miten löytää optimi yhtäältä mittarin kattavuuden ja toisaalta luotettavuuden välillä. Sisältövaliditeetti voi heikentyä pyrittäessä korostamaan mittarin osioiden (items) sisäistä konsistenssia. Toisaalta menetelmien käytettävyys ja tehokkuus olisi myös otettava huomioon.
Mindfindrin kohdalla tätä haastavaa yhtälöä on lähestytty painottaen sisältövaliditeettia pitäen mielessä erityisesti kompetenssien osalta menetelmän kehityksen lähtökohdat. Tarkoitus on mallintaa kompetenssiprofiileja siten, että saadaan tietoa yksilön kyvykkyydestä kullakin kompetenssialueella ja toisaalta huomioidaan motivaatiotekijät. Iteratiivisen prosessin avulla on määritelty konstruktioita tehokkaimmin mittaavat osiot. Käytettävyyden edistäminen tarkoittaa myös, että menetelmän hyödyntäjät tiedostavat arvioinnin keskeisen lähtökohdan: arvioinnin kannalta keskeisiä alueita tulisi mitata ja ennustaa usealla, vähintään kahdella eri menetelmällä, haastattelun painoarvoa unohtamatta.
Kriteerivaliditeetti
Psykologian alalla kriteerivaliditeetti tarkoittaa ankarimmillaan sitä, missä määrin käytetyt menetelmät ennustavat toteutuvaa käyttäytymistä tulevaisuudessa. Soveltuvuusarvioinnin yhteydessä pyritään ennustamaan henkilöiden menestymistä arvioinnin kriteereinä käytetyissä työtehtävissä.
Kriteerivaliditeettitutkimus on monella tavalla haasteellista. Varsinkin asiakasorganisaatioille ulkoistettuja arviointi- ja valintapalveluja tuottavien organisaatioiden on mm. työlainsäädännön, tietosuojasäädösten ja organisaatioiden käytänteiden vuoksi vaikea saada empiiristä aineistoa rekrytoitumisen jälkeisestä työsuoriutumisesta tehtäviin valituilta henkilöiltä.
Toisaalta vaikka tämä tieto olisi käytettävissä, vain osa arvioiduista henkilöistä valitaan tehtäviin, joissa menestymistä joillakin menetelmillä ennustettiin. Valitsematta jääneet henkilöt eivät á priori päädy positioihin, joissa heistä saataisiin samanlaista kriteerivaliditeetin määrittelyssä tarvittavaa tietoa kuin valituista.
Jos valittujen joukko on laajempi, voidaan ajatella, että näiden valittujen myöhempää suoritusarviotietoa (hetkellä T1, T2, jne.) voidaan käyttää kriteereinä, ja saatua jakaumaa voitaisiin takautuvasti selittää mm. regressiomalleilla käyttäen arviointia varten hankittua arviointitietoa (hetkellä T0). Tähän lähestymistapaan liittyy ns. varianssin reduktio-ilmiö: kun pätevien mittareiden avulla osaltaan on tehtäviin valittu (usein vieläpä pieni joukko tai muutamia henkilöitä) onnistuneesti parhaat hakijat, näiden henkilöiden välillä ei voi olettaa esiintyvän samanlaajuista vaihtelua kuin perusjoukossa, josta valitut henkilöt on poimittu. Siten tilastollis-teknisesti näiden henkilöiden välinen vaihtelu relevanteilla, työkäyttäytymisen ennustamiseksi käytetyillä ulottuvuuksilla on lähtökohtaisesti vähäistä. Tällöin on vaikea löytää suuria eroja valittujen välillä, mikä lienee organisaation kannalta positiivinen ongelma.
Toisaalta ei ole täysin ongelmatonta verrata vasta aloittaneita pitkään vastaavia tehtäviä tehneisiin, koska harjaantumisen myönteinen vaikutus tässäkin edesauttaa kokeneempia tekijöitä. Myöskään toimintaympäristöä varsinkaan nykyisissä ja erityisesti uuden talouden yrityksissä ei voida ajatella paikalleen jähmettyneenä, mikäli haluttaisiin kontrolloidusti arvioida henkilöitä siinä vaiheessa kun he ovat harjaantuneet vertailuryhmän kanssa yhtä pitkään tehtävissään. Vastaavasti psykologisessa kliinisessä työssä terapeutit voivat kokea varsin vahvasti käyttämänsä menetelmät päteviksi, vaikka tällä alueella vertailukelpoisen tiedon hankkiminen on vieläkin haasteellisempaa, jos jätetään selkeämmin kokeellisiin asetelmiin taipuvat biolääketieteelliset hoidot tarkastelun ulkopuolelle.
Kriteerit, joskaan ei tässäkään jälkikäteisarvioinnin tarkoittamassa mielessä, voidaan toki tuottaa esimerkiksi Mindfindrin ensimmäisten versioiden kehitysprosesissa hyödynnetyn menettelytavan kautta. Tällöin arvioinnin kohteena olevaa tehtävää tuntevat henkilöt (tavallisesti heihin viitataan substanssiasiantuntijoina, substance matter experts, SMEs), jotka ovat itse menestyksellä toimineet kyseisissä tehtävissä tai jotka johtavat ja kehittävät kyseistä toimintaa, tuottavat strukturoidusti tai esimerkiksi syvähaastattelujen kautta tietoa niistä avainkompetensseista, jotka ovat tärkeitä tehtävässä menestymiselle. Laajemmin ottaen työn tutkimuksen kautta ja mm. Hollandin kehittämän ammatillisia kiinnostuksia kartoittavan RIASEC-inventaarin avulla on saatu merkittävää tietoa motivaatiotekijöiden yhteydestä ammatilliseen menestykseen ja siitä, minkälaisissa tehtävissä yksilöt voivat otollisimmin toteuttaa kiinnostuksiaan ja preferenssejään.
Suorempi ja laajempia tutkimushenkilöjoukkoja mahdollistava tutkimustapa on kerätä anonyymiä tietoa henkilöiltä, jotka ovat heitä tuntevien toimesta arvioitu, pisteitetty tai ns. rankattu järjestykseen. Tässä menetelmässä on se etu, että anonyymiys eri suuntiin vähentää inhimilliseen toimintaan ymmärrettävästi liittyvien tietoisten ja tiedostamattomien yksilöllisten ja sosiaalisten tekijöiden tuloksia vinouttavaa vaikutusta. Yleensä tähän menettelyyn liittyy pisteitettyjen simuloitujen työnäytteiden hyödyntäminen kriteereinä.
Tämä menettely tukee kriteeriperustaisen arviointivälineistön kehittämistä ja valintaa, mutta ei poista edellä tarkasteltua haastetta, joka liittyy jälkikäteisen kriteeriperustaisen ennusteen validiteetin arviointiin.
Konstruktiovaliditeetti
Konstruktiovaliditeetti voidaan jakaa ns. konvergessivaliditeettiin ja erottelevaan (discriminant) validiteettiin. Konvergenssivaliditeetti kuvaa, missä määrin kyseisen menetelmän tai mittarin, jonka osuvuutta ja pätevyyttä arvioidaan, antamat tulokset tai arvot korreloivat jonkin samaa tai vastaavaa konstruktiota mittaavan menetelmän antamien tulosten tai arvojen kanssa. Tavallisesti psykologisten konstruktioiden mittaamisen kriteereinä on jokin toinen, mieluusti etabloitunut, hyväksi havaittu ja käytössä vakiintunut menetelmä tai mittari. Tällöin puhutaan konvergenssi-validiteetista.
Erotteluvaliditeetti kuvaa sitä, missä määrin menetelmä mittaa ja ennustaa pelkästään sitä konstruktiota, jota sen on tarkoitus mitata eikä jotakin muuta. Psykologian alalla on selvää, että erityisesti persoonallisuuden alueella eri dimensiot saattavat aidosti korreloida ja loogisesti limittyä ilman, että tätä tulisi pitää ongelmallisena. Kun tarkastellaan esimerkiksi vaikkapa luovuutta tai innovatiivisuutta persoonallisuuden ominaisuutena, todetaan, että näillä alueilla vahvojen henkilöiden persoonallisuudessa esimerkiksi suhteellisesti vahva intuitiivisuus tai avoimuus kokemukselle yhdistyy vahvaan joustavuuteen osana toimintatapaa. Luovuus ja innovatiivisuus edellyttää ainakin avoimuutta ja mielikuvituksekkuutta sekä joustavaa mieltä, joka mahdollistaa asioiden tarkastelun erilaisista ja muuttuvista näkökulmista.
Kykytestien kohdalla vastaavasti on hyödyllistä, että loogis-matemaattista kyvykkyyttä mittaavat testit ennustavat nimenomaan voimakkaimmin tätä aluetta. Toisaalta mm. tilallisen hahmottamisen testien tulisi ennustaa spatiaalista hahmottamista paremmin kuin kielellistä kyvykkyyttä. Yleisen joustavan älykkyyden (fluid intelligence) tiedetään kuitenkin vaikuttavan oppimiskykyä ja abstraktia ongelmanratkaisukykyä edustavana tekijänä älykkyyden eri osa-alueilla.
Taulukossa 2 on esitetty Mindfindrin joidenkin kompetenssipotentiaalin osa-alueiden ja konvergenssikriteereinä käytettyjen kykytestien korrelaatioita.
| Mindfindr-kompetenssimittarit | Vertailu AVO-testeihin | ||||
|---|---|---|---|---|---|
| Mindfindr | Loogis-matemaattinen | Kielellinen | Spatiaalinen | AVO/R1/R3 | AVO/V3/V5 |
| Culture Fair Scales | .523 n=96* | -.067 N.S. n=96 | .201 p=.05 n=96 | R1.484 n=96 | V3.343 p=.001 n=96 |
| .417 n=77 | -.128 N.S n=153 | .220 p=.01 n=127 | R1.303 p.007 n=78 | V3 .390 n=158 | |
| .383 n=127 | .152 p=.06. n=153 | R1 .378 n=158 | |||
| .354 n=153 | V5 .232p=.04 n=78 | ||||
| .307 n=151 | R3.453 n=78 | ||||
| V3/V5-AVO-testi | V3 .437 n=285 | V3 .290 p=.004 n=96 | R1/V5.349p=.001 n=81 | ||
| V3.318 p=.002 n=96 | V3 .149 p=.003 n=392 | R3/V5.333p=.002 n=81 | |||
| V3.195 n=392 | |||||
| V3.256 p=.001 n=151 | |||||
| V5 .198 N.S. n=80 | V5 .03 N.S.n=80 | ||||
| R1/R3-AVO-testi | R1.493 n=96 | R1 & R3 N.S. n=80 | R1/R3 .534 n=81 | V3/R1 .476 n=96 | |
| R1.307 p=.006 n=80 | V3/R1 .423 n=418 | ||||
| R1.167p=.001 n=392 | |||||
| R3.381 n=80 | |||||
| S2/S3-AVO-testi | S2 .255 n=343 | S2 .257 n=343 | S3/R1 .267 n=418 | S3/V3 .350 n=418 | |
| S3 .317 n=127 | S2.168 p=.001 n=301 | ||||
| S3 .300 n=392 | S3 . 221 n=392 | ||||
| Lukusarja-päättely** | .391 n=343 | .009 N.S. n=301 | .030 N.S. n=343 | ||
| .475 n=469 | |||||
| .482 n=285 | |||||
| .442 n=151 | |||||
| .402 n=301 | |||||
| Johdon-mukaisuus-päättely** | .326 n=343 | -.006 N.S. n=301 | -.063 N.S. n=343 | ||
| .297 n=469 | |||||
Taulukko 2. Joidenkin Mindfindr-kompetenssiulottuvuuksien konvergenssivaliditeetti.
* Kun tilastollista merkitsevyyttä ei ole erikseen ilmoitettu, p< .000.
** Culture Fair Scales korreloi lukusarjatestiin (mm. 0.355; p=.000; n=128; 0.338; p=.000; n=133) ja
johdonmukaisuustestiin (0.424; p=.000; n=128; 0.398; p=.000; n=133).
Taulukosta 2 voidaan tarkastella yleisellä tasolla myös erotteluvaliditeettia (discriminant validity). Huomataan, että kulttuurin vaikutuksista riippumaton testi (culture fair sales) ennustaa älykkyyden yleistä tasoa. Testin konvergenssi on vahva paitsi loogisen päättelyn testeihin (mm. R1 ja R3) myös kielellisiin testeihin (V3 ja V5), joista jälkimmäinen edellyttää abstraktien semanttis-loogisten käsitteellisten vivahteiden erittelyä.
Mindfindr-kompetenssiulottuvuuksista loogis-matemaattinen dimensio korreloi hieman vastaavalla tavalla kaikkiin testeihin ja erityisesti ns. kultturivapaaseen testiin, päättelytesteihin (AVO-R) sekä lukusarja- ja johdonmukaisuustesteihin.
Sen sijaan spatiaalisen hahmottamisen kompetenssidimensio korreloi AVO-S-testien kanssa mutta ei johdonmukaisuuden ja lukusarjatestin kanssa. Vastaavalla tavalla kielellistä kompetenssia mittaava ulottuvuus korreloi erityisesti AVO-V3-testin kanssa, mutta ei kultturivapaan, lukusarjojen tai johdonmukaisuuspäättelyn kanssa.
Taulukossa on tarkasteltu vain kolmen kompetenssiulottuvuden konvergenssivaliditeettia ja hieman myös erotteluvaliditeettia (discriminant validity). Mindfindr-menetelmän avulla pyritään mallintamaan kompetensseja taulukossa esitettyä laajemmin, ja kehitystyössä kriteereinä on käytetty erilaisia käytännön työnäytteitä.
Persoonallisuus ja konstruktiovaliditeetti
Persoonallisuustutkimusta luonnehti 1990-luvun taitteeseen saakka varsin erilaisista lähtökohdista persoonallisuutta ymmärtävien ja selittävien mallien ja teorioiden kirjo. Nykyisen käsityksen mukaan persoonallisuutta voidaan kuvata viiden yleisen ulottuvuuden kombinaationa, puhutaan tavallisesti viiden faktorin mallista (Five factor model) tai Big five -mallista.
Tämä malli rakentui alun perin ns. leksikaalisen hypoteesin varaan: ajateltiin - varmaankin osuvasti, koska inhimillinen kieli näyttää evolutiivisesti kehittyneen ihmisen toiminnan kannalta relevanttien ilmiöiden mallintamiseksi - ,että luonnollisen kielen adjektiivit riittävät kuvaamaan myös ihmisen persoonallisuutta tai kansankielisesti ihmisen käyttäytymisen piirteitä kattavasti.
Tutkimuksessa päädyttiin jo 1990-luvulla tiedeyhteisön piirissä varsin laajasti hyväksyttyyn käsitykseen metatason persoonallisuudenpiirteistä. Nämä ovat:
- Sosiaalinen aktiivisuus
- Avoimuus kokemuksille
- Ystävällisyys
- Tasapainoisuus
- Tunnollisuus
Kun näiden ulottuvuuksien antamaan tietoon lisätään tietoa yksilön yleisestä älykkyydestä, ajatellaan saatavan suhteellisen laaja mutta toisaalta tiivis käsitys yksilön kokonaispersoonallisuudesta. Toisinaan ulottuvuudet jaetaan alaulottuvuuksiin ja sosiaalisen aktiivisuuden, tai ekstraversion tason ja avoimuuden kokemukselle katsotaan kuvaavan yksilön plastisiteetin, mukautumiskyvyn tasoa ja toisaalta tasapainoisuuden ja tunnollisuuden voidaan katsoa edustavan stabiliteettia, pysyvyyttä.
Varsin laajan tutkimusaineiston pohjalta ajatellaan, että viiden faktorin malli myös ennustaa ihmisten työkäyttäytymistä varsin luotettavasti. Hyvin yleisellä tasolla tiedetään älykkyyden ja tunnollisuuden parhaiten ennustavan akateemisissa opinnoissa ja paljossa myös työelämässä menestymistä pitkällä aikavälillä.
Tässä tulee muistaa, että rationaalisen voimavarojen kohdentamisessa ja ehkä erityisesti inhimillisen potentiaalin allokoinnissa, on tärkeätä ottaa huomioon ainakin kaksi näkökulmaa: yksilön menestyminen, viihtyminen ja jaksaminen ja toisaalta organisaation mahdollisuudet saada strategiasta johdettuja voimavaroja käyttöön. Tässä mielessä vanha sanonta: "oikea henkilö oikealle paikalle" on edelleen totta, mahdollisesti kuitenkin niin, että yhä paremmin ymmärretään, että yksilö kukoistaa parhaiten olosuhteissa, jotka huomioivat erityisesti yksilölliset vahvuudet. Näiden kahden sfäärin - yksilöiden muodostaman työvoimapoolin ja yritysten tarvitseman kompetenssipotentiaalin - optimaalisen kohtaannon olosuhteissa myös julkinen intressi tulee palvelluksi, mitä ei tule pitää vähämerkityksisenä.
Motivaatio laajasti määritellyn persoonallisuuden alueena
Sekä pragmaattisen, toiminnan käytännön tavoitteita palvelevan ja toisaalta (mm. Martin Seligmanin, positiivisen psykologian varmaankin tunnetuimman ja ilmiökenttää laajimmin tutkineen asiatuntijan esittämät) positiivisen psykologian näkökohdat huomioivista lähtökohdista on selvää, että persoonallisuudenpiirteiden tarkastelun ohella huomiota tulee kiinnittää yksilön motivaatiotekijöihin, jotka liittyvät pitkän aikavälin työviihtyvyyteen ja jaksamiseen. Optimaalisesti tulisi voida edesauttaa sitä, että yksilö voi päätyä tehtäviin, joissa - vaikka seligmanilainen kukoistus ei päivittäin toteutuisi - yksilö voisi toimia persoonallisuutensa ja sen taustalla pysyvämpänä vaikuttavan temperamenttinsa kannalta suotuisassa toimintaympäristössä ja toisaalta riittävän haastavassa, kehittymisen mahdollistavassa tehtävässä, kiinnostavien, merkityksellisten ja motivoivien asioiden parissa, jopa joitakin arvojaan palvellen.
Yksilön motivaatiotekijät, pyrkimykset toimia arvokkaaksi koettuja päämääriä edistäen ja tarpeita tyydyttäen vaikuttavat merkittävästi siihen, minkälaisissa työtehtävissä ja toimintaympäristöissä yksilö viihtyy ja myös menestyy. Hollandin kehittämä RIASEC -malli palvelee erityisesti urasuunnittelua, yksilölle suotuisia ja motivoivia ammatillisia polkuja etsittäessä.
Menetelmä mahdollistaa seuraavien työkäyttäytymisen kannalta keskeisten ulottuvuuksien suhteen yksilölle suotuisten ammatillisten toimintaympäristöjen mallintamisen tietynlaisen kombinatoriikan avulla. RIASEC-mallin ulottuvuudet ovat:
- Käytännöllinen (R, realistic)
- Tutkimuksellinen / tieteellinen (I, investigative)
- Taiteellinen / esteettinen (A, artistic)
- Sosiaalinen (S, social)
- Yritteliäs (E, enterprising)
- Systemaattinen (C, conventional)
Käytännöllisen urasuunnittelun ja ohjaustyön yhteydessä Hollandin kehittämän RIASEC-malli ja MBTI-menetelmän yhteydet tulevat usein esiin varsin selkeästi, koska molemmat menetelmät pyrkivät mittaamaan henkilöiden preferenssejä ja kiinnostuksia käytännöllisesti.
Motivaatiota heijastavien konstruktioiden konvergenssivaliditeetista
Persoonallisuuden empiiriseksi tutkimiseksi kehitetyistä menetelmistä Jacksonin PRF (Personality Research Form) monessa mielessä rakentaa siltaa erilaisten lähestymistapojen välille. Alun perin tilastollis-leksikaalisen, luonnollisen kielen adjektiivien muodostamien rypäiden tai metaulottuvuuksien tutkimukselle ja iteratiiviselle abstrahoinnille perustuneen ja FFM-malliin johtaneen lähestymistavan ja toisaalta motivaatio- tai tarveperustaisen lähestymistavan yhteydet tulevat esiin validiteettitutkimuksissa, joiden avulla selvitetään menetelmien luotettavuutta.
PRF-mallin pääulottuvuudet ovat:
- Ulospäin suuntautuva kunnianhimo
- Sosiaalisuus
- Rakennehakuisuus
- Epävarmuuden tunteet
Näiden lisäksi mallissa on muita yksittäisiä aladimensioita.
FFM (Five Factor Model) oli alkujaan varsin abstrakti, pohjaten ihmisen käyttäytymistä kuvaavan
kielen rakenteen analyysiin ja toisaalta Hollandin RIASEC-malli pyrkii varsin suoraan, työelämän ja
ammattirakenteen kannalta relevantilla tavalla selvittämään, mitä yksilö haluaa tehdä erityisesti
ammatillisesti, työelämässä - mikä yksilöä motivoi.
Jacksonin kehittämän PRF-menetelmän lähestymistapa limittyy viiden faktorin mallin ja Hollandin
kehittämän RIASEC-mallin kanssa pyrkiessään mallintamaan persoonallisuutta tarve- ja
motivaatioteoreettisista lähtökohdista. RIASEC asettuu lähimmäksi käytännön tekemistä ja työelämän
sisältöjä, siinä missä FFM on selvästi abstraktimpi. Näistä syistä Prf:n ja MBTI:n ohella
RIASEC-malli on vaikuttanut ehkä enemmän Mindfindrin kehitystyössä kuin FFM-malli.
Kuvassa 6 on esitetty konvergenssivaliditeetti Mindfindrin tuottamien tyyppiratkaisujen ja Prf:n avulla samoilta henkilöiltä mitatun rakennehakuisuuden meta-ulottuvuuden (selkeiden ympäristöjen tarve, järjestyksen tarve ja impulsiivisuus) välillä. Vastaajien saamiin tyyppiratkaisuihin sisältyy tieto heidän asettumisestaan ulottuvuudelle, joka limittyy myös rakennehakuisuuteen ja tunnollisuuteen (NEO-PI:ssa ja FFM:ssa vastaava ulottuvuus on tunnollisuus). Keskimäärin kyseisessä otoksessa rakennehakuisuuden ja Mindfindrin analogisen – joskaan ei käsitteellisesti tai konstruktiona identtisen - ulottuvuuden välinen konvergenssi-validiteetti oli 0.651 (p=.000; n=623), ja esimerkiksi Prf:n impulsiivisuuden alaulottuvuuden kanssa korrelaatio oli -0.564 (p=.000; n=623).
Mindfindrin tuottama tyyppiratkaisu koskien kyseisten 623:n henkilön keskimääräistä
suunnitelmallisuutta, rakennehakuisuutta ja tunnollisuutta (muiden ulottuvuuden sisältämien
piirteiden ohella) ja siten myös Prf:n tarkoittamaa rakennehakuisuutta tulee esiin kuvassa 6.
Tuloksen tulkinnan kannalta on olennaista huomioida, että toimintatavassaan joustavat ja mukautuvat
Mindfindr-tyypit asettuvat keskimäärin edellä esitetyn – tyyppiratkaisuun keskimäärin vaikuttavan -
konvergenssin vuoksi selvästi väestön keskiarvon alapuolella Prf:n mittaaman rakennehakuisuuden
osalta. Väestön keskiarvo on kuvattu katkoviivalla.
Erityisesti voidaan panna merkille se, että mm. itsenäiset taiteilijapersoonat preferoivat suurta vapautta toiminnassaan, mikä on ymmärrettävää ajatellen luovaa tekemistä. Toisaalta tavoitteissaan kauaksi tähyävät sitoutuneet visionäärit, vaikka ovat intuitiivisia ja luovia itsenäisten taiteilijoiden tapaan, toimivat mieluusti strukturoidussa ympäristössä ja tekevät pitkälle vieviä suunnitelmia päämääriensä edistämiseksi.
Tämä yksi yhteys ei pelkästään tietenkään juurikaan ilmennä kummankaan tyypin, jos termi sallitaan, keskimääräisen käyttäytymisen kokonaisuutta, vaan pelkästään ilmentää eri menetelmillä hankittujen tietojen konvergenssia.
Kuva 6. Mindfindrin ja Prf:n rakennehakuisuuden välinen konvergenssivaliditeetti (n=623)
Kuvassa 6 on esitetty Mindfindrin tuottamien tyyppiratkaisujen ja Prf:n ennustaman rakennehakuisuuden ulottuvuuden konvergenssi. Katkoviiva kuvaa rakennenhakuisuuden keskiarvoa väestössä (n=623).
Taulukossa 3 ja kuvassa 7 on havainnollistettu 623 henkilön aineistossa Prf:n antama ennuste esilläolon halun (exhibition) tasosta Mindfindrin tuottamien toimintatapatyyppien mukaan. Konvergenssi Mindfindrin mm. ulospäin suuntautuneisuutta, ekstraversiota, toiminnallisuutta ja sosiaalista aktiivisuutta kuvaavan – tyyppiratkaisujen tuottamisessa hyödynnetyn - ulottuvuuden ja Prf:n esilläolon välillä oli kahdessa eri aineistossa seuraava.
| Aineisto | Konvergenssi | Merkitsevyys |
|---|---|---|
| n=623 | 0.574 | p=.000 |
| n=466 | 0.531 | p=.000 |
Taulukko 3. Mindfindrin mm. ulospäin suuntautuneisuutta, sosiaalista aktiivisuutta ja toiminnallisuutta mittaavan ulottuvuuden konvergenssi Prf:n mittaaman esilläolon halun kanssa kahdessa esimerkkiaineistossa.
Kuva 7. Mindfindrin tuottamien tyyppiratkaisujen ja Prf:n esilläoloa mittaavan ulottuvuuden
konvergenssi (n=623).
Kuviossa väestön keskimääräinen esilläolon halu Prf:n mukaan on kuvattu katkoviivalla. Mindfindrin tyypeistä kaikkien enemmänkin introversion puolelle painottuvien toimintatapatyyppien keskimääräinen esilläolon halu asettuu väestön keskiarvon alapuolelle.
Toisaalta huomataan, että todennäköisesti mm. opettajina, kasvattajina ja myös politiikassa viihtyvät diplomaattiset mahdollistajat saavat keskimäärin korkeita arvoja myös Prf:n esilläolon tasoa mittaavassa osiossa, samoin kuin yritteliäät innovoijat, jotka ovat tilastollisesti yliedustettuina mm. yrittäjissä.
Käytännöllisten viihdyttäjien, jotka keskimäärin todennäköisesti menestyvät mm. esiintyvinä taiteilijoina ja hyvin monissa aktiivista sosiaalista läsnäoloa edellyttävissä palvelualan tehtävissä, kohdalla keskimääräistä korkeampi esilläolon halu on enemmänkin itsestään selvää. Innostavat käynnistäjät ovat niin ikään yliedustettuina mm. näyttelijöissä.
Mindfindrin kehitystyöhön on yhtenä mallina vaikuttanut globaalisti vakiintunut, erityisesti HR-konsultaatiota ja johtaja-arvioita tekevien asiantuntijoiden hyödyntämä, mutta ei niinkään varsinaisen psykologikunnan käyttämä Myers-Briggs -menetelmä (MBTI). Monessa mielessä tämän menetelmän kehityshistoria ulottuu jopa Big Five -mallien taakse 1900-luvun alkuun ja psykologi Jungin teorian muodostukseen. MBTI-mallin ulottuvuudet ovat selkeästi jo termien tasolla yhteydessä muihin persoonallisuusteorioihin ja personallisuustesteihin. MBTI-mallin konvergenssista NEO-PI –testin ulottuvuuksien kanssa on raportoitu mm. seuraavat korrelaatiot:
| MBTI | NEO-PI | Konvergenssi | Merkitsevyys | N |
|---|---|---|---|---|
| Extraversion-Introversion | Extraversion | -.74 (men) | p<.001 | 267 |
| -.69 (women) | p<.001 | 201 | ||
| Judgement-Perception | Conscientiousness | -.49 (men) | p<.001 | 267 |
| -.46 (women) | p<.001 | 201 |
Taulukko 4. Esimerkki NEO-PI:n ja MBTI-menetelmän konvergenssista.
Mindfindrin tyyppiratkaisujen ja Prf:n rakennehakuisuuden meta-ulottuvuuden konvergenssia havainnollistaneessa kuvassa 6 korrelaatio Mindfindrin ja Prf:n rakennehakuisuuden välillä oli 0.651 (p=.000; n=623). Toisessa aineistossa vastaava konvergenssi oli 0.680 (p=.000; n=466).
Tehtävien ja ammattien liittäminen Mindfindr -palveluun
Ammatti-/tehtäväkohtaiset soveltuvuusarviot määräytyvät henkilön soveltuvuusarvioprofiilin perusteella. Mindfindr-palvelun kattamat ammatit on määritelty lähes 20 vuotta henkilöarvioinnin, ammatinvalintaohjauksen sekä tutkimuksen ja kehittämisen alueilla toimineen laillistetun psykologin toimesta. Ammattien määrittely tukeutuu kansainväliseen ISCO-luokitukseen, minkä lisäksi palvelu käsittää erikseen organisaatioiden tarpeisiin kompetenssimäärittelyn kautta tuotettuja nimikkeitä. ISCO-luokitukseen päädyttiin mm. siitä syystä, että Tilastokeskus ja Työministeriö hyödyntävät samaa luokitusta.
Mindfindr-palvelussa ei kuitenkaan haluta rajautua pelkästään valmiiseen ISCO-luokitukseen, koska erilaisten ammattien ja -tehtävien kirjo on varsin laaja. Tästä syystä Mindfindr-palveluun on mahdollista liittää myös kustomoituja, erikseen määriteltyjä tai muihin luokituksiin perustuvia ammatteja ja tehtäviä asiakasorganisaation tarpeiden mukaan yhteistyössä.
Ammattikohtaisen soveltuvuuden määrittelystä
Soveltuvuuden arviointi pohjaa persoonallisuuden piirteiden ja kyvykkyyksien tai kompetenssien kartoittamiseen eri menetelmin. Yleensä on hyödyllistä hankkia tietoa monipuolisin menetelmin, joista haastattelun tulisi olla – ja erityisesti avaintehtävien kohdalla – keskeisessä osassa, unohtamatta referenssejä tai työ- ja koulutuspolkujen kartoitusta.
Eri ammateissa ja tehtävissä korostuvat ymmärrettävästi eri tavalla optimaalisesti painottuvat kyvyt, piirteet, valmiudet ja motivaatiotekijät. Tärkeätä on huomioida persoonallisuuden kokonaisuuden – oli se sitten FFM-kombinaatio, tyyppi tai toimintatapa teknisesti – yhteys erilaisten henkilöiden todennäköisyyteen viihtyä ja jopa kukoistaa erilaisissa toimintaympäristöissä laajasti ottaen, riippumatta tehtävän käytännöllisistä piirteistä. Personality – Work environment Fit –käsite viittaa tähän laajimmassa merkityksessään.
Perinteisesti älykkyyden mittaaminen on korostunut soveltuvuuden arvioinnissa, eikä syyttä koska tunnollisuuden persoonallisuudenpiirteen ohella ja kanssa se selittää varsin merkittävän osan akateemisesta menestymisestä ja myös tarkasteltaessa yli työuran ulottuvaa menestymistä.
Älykkyyden on perinteisesti ajateltu koostuvan primääristi numeeris-matemaattisesta, kielellisestä ja spatiaalisesta, avaruudelliseen hahmottamiseen liittyvistä älykkyyden alueista. Edelleen ajatellaan, että ns. kieli- ja kulttuurivapaa testi (Cattell’s Culture Fair –testit) ja sen sovellukset edustavat näidenkin komponenttien taustalla vaikuttavaa yleistä älykkyyttä.
Mindfindrin kehitystyössä ei ole irtauduttu tästä perinteestä, mutta lähtökohtana on, että näiden kolmen aspektin yksilöistä ja yksilöiden eroista piirtämä kuva on auttamatta liian kapea - jopa yksilöiden talentteja, valmiuksia, kompetensseja, taitoja (mitä termiä näistä nyt halutaan käyttääkin) latistava. Tässä mielessä on tukeuduttu Howard Gardnerin ns. multippeli-intelligensin ajatukseen. Gardnerin epäkiitollista pioneerityötä älykkyyden - tai kyvykkyyksien ja taitojen - tutkimuksen pohjan laventajana ei ole mahdollista ohittaa; toisaalta Mindfindr-menetelmä ei kytkeydy teoreettisesti tai etenkään empiirisesti Gardnerin malliin.
On tarpeetonta lausua sitä itsestäänselvyyttä, että jokainen tuntee ja tietää ihmisiä, joilla on selvästi harjaantumisesta riippumattomia mm. musiikillisia, esteettisiä tai vuorovaikutuksellisia valmiuksia. Osaksi näidenkin valmiuksien vaihtelu voidaan palauttaa ja selittää älykkyyden peruskomponenteilla tai persoonallisuudenpiirteillä. Musikaalisuutta pidetään psykologisesti selkeimpänä erityislahjakkuutena, kun taas esimerkiksi esteettinen, taiteellinen kyvykkyys keskimäärin kytkeytyy spatiaaliseen hahmottamiseen ja persoonallisuuden alueella mm. avoimuuteen kokemukselle. Vastaavasti vuorovaikutusvalmiuksien tasoeroja selittävät osaksi kielellinen kyvykkyys ja toisaalta persoonallisuuden alueella toisinaan ulospäinsuuntautuneisuus ja tavallisesti myös ystävällisyys. Mahdollisesti musikaalisuutta tullaan edelleen pitämään erityislahjakkuutena, mutta neurotieteellisen persoonallisuustutkimuksen edetessä saatetaan tulevaisuudessa esittää, että myös Gardnerin joissakin arvioissa skandalööseinä tai epätieteellisinä pidetyt väittämät ns. multippeliälykkyydestä - erilaisista taidoista tai talenteista - tullaan selittämään älykkyyden ja persoonallisuuden piirteiden funktioina.
Mindfindrin kehitystyössä on lähdetty yhtäältä tieteellisesti nöyremmästä lähtökohdasta ja toisaalta yksilöiden erilaisia valmiuksia - olivat ne myötäsyntyisiä tai harjaantumisen myörä vahvistuneita taitoja (skills) - arvostavasti lähtökohdasta.
Kuitenkin, koska menetelmää hyödynnetään yksilöiden työelämämahdollisuuksista päätettäessä, valintoja tehtäessä ja yksilöiden itsenäisessä koulutussuunnitelussa, tätäkin menetelmää on arvioitava samoilla reliabiliteetin ja validiteetin kriteereillä kuin muita arviointityökaluja.
Mindfindr-verkkopalvelun kehittäminen
Mindfindr-palvelun verkkoversion kehittäminen aloitettiin kesällä 2014. Myöhemmin syksyllä perustettiin Mindfindr Oy ja kehittämistyö aloitettiin laajemman kehitystiimin toimesta.
Käytännössä palvelun kehittäminen on tarkoittanut "perinteisellä" tavalla toteutettujen menetelmien kombinointia, siirtämistä ja yhteensovittamista moderniksi verkkopalveluksi. Palvelun avulla soveltuvuusarviointi sekä siihen liittyvät oheistiedot voidaan tuottaa kokonaisuudessaan verkossa. Mindfindr -palvelu mahdollistaa soveltuvuusarvioiden organisoimisen ja järjestämisen monin eri tavoin.
Jo verkkopalvelun kehitystyön alkuvaiheessa huomattiin, että palveluratkaisua on mahdollista laajentaa liittämällä siihen uudenlaisia ominaisuuksia, jotka tukevat yhtäältä arviointitietoa tarvitsevia käyttäjiä organisaation monissa henkilöstöprosesseissa ja toisaalta yksilöiden koulutus- ja työuran suunnittelua eri vaiheissa. Mindfindr-palveluun liitettiin vahvasti skaalautuvia, etäkäytön mahdollistavia ja useita arviointien järjestämistä helpottavia toimintoja.
Mindfindrin kehitysprosessi on ollut eklektinen: menetelmän kehitystyössä on hyödynnetty psykologisten menetelmien kehittelyn edellyttämällä tavalla tietoa vakiintuneista menetelmistä ja yhdistelty eri näkökulmia siten, että on voitu rakentaa laaja-alainen, tehokas, pätevä ja käytännöllinen arviointimenetelmä palvelemaan mm. henkilöarviointia, valmennusta, tiiminrakentamista, urasuunnittelua ja itsetuntemuksen vahvistamista.
Kuitenkin on tärkeätä korostaa, että hyvän arviointikäytännön perusperiaatteiden mukaan varsinkin laajassa arvioinnissa tulee kaikkia keskeisiä arvioitavia alueita koskevaa tietoa tuottaa vähintään kahdella eri menetelmällä, haastattelun muodostaessa näistä yhden. Arviointimenetelmien kehitys on pitkään kulkenut - paljossa tehokkuuden mahdollistamaan tutkimukseen perustuen - tiiviimpään ja toisaalta useita näkökulmia hyödyntävään suuntaan. Mindfindr koostuu 120 väittämästä ja antaa tietoa mm. persoonallisuudesta ja kompetenssipotentiaalista. Lisäksi Mindfindrin perusversio kuvaa henkilöiden johtajuuspotentiaalia, ja kehittämistyön alla oleva Pro-versio tuottaa mm. laajemman kuvauksen henkilöiden johtamistyylistä.
Mindfindr tuottaa henkilön antaman tiedon tätä ratkaisua tukiessa kaksi kuvausta henkilön peruspersoonallisuudesta. Koska Mindfindr pyrkii enemmänkin mahdollistamaan kuin rajaamaan, vakioraportti tuloksista käsittää henkilölle todennäköisimmin soveltuvat tehtävät eri koulutustasoilta. Tällöin esimerkiksi urasuunnittelun tukena hyödynnettäessä henkilö voi itse pohtia, miten asettaa tavoitteensa.
Tässä on tärkeätä todeta, että vaikka Mindfindr tukee kaikkia HR-prosesseja ja joissakin prosesseissa jopa täysimääräisesti kattaa palvelutarpeen (mm. esikarsinta, valmennuksen alkukartoitus), perinteisten arviointimenetelmien, erityisesti haastattelun merkitystä ei tulisi unohtaa.
Kuvassa 8 on esitetty, millä tavoin Mindfindrin tarjoamat palvelut voivat yritysten prosesseissa ja yksilöiden elämänkaaren eri vaiheissa tukea ratkaisuja etsittäessä.
Mindfindr tukee yhtäältä organisaation ja toisaalta yksilöiden paljossa yhteneväisiä tiedontarpeita. Mindfindr palvelee myös julkista intressiä joko välillisesti tai hyödynnettynä keinona liittyen työvoiman tarjonnan ja kysynnän kohtaannon edistämiseen.
Yritysten näkökulmasta Mindfindria voi hyödyntää erityisesti suuren vaihtuvuuden luonnehtimilla aloilla ja tehtävissä, joissa esimerkiksi tiedetyn suuren vaihtuvuuden ja toisaalta tehtävien vaatiman matalan koulutustason riittävyyden vuoksi pyritään keveisiin ja tehokkaisiin rekrytointiprosesseihin. Mindfindr antaa varsin monipuolista tietoa hakijoista kustannustehokkaasti.
Edelleen eräänlaisena suppilo-analogiana rekrytointiprosessia ajateltaessa Mindfindr mahdollistaa haastattelujen valmistelun ja nostaa esiin mahdollisen tarpeen erityisten haasteiden selvittämiseksi ja referenssien hankkimiseksi jo ennen haastattelua. Samalla Mindfindr mahdollistaa hakijajoukon vertailun sekä tarjoutuu laajaksi pohjaksi arvioinnille, mikäli organisaatio hyödyntää arviointikeskusta tai muita menetelmiä ja mittareita. Mindfindr-raporttien avulla organisaatio saa tehokkaan yleiskuvan hakijoista.
Organisaatio voi kartoittaa strategian pohjalta ja esimerkiksi Mindfindr -palvelukokonaisuuteen kuuluvaa tutkimustyövälinettä hyödyntäen kompetenssikatveita ja lisä- tai täydennyskoulutustarpeita henkilöstössä. Mindfindr tarjoutuu tällä alueella koulutuksen ja valmennuksen alkukartoitusvälineeksi, lähtötilanteen selvittämiseksi ja henkilöstön ammatillisen ja yleisen itsetuntemuksen vahvistamiseksi.
Edelleen Mindfindr tukee avainhenkilöiden valintaprosessia erityisesti kohdennetuissa hakuprosesseissa. Organisaatiolla oma Mindfindr-arviointivaranto mahdollistaa henkilöstön tehokkaan allokoinnin ja työkierron suunnittelun pyrittäessä optimaaliseen resurssien kohdentamiseen ja organisaation kompetenssipotentiaalin hyödyntämiseen täysimääräisesti.
Mindfindr tukee rationaalista kompetenssilähtöistä tiiminrakentamista ja -koulutusta. Mindfindr tukee johtoryhmien sisäisen työnjaon suunnittelua ja edistää vuorovaikutusta lisäämällä ryhmän ja tiimin keskinäistä ymmärrystä ja yksiöiden itsetuntemusta.
Yksilötasolla itsetuntemuksen vahvistaminen sekä ammatillisten vahvuuksien ja soveltuvuuden selvittäminen palvelee koulutussuunnittelua ja uravalintaa. Edelleen yksilön kannalta on eduksi pyrkiä hyödyntämään suhteellisia vahvuuksia työmarkkinoilla, näin yhtäältä lisäten sijoittumismahdollisuuksia. Nykyisillä - ja erityisesti tulevaisuuden työmarkkinoilla - on yhä tavallisempaa toimia useissa tehtävissä ja eri aloilla. Mindfindr tarjoutuu työvälineeksi myös niille henkilöille, jotka ovat etsimässä uusia tehtäviä ("between jobs"), tai jotka eri syistä kokevat tarvetta vaihtaa uudenlaisiin tehtäviin. Mindfindr tukee myös pitkän uran tehneiden alanvaihtajien koulutussuunnittelua.
Kuva 8. Mindfindrin asiakasorganisaatioita ja käyttöalueita
Modernin teknologia hyödyntäminen tuo monin tavoin lisäarvoja. Teknologia mahdollistaa mm. sen, että testitulosten laskennassa/analysoinnissa ei tapahdu aineistojen käsittelyyn liittyviä virheitä. Valmiiksi tehdyt tulkintaohjeet varmistavat sen, että testimenetelmään liittyvät tulkinnat ovat virheettömiä.
Teknologia luo puitteet ja viitekehyksen sille, miten palvelua hyödynnetään. Valmiiksi toteutettujen toimintamallien avulla varmistetaan myös menetelmän tarkoituksenmukainen ja laadukas käyttö.
Mindfindr-palvelun kehittämisessä on vuosien aikana hyödynnetty haastatteluita ja eklektisesti muita henkilöarviointia tukevia menetelmiä. Näin on osaltaan varmistettu Mindfindrin toimivuus erilaisilla sovellusalueilla (mm. rekrytointi, urasuunnittelu, valmennus, HR-kehittäminen).
Kehitystyön taustan ovat muodostaneet laajat käyttökontekstit ja kokonaisvaltainen ajattelu. Laajat aineistot (N=5000+) ovat mahdollistaneet palvelun kehittämisen ja asiakkaiden toivomien muutosten ja parannusten toteuttamisen sekä validoineet palvelua käytännössä.
Soveltuvuusarviointiprosessit voidaan Mindfindrin avulla järjestää reaaliaikaisesti verkossa, koska tekninen toimivuus ja -käytettävyyys ovat ensisijaisen tärkeitä. Huomiota on kiinnitetty käyttöliittymän vasteaikoihin sekä palvelun toimivuuteen eri päätelaitteilla samoin kuin yhteysnopeuksiin. Kokonaisuutena palvelun tekninen toiminta tai suorituskyky ei ole aiheuttanut ongelmia. Palvelun arkkitehtuuri on rakennettu teknologioille, jotka skaalautuvat suurillekin käyttäjä- ja datamäärille.
Laajat aineistot, eri olosuhteissa saadut käyttökokemukset sekä asiakaspalautteet ovat mahdollistaneet palvelun kehittämisen sekä yhtäältä mm. arvioiduille tai valmennettaville tarkoitettujen tulosraporttien ja toisaalta asiakasorganisaatioille ja yrityksille suunnattujen tulosten tulkintaohjeiden jalostamisen.
Kehittämistyössä on painotettu myös liityntärajapintoja, joiden avulla Mindfindr voidaan kytkeä mahdollisimman saumattomasti kolmannen osapuolen tietojärjestelmiin ja erilaisiin HR-prosesseihin.
Aineistojen osalta kehitystyö on painottunut verkkopohjaisten reaaliaikaisten Mindfindr-aineistojen analysointiin. Jatkuvassa kehitystyössä hyödynnetään erilaisia tilasto- ja analyysityökaluja (R, SPSS, Python Datascience framework).
Tämä dokumentti täydentyy mm. uusien reliabiliteetti- ja validiteettitutkimustulosten valmistumisen myötä.
Keskeisiä lähteitä:
Cattell, R.B. (1973) Measuring Intelligence with the Culture Fair Tests. Manual for Scales 2 and 3. IPAT, Inc..
Honkanen, H., Nyman, K. (toim.). Hyvän henkilöarvioinnin käsikirja. Psykologien Kustannus Oy.
Jackson, D.N. (1997) PRF Personality Research Form. Käsikirja. Suomenkielinen laitos: Petteri Niitamo, Työterveyslaitos. Psykologien Kustannus Oy.
Kykytestistö AVO-9 Käsikirja. Ammatinvalinnanohjauksen faktoritestistö nuorille ja aikuisille (1994). Psykologien Kustannus Oy.
McCrae R.R., & Costa Jr., P.T. (1989) Reinterpreting the Myers-Briggs Type Indicator From the Perspective of the Five-Factor Model of Personality. Journal of Personality, 57.
Myers, I. B., & McCaulley, M. H. (1985). Manual: A guide to the development and use of the Myers-Briggs Type Indicator. Consulting Psychologists Press.
PK5 - Persoonallisuustestin käsikirja (2007). Psykologien Kustannus Oy.