Parasta ennen

2017-05-15

Opiskeluvalmiuksien testi kielitaitoa ennakoimassa?

2017-05-15

Outoja tuloksia ja tärkeitä kysymyksiä

2017-02-23

B1- ja B2-tasojen lopputesti käyttöön

2016-12-19

20 000. asiakas päätyi Suomeen vahingossa

2016-09-20

Mikä vaikuttaa tekniseen lukutaitoon suomen kielellä?

2016-09-02

Tilastoja Testipisteen asiakaskunnasta

2016-08-12

Opetusharjoittelijana Testipisteessä

2016-08-10

Arvioijan aakkosia

2016-08-10

Millaista koulutusta turvapaikanhakijoille?

2016-05-02

Parasta ennen

2017-05-15
Tervetuloa Testipisteen koekeittiöön! Tänään on tarjolla koulujen päättymistä silmällä pitäen ehdotus juhlapöydän testimenuksi.

Testimenumme resepti on oma versiomme arviointimenestykseksi nousseesta Eurooppalainen viitekehys -klassikosta, jota tuunaamme trendikkäästi muun muassa satokauden uusilla mediation-kuvaimilla. Käytämme vain kotimaisia aineistoja. Testi on opiskelijaystävällinen ja sopii myös skarppaajille. Se saattaa kuitenkin sisältää lisäaineita edistyneempiä oppijoita varten.

Testimenumme kehitystä voi kuvata kestäväksi, sillä sitä on kestänyt jo vuodesta 2010 asti. Kaikki testit tehdään rakkaudella ja käsityönä. Valmistusprosessia valvotaan tarkasti, ja kaikilla testinkeittäjillämme on aina voimassa oleva hygieniapassi. Menussamme maistuu onnellisen opettajan tekemä testi!

Testimenustamme on helppo tilata kokeeksi jopa neljän testilajin setti, joka sisältää makupaloja aina esi-A1:stä B2-tasolle asti. Testit voi tilata hyvissä ajoin etukäteen ja koristella vasta tarjolle pantaessa. Koekeittiömme hoitaa logistiikan ja kylmäketjun; sinun täytyy vain huolehtia oikeasta säilytyksestä käyttöhetkeen asti. Testiä ei tule säilyttää esimerkiksi kopiokoneen lämmössä, jotta se säilyy tuoreena ja raikkaana. Kuvassa tarjoiluehdotus.

Elina Stordell



Opiskeluvalmiuksien testi kielitaitoa ennakoimassa?

2017-05-15
Testipiste otti toukokuussa 2017 merkittävän askeleen ja esiintyi ensimmäistä kertaa kansainväliselle yleisölle Bolognassa. Arvostettu kielitaidon arvioijien järjestö Association of Language Testers in Europe (ALTE) hyväksyi abstraktiehdotukseni ja myönsi minulle uuden tutkijan stipendin konferenssiin osallistumista varten. Konferenssin teemana oli tällä kertaa Learning and Assessment: Making the Connections.

Testipisteen lähtötason arvioinnissa on kansainvälisestikin katsoen käynyt jo melkoinen määrä asiakkaita: toukokuussa 2017 yli 23 000 asiakasta. Meille onkin kertynyt asiakkaista ja heidän testisuorituksistaan runsaasti monipuolista aineistoa, josta myös Helsingin ja Jyväskylän yliopistot ovat olleet kiinnostuneita. Koska olen itsekin tullut opiskelleeksi tilastotieteen alkeita niin työn kuin huvinkin puolesta, halusin kokeilla, mitä voisin saada materiaalista irti.

Testi

Arvioimme suomen kielen taidon lisäksi asiakkaiden opiskeluvalmiuksia, ja yksi keskeinen työvälineemme on rakenteellisen hahmottamisen testi. Sen juuret ovat Testipistettä edeltäneessä Kotoraide-projektissa, joka vieraili vuonna 2008 Belgiassa hollantia toisena kielenä opettaneessa Huis van het Nederlandissa. Siellä käytössä oli mielenkiintoisen tuntuinen COVAAR-testi, jonka avulla asiakkaille etsittiin sopivinta mahdollista hollannin kielen kurssia. Testiä voinee kuvailla loogisen ajattelun testiksi, joka pyrkii olemaan kielestä riippumaton; testi sisälsi tekokielisen aineiston lisäksi visuaalista materiaalia ja muistutti siltä osin erilaisia älykkyystestejä. Testiä kokeiltiin Kotoraiteessa mukana olleissa kotoutumiskoulutusta järjestäneissä oppilaitoksissa. Jotkin testin osat eivät vaikuttaneet erottelevan opiskelijoita; toiset puolestaan osoittautuivat osalle ylivoimaisiksi. Testistä kehitettiin suomen kieleen sopivampi malli, jonka toimivuus varmistettiin pilotoinnein. Testi mittaa sanahahmon tunnistamisen nopeutta ja tarkkuutta, rakenteellisten samankaltaisuuksien ja eroavaisuuksien hahmottamista sekä kykyä käyttää analogioita. Lisäksi testi antaa tietoa testattavan kyvystä ymmärtää ohjeita ja erilaisia tehtävätyyppejä sekä käyttää tietokonetta. Testiversiot otettiin käyttöön myös Testipisteessä sen aloittaessa pääkaupunkiseudun keskitetyn lähtötason arvioinnin vuonna 2010, ja testi on pysynyt tähän asti periaatteiltaan samanlaisena. Testiosioiden toimivuutta ja testiversioiden verrannollisuutta tarkkaillaan säännöllisesti IRT-analyysein. Testiä voisi kuvata melko helpoksi, sillä tyypillisin tulos on 30/30 pistettä. Keskiarvo on 21/30 ja keskimmäinen pistemäärä testiversiosta riippuen 23 tai 24 pistettä. Tulos ei siis noudata normaalijakaumaa vaan on hyvinkin vino.

Käytännön kokemusten perusteella testi toimii varsin hyvin tehtävässään, eli se antaa tukea sopivan koulutuspolun valintaan ja erottelee hyvin etenkin hitaalle ja peruspolulle sopivia opiskelijoita. On kuitenkin tärkeä muistaa, että ohjauspäätökseen vaikuttavat myös monet muut seikat ja ettei sitä koskaan tehdä minkään yksittäisen testituloksen tai taustatiedon perusteella. Lukuisten Testipiste-vuosien jälkeen minua alkoi kiinnostaa, missä määrin empiirisiin havaintoihin perustuva oletuksemme olisi todennettavissa numeroin. Jos testitulos kertoo mielestämme opiskelijan tarpeesta hitaammin etenevään koulutukseen, voiko tulos ennakoida myös oppijan suoriutumista kotoutumiskoulutuksessa ja edelleen todennäköisesti saavutettavaa kielitaidon tasoa?

Aineisto

Olimme jo ehtineet kerätä yhteistyössä Jyväskylän yliopiston Soveltavan kielentutkimuksen keskuksen kanssa aineistoa, jossa yhdistimme Testipisteen lähtötason arvioinnin taustatietoja ja testituloksia kotoutumiskoulutuksen päättöarvioinnin tuloksiin. Tuloksia esiteltiin Washingtonissa GURT-konferenssissa vuonna 2016, ja artikkeli on tätä kirjoitettaessa painossa. Tätä tutkimusta varten saimme lisää aineistoa Testipisteen omista oppilaitoksista. Testipisteen aineistossa on tähän mennessä 380 opiskelijan tiedot, mutta tähän tutkimukseen seuloin vain opiskelijat, jotka aloittivat kielen opiskelun nollasta: heillä ei ollut lähtötasonarvioinnissa aiempaa kokemusta suomen kielen opinnoista eikä kielitaitoakaan, poikkeuksena muutamat henkilöt, joiden suullinen taito oli arvioitu tasolle esi-A1 (konferenssissa esiteltiin Eurooppalaiseen viitekehykseen tulossa oleva taso): käytännössä he ovat osanneet reagoida muutamiin yksinkertaisimpiin haastattelukysymyksiin koskien esimerkiksi nimeä, suomen puhumista, kotimaata tai äidinkieltä. Tällä tavoin rajattuna aineiston kooksi tuli 235 asiakasta tai opiskelijaa, eli otos on vielä pienehkö.

Syystä taikka toisesta aineistossa on selvästi enemmän naisia (71 %) kuin miehiä. Suurin osa on pari-kolmekymppisiä (76 %). Äidinkieleltään opiskelijat ovat heterogeeninen joukko, sillä erilaisia äidinkieliä on 60, suurimpana ryhmänä venäjää äidinkielenään puhuvat (26 %).  Lähtötasonarviointihetkellä tyypillisin maassaoloaika oli korkeintaan kolme kuukautta (40 %), ja yli vuoden maassa olleita oli selvä vähemmistö (24 %, heistäkin osa oli käynyt lähtötasonarvioinnissa aiemminkin). Koulutustaso on varsin hyvä, sillä 42 prosentilla oli yliopistotutkinto tai –opintoja (maistereita oli kuitenkin selvästi kandidaatteja vähemmän) ja 36 prosentilla toisen asteen tutkinto. Useimmilla oli kokemusta vieraiden kielten opiskelusta (78 %), tavallisesti tosin vain yhden kielen osalta. Samoin useimmat puhuivat vähintään yhtä kieltä äidinkielensä lisäksi (83 %).

Aineistossa mukana olevista henkilöitä enemmistö (64 %) oli opiskellut kotoutumiskoulutuksessa peruspolulla. Nopealla polulla oli opiskellut vain 7 prosenttia ja hitaalla 29 prosenttia. On huomattava, että hitaalla polulla opiskelleista pieni osa oli ohjattu ensin luku- ja kirjoitustaidon koulutukseen, josta he olivat todennäköisesti vaihtelevan ajan jälkeen jatkaneet hitaasti etenevien oppijoiden polulla.
Kotoutumiskoulutuksen päättöarvioinnissa parhaimmat tulokset saavutettiin puhumisessa, jossa vähintään B1.1-tasolle ylsi 45 prosenttia (A2.2-tasolle 39 %). Vastaavat luvut ovat kirjoittamisessa 33 % (A2.2-tasolle 41 %), luetun ymmärtämisessä 32 % (A2.2-tasolle 42 %) ja kuullun ymmärtämisessä 29 % (A2.2-tasolle 51 %). Kuullun ymmärtämisen tulos on ainakin itselleni yllätys: painottaahan kotoutumiskoulutus suullista kielitaitoa, jolloin puheen ymmärtämisen voisi olettaa kehittyvän vahvemmaksi. Voi myös olla, että Testipisteen tulisi tarkastella kehittämiensä lopputestien sisältöjä ja taitotasoja uudelleen.

Analyysit

Tutkimuksessani analysoin rakenteellisen hahmottamisen testin tulosta suhteessa päättöarvioinnissa saavutettuihin taitotasoihin. Tarkastelin aineistoa kolmella tapaa.

Ensin tutkin tulosten välistä korrelaatiota. Se osoittautui kielitaidon osa-alueesta riippuen heikoksi tai korkeintaan kohtalaiseksi; kaikki tulokset ovat kuitenkin tilastollisesti merkitseviä. Ennakoidusti vahvin korrelaatio oli hahmottamisen testin ja luetun ymmärtämisen taidon välillä. Tulosta voi pitää odotettavana, onhan hahmottamisen testin yksi tavoite selvittää teknistä lukutaitoa. Parhaiten latinalaisella kirjaimistolla lukevat lähtevät etumatkalta, kun taas heikommin lukevilta kuluu todennäköisesti koko koulutuksen ajan osa energiasta itse lukemisprosessiin ja dekoodaukseen sisällön ymmärtämisen sijasta. Vastaavasti heikoin yhteys on suullisten taitojen ja rakenteellisen hahmottamisen testin välillä. Näitä taitoja onkin helpompaa kehittää ilman vahvaa lukutaitoa. On myös mahdollista, että hitaammin etenevien oppijoiden koulutuksessa painotetaan suullista kielitaitoa, koska se kompensoi heikompia taitoja; toisaalta erityisesti nämä opiskelijat tarvitsisivat tukea yhteiskunnassa ja etenkin jatko-opinnoissa tarvittavissa kirjallisissa taidoissa.

Toiseksi tutkin variansseja One-way ANOVA –testillä. Selvin yhteys on tässäkin hahmottamisen ja luetun ymmärtämisen välillä. Ryhmät, joiden testitulos oli heikko hahmottamisessa, saavuttivat myös heikot tulokset luetun ymmärtämisessä. Samoin taitavimmat ryhmät ylsivät parhaisiin tuloksiin. Myös kirjoittamisen kohdalla yhteys on vahva, puhumisessakin havaittavissa. Kaikki tulokset ovat tilastollisesti merkitseviä.

Viimeiseksi käytin X2-testiä (khii toiseen). Tulokset noudattelevat edellä selostettujen analyysien tuloksia.

Vaikuttaisi siis siltä, että lähtötason arvioinnissa heikot pisteet rakenteellisen hahmottamisen testistä saavat asiakkaat saavuttavat myös muita heikompia tuloksia kotoutumiskoulutuksessa. Toisin sanoen he tarvitsevat enemmän tukea oppimiseen: pidempää koulutusta, rauhallisempaa etenemistä ja erilaista pedagogiikkaa. Lisäksi voisi olla hyödyllistä pohtia hitaan koulutuspolun oppisisältöjä ja painotuksia: mikä olisi tarkoituksenmukaisin tapa painottaa kielen eri osa-alueita?

Yksi testi on kuitenkin vain yksi testi ja tieto monen muun seassa. Niinpä tutkin samoilla välineillä päättöarvioinnin tulosten yhteyttä myös muihin lähtötason arvioinnissa selvitettäviin seikkoihin: niin testituloksiin kuin taustatietoihin. Kuten odottaa saattaa, monilla muillakin seikoilla on samansuuntainen yhteys saavutettavaan kielitaitoon. Tulokset eivät tule kokeneelle S2-opettajalle yllätyksenä: Iäkkäiden opiskelijoiden tulokset jäävät muita vaatimattomammiksi. Koulutustaustalla on selvä yhteys luetun ymmärtämisen taitoon; kirjoittamisessa ja kuuntelussa analyysitulokset vaihtelevat; puheen kehittymiseen kouluhistorialla ei näytä olevan vaikutusta. Myös hyvä tekninen lukutaito edesauttaa etenkin kirjallisten taitojen oppimista. Kokemus kielten opiskelusta tukee suomen oppimista, ja opiskelijan kyky käyttää vieraita kieliä ennustaa suomen taitoa. Koulutuspolullakin näyttää olevan vaikutusta; osaksi syynä on luonnollisestikin se, että eri poluille ohjataan taidoissaan erilaisia opiskelijoita, mutta voiko syynä olla myös se, että polkujen painotukset ja sisällöt poikkeavat toisistaan?  ? Sukupuolen yhteydestä on vaikea sanoa mitään varmaa. Maassaoloaika ei näytä vaikuttavan tuloksiin.

Ei mitään uutta auringon alla, sanoo joku. Eipä. Testipiste voi kuitenkin jatkossakin käyttää turvallisin mielen kehittämäänsä testiä ja hyödyntää siitä saatavaa tietoa ohjauspäätöksiä tehdessään. Se on hyvä se.

Elina Stordell



Outoja tuloksia ja tärkeitä kysymyksiä

2017-02-23

Keskimäärin 3600 koulutussuositusta vuodessa, 360 kuukaudessa, 90 viikossa, 30 päivässä. Suurin osa niistä menee nappiin. Testiin osallistuja pääsee sopivalle, usein itse toivomalleen kurssille, aloittaa opiskelun ja oppii. Kielitaitoarvio ja koulutussuositus ovat kaikkien osapuolten mielestä osuvia. Näistä tapauksista emme yleensä kuule jälkeenpäin.

Aina tulos ei kuitenkaan tunnu oikealta. Sekä testiin osallistunut asiakas että asiakkaan testiin lähettänyt virkailija saattavat hämmentyä tai yllättyä. Silloin tällöin myös opettajat ihmettelevät Testipisteen suosituksia.

Niinpä meiltä kysytään: Mitä, miksi ja voiko tämä olla mahdollista? Onko tapahtunut virhe ja voiko asian korjata? Miten? Ja me vastaamme. Teemme sen mielellämme ja mahdollisimman perusteellisesti. Tutkimme tapauksen, pyydämme toisen asiantuntijan arvion, korjaamme mahdollisen virheen tai selitämme ratkaisumme. Tarjoamme aina myös mahdollisuuden testin uusimiseen ja uuteen arvioon. Tärkeintähän on se, että kielenoppija pääsee kaikkein sopivimpaan koulutukseen.

Tällä hetkellä suurin osa tarkistuspyynnöistä koskee lukutaito-kurssien suosituksia. Kaikkein useimmin viimeisen vuoden aikana on kysytty luku semi -kursseille ohjaamisen perusteita, mikä ei ole lainkaan yllättävää. Onhan kurssi uusi tulokas koulutuskartalla ja äkkiseltään kuulostaa varsin omituiselta, että akateemisen loppututkinnon suorittanut henkilö, joka kaiken lisäksi puhuu useaa eri kieltä, ohjataan lukutaidon kurssille. Siis harjoittelemaan lukemista!

Olemme kuitenkin ohjanneet lukutaidon kurssille kielenopettajia ja korkeakoulututkinnon suorittaneita virkamiehiä. Meillä on siihen perusteemme ja tarkat kriteerit, joita noudatamme. Useimmiten syynä semi-kurssille ohjaamiseen on se, että lukeminen latinalaisilla aakkosilla on vaivalloista, työlästä ja hidasta ja vie kohtuuttoman paljon energiaa. Tämä johtuu yksinkertaisesti siitä, ettei henkilö ole tottunut lukemaan tekstejä latinalaisilla aakkosilla vaan oman äidinkielensä merkistöä käyttäen. Tällöin katsomme, että tuleva suomen oppija, mahdollisesti tutkinto-opiskelija tai alansa ammattilainen, hyötyisi merkittävästi lukutaidon harjaannuttamisesta ja sujuvoittamisesta ennen kieliopintojen aloittamista.

Luku-suositusten lisäksi kysytään säännöllisesti myös lähtötasoista. Tyypillisintä on, että aloitustasoa epäillään liian korkeaksi ja taustalla painaa huoli, että kurssi on liian vaikea. Tämän tyyppisiä palautteita tulee testiin osallistuneiden lisäksi myös TE-toimiston virkailijoilta ja opettajilta. Käsitys taitotasoista ja oletus vaikkapa A2-tasoisen kurssin vaatimuksista saattaa vaikuttaa myös siihen, että lähtötaso hirvittää. Erityisesti oppijat itse pitävät usein taitoaan paljon vähäisempänä kuin arvioija. Hyvien perusteluiden nojalla taivumme toki tekemään muutoksia suosituksiin, vaikka kielitaito vaikuttaisi testien perusteella riittävältä kurssille osallistumiseen.

Ajoittain myös koulutustyyppiä pidetään vääränä. Nämä palautteet tulevat lähes ainoastaan opettajilta. Yleisin tapaus on se, että opettaja pitää hitaasti etenevää koulutusta sopivana vaihtoehtona Testipisteen suositteleman peruskurssin sijaan. Kantamme on pääsääntöisesti se, että opettaja on aina oikeassa. Opettaja näkee kaikkein parhaiten, miten oppija oppii ja kehittyy ja selviytyy kurssin arjessa – ja mikä on hänelle parhaaksi. Testipisteessä voimme vain ennustaa oppijan pedagogisia tarpeita testitulosten ja taustatietojen pohjalta. Toisinaan testitulokset ja taustatiedot ovat ristiriitaisia: Esimerkiksi osa testituloksista viittaa hitaaseen koulutukseen, taustatiedot taas pääosin perusnopeudella etenevään koulutukseen. Ristiriitatilanteissa painotamme yleensä oppijan omia toiveita sekä ohjaamme ensisijaisesti peruskurssille. Tämä periaate selittää sen, että väärään paikkaan sijoittuneista suurin osa on ohjattu hitaan kurssin sijaan peruskurssille.

Joskus (onneksi kuitenkin hyvin harvoin) on käynyt myös niin, että suositus tai tulos on ollut virheellinen tai puutteellinen inhimillisen erehdyksen vuoksi. On käynyt esimerkiksi niin, että kielitaito on jäänyt arvioijalta huomaamatta, kun asiakas on vaatimattomasti ilmoittanut, ettei osaa lainkaan suomea. Virheellisen tuloksen takana on myös erään kerran ollut väärä klikkaus koulutustyyppivalikossa. Näiden tapausten jälkeen emme voi muuta kuin pahoitella virhettämme. Tietysti pyrimme myös tarkentamaan työskentelyämme entisestään, jotta välttyisimme tällaiselta kokonaan.

Otamme lämpimästi vastaan kaikki kysymykset ja palautteet koulutukseen ohjaamisesta, suosituksista ja kielitaitoarvioista. Näin saamme tärkeää tietoa, jonka avulla voimme kehittää toimintaamme eteenpäin. Niinpä kysymme säännöllisesti palautetta kaikilta osapuolilta: testiin osallistuneilta, opettajilta ja TE-toimistojen henkilökunnalta. Kertokaa, kysykää, neuvokaa!

Henna Vikman


B1- ja B2-tasojen lopputesti käyttöön

2016-12-19
Kiitos noin 80 osallistujalle, jotka olivat mukana uuden B-tasojen lopputestin käyttöönottokoulutuksessa 9.12.2016 paikan päällä sekä verkossa!