Taitoavain: Työkaluja taitotasojen ja tavoitteiden avaamiseksi ja selittämiseksi S2-oppijalle – yliopisto-opiskelijan näkökulma

2018-05-30

Opettajan kokemuksia ja ajatuksia taitotasoja käsittelevästä opetustuokiosta ja Taitoavain-materiaalin käytöstä (kevät 2018)

2018-05-30

Miten kertoa eurooppalaisesta viitekehyksestä S2-oppijalle?

2017-12-19

Työkaluja taitotasojen ja tavoitteiden avaamiseksi ja selittämiseksi S2-oppijalle

2017-12-19

Parasta ennen

2017-05-15

Opiskeluvalmiuksien testi kielitaitoa ennakoimassa?

2017-05-15

Outoja tuloksia ja tärkeitä kysymyksiä

2017-02-23

B1- ja B2-tasojen lopputesti käyttöön

2016-12-19

20 000. asiakas päätyi Suomeen vahingossa

2016-09-20

Mikä vaikuttaa tekniseen lukutaitoon suomen kielellä?

2016-09-02

Tilastoja Testipisteen asiakaskunnasta

2016-08-12

Opetusharjoittelijana Testipisteessä

2016-08-10

Arvioijan aakkosia

2016-08-10

Millaista koulutusta turvapaikanhakijoille?

2016-05-02

Taitoavain: Työkaluja taitotasojen ja tavoitteiden avaamiseksi ja selittämiseksi S2-oppijalle – yliopisto-opiskelijan näkökulma

2018-05-30
Taitoavaimen koulutus Oulussa osui omalta kannaltani juuri sopivaan aikaan, sillä alkuvuodesta suoritin yliopistolla S2-opintojen perusopintoihin kuuluvan kurssin Kielitaidon arviointi. Kurssin pohjalta olin entistä enemmän ymmälläni arvioinnin suhteen: miten se voi olla luotettavaa? Kuinka opettaja osaa tehdä juuri ryhmälleen sopivat testit? Voiko arviointi koskaan olla täysin tasa-arvoista? Ymmärrys arvioinnin monipuolisuudesta laajeni ja syveni. Kaikkien kysymysten keskellä mielessä pyöri myös lohdullinen ajatus siitä, että arviointia tehdään koko ajan ja aivan onnistuneestikin. Se täytyy siis olla mahdollista.

 Kurssin tavoitteena oli oppia kielitaidon arvioinnin perusteet ja tutustua valtakunnallisiin ja eurooppalaisiin arvioinnin taitotasoihin. Teorian lisäksi harjoittelimme yhden tai useamman kielen osa-alueen testausta ja arviointia todellisen suomenoppijoiden ryhmän kanssa.

Kurssilla tutustuttiin eurooppalaisen viitekehyksen lisäksi yleiseen kielitutkintoon ja myös eri kouluasteiden opseihin. Törmäsin aikalailla ensimmäistä kertaa eurooppalaiseen viitekehykseen ja sen taitotasoihin. Äkkiseltään tasot ja niiden luonnehdinnat tuntuivat haastavilta hahmottaa, millaista puhetta tuottaa A1-tasolla oleva opiskelija, entä millaista tekstiä B2-tasoinen opiskelija ymmärtää? Omaa ymmärrystäni helpotti huomattavasti se, että käsittelimme myös eritasoisten oppijoiden tuotoksia, asetimme niitä mielestämme sopiville taitotasoille.

Arviointia tarkasteltiin monelta kantilta ja kuinka monenlaista se voikaan olla! Perinteisesti arviointi tuo mieleen kokeet ja koearvosanat, yliopisto-opiskelijalle kenties kirjatentit, joihin päntätään etukäteen, ja kuukauden päästä voikin muistella mitä tuli opittua... Mitä tentti siis itseasiassa testasikaan? Kertoiko se siitä, mitä olen todella oppinut? Näitä kysymyksiä pyöritellessä päädyin pohtimaan sitäkin, mitä se oppiminen oikeastaan on? Entä mikä voisi olla parempi tapa sen mittaamiseen? Itseäni jäi toden teolla mietityttämään se, mitä kielen oppiminen on ja kuinka sitä todella olisi parasta ja oikeudenmukaisinta mitata. Paljonko kokeessa menestymiseen voi vaikuttaa se, että koe jännittää tai kokeessa oleva tehtävätyyppi ei ole opiskelijalle tuttu? Miten tällaisia asioita huomioidaan arvioinnissa vai huomioidaanko niitä?

Teorian jälkeen olikin aika siirtyä käytäntöön: laadimme koko ryhmän voimin testin, jolla kävimme testaamassa suomen opiskelijoiden kielitaitoa. Tehtävänämme oli myös arvioida testit. Tätä osuutta pidin äärettömän opettavaisena ja toki myös haastavana. Arviointi herätti paljonkin kysymyksiä. Milloin siirrytään tasolta toiselle tai miten arvioidaan kokonaiskielitaito jos eri osa-alueiden tasot vaihtelevat suuresti? Entä jos opiskelijan tuotos ei ole tehtävänannon mukainen, mutta hän kuitenkin puhuu sujuvaa ja ymmärrettävää suomea, ei kai taito silloin ole olematon? Taitolaji on sekin, kuinka arviointi onnistuisi olemaan kannustavaa, eikä vain virheitä korostavaa. Arvioijan on työssään otettava huomioon monen monta seikkaa! 

Yliopiston kurssin jälkeen janosin lisää tietoa arvioinnista, eri taitotasoista ja käytännön arviointityöstä S2-opetuksessa. Tuntui, että arviointi oli paisunut niin moninaiseksi ja suureksi asiaksi, etten enää tiennytkään miten sitä käytännössä voisi toteuttaa tasa-arvoisesti, oikeudenmukaisesti ja kannustavasti. Taitoavaimen koulutuksessa on ollut opettavaista kuulla ammatissa toimivien opettajien mielipiteitä ja näkökulmia sekä kokemuksia. Vaikuttaa myös siltä, että he ovat tavallisia ihmisiä, eivät mystisiä arviointivelhoja, joilta homma vain luonnistuu. Tiedon ja tutkimuksen äärelle, kuin myös kokeneiden kollegojen luokse, on aina mahdollista hakeutua haastavissa tilanteissa. Haasteistaan huolimatta kun arviointia tarvitaan ja sillä on tärkeä paikkansa esimerkiksi oppijan opiskelujen ja työelämään sijoittumisen kannalta. 

Katariina Halonen


Opettajan kokemuksia ja ajatuksia taitotasoja käsittelevästä opetustuokiosta ja Taitoavain-materiaalin käytöstä (kevät 2018)

2018-05-30
Teetin tehtävän ammattikoulun pakollisiin YTO-aineisiin kuuluvalla S2-kurssilla. Paikalla oli kolme opiskelijaa. Kahdelle opiskelijalle taitotasot olivat jo entuudestaan tuttuja aiemmin suoritetun kotoutumiskoulutuksen myötä. Yksi opiskelija ilmoitti alkuun, ettei tiedä taitotasoasteikkoja, mutta muisti keskustelun aikana, että hän on käyttänyt niitä muun muassa työhakemuksessa ja CV:ssä kuvatessaan kielitaitoaan.

Opiskelijoilla oli selkeästi jo ymmärrystä siitä, miten taitotasoasteikko muodostuu. He osasivat nimetä, että taso B1 on kotoutumiskoulutuksen tavoitetaso ja että silloin on mahdollista esimerkiksi opiskella ammattikoulussa. Muiden tasojen sanallinen kuvaaminen oli sitten vaikeampaa. Tutustuimme sitten eri taitotasoasteikkoihin eurooppalaisen viitekehyksen, selkoversion ja erilaisten esimerkkien nimeämisen avulla. Läpikäynnin aikana visualisoin taululle myös taitotasoasteikon porras- ja aaltomallit edistymisen kuvaamiseksi. Esittelyn myötä syntyi vaikutelma, että kaikki kolme opiskelijaa hahmotti eri taitotasojen sisällöt hyvin ainakin yleisellä tasolla. Eri tason sisällä olevia tasoja (esimerkiksi A2.1 ja A2.2) pohdimme lyhyesti niin, että yksittäisen taitotasonkin sisällä voi olla vielä vähän heikko tai vahva osaaja.

Itsearvioinnin ja keskustelun aikana huomasin sen, että omia taitojaan opiskelijat lähestyivät yleensä negatiivisen kuvailun kautta. He nimesivät asioita mitkä ovat vaikeita tai mitä he eivät vielä osaa. Esimerkiksi sanaston hallinta oli monen mielestä heillä puutteellista. Vasta opetustuokion loppupuolella he alkoivat vaikeuksien sijasta nimetä asioita, mitä he jo osaavat ja viestintätilanteita, jotka ovat heille helppoja. Myös itsearvioinnin loppupuolella oman taitotason arvioinnissa oma kielitaito arvioitiin korkeammaksi kuin tunnin alkupuolella.

Oman kielellisen "itsetunnon" paraneminen tuntui paranevan yleisen keskustelun, tehtävänäytteiden ja vastausnäytteiden myötä. Esittelin opiskelijoille kirjoittamisen näytetehtävät taitotasoilla A1 (tekstiviesti), A2 (harrastus) ja B1 (ongelma). Katsoimme ensin taitotason A1 tehtävän ja kaikki totesivat sen olevan helppo. Tarkastelimme myös tehtävän opiskelijanäytteitä. Opiskelijat analysoivat ja kommentoivat vastauksia - halusivatpa myös jopa korjata niissä olevia virheitä. Seuraavaksi tarkastelimme A2-tason tehtävää, jonka opiskelijat myös saivat tehdä. Kaikki suoriutuivat tehtävästä noin 10-15 minuutissa. Tämän jälkeen kävimme läpi myös näytevastauksia. Opiskelijat selvästi tässä vaiheessa vertailivat omia vastauksiaan näihin näytteisiin todella tarkasti. Tehtävää kommentoitiin helpoksi, koska aihe ja tehtävämuoto (sähköposti) ovat heille tuttuja. He myös mainitsivat, että tehtävä onnistui hyvin myös ilman sanakirjaa. Tehdyn A2-tason tehtävän jälkeen esittelin opiskelijoille vielä B1-tason tehtävän. Opiskelijat lukivat tehtäväannon ja kommentoivat, että tehtävä vaikuttaa sellaiselta, että sen tekeminen heiltä onnistuu, vaikka "tarvitsee miettiä nyt enemmän". Opiskelijat myös pohtivat, että aikaa menee varmasti paljon enemmän. Kaikki kolme halusivat ottaa tehtävän itselleen kotitehtäväksi ja tavoitteena oli "kirjoittaa pitkä teksti". Jokainen opiskelija tosiaan arvioi, että suoriutuu kyllä vähintään tyydyttävästi tehtävästä.

Näytteiden ja tehdyn tehtävän jäljiltä jokainen opiskelija vaikutti tietyllä tapaa itsevarmemmalta. He nimesivät yhä esimerkiksi kirjoittamisen vaikeimmaksi osa-alueeksi ja että sitä pitää jatkossa treenata. Toisaalta he kommentoivat olevansa nyt myös tietoisempia siitä, miten kielitaito on kehittynyt ja että millä osa-alueilla he ovat vahvoilla. Keskustelussa ja oman osaamisen kuvailussa toistui enemmän positiivisia kommentteja.

Lopussa pyysin, josko voisin vielä yhteisten keskustelujen jälkeen haastatella yhtä opiskelijoista. Opiskelijat eivät tästä innostuneet, vaan halusivat mieluiten kommentoida kaikki yhdessä. Nauhoitus selvästi jännitti opiskelijoita ja keskustelu ikään kuin tyssäsi heti kun nauhoitus alkoi. Siispä haastattelusta tulikin lopulta varsin opettajavetoinen ja opiskelijoiden vastauksista kovin lyhyitä. Yritin vielä haastattelun aikana nostaa erikseen esiin muutamia keskustelussa käsiteltyjä seikkoja, mutta opiskelijat eivät aivan innostuneet asiaa enää kommentoimaan nauhalle. Sinänsä en koe tätä ongelmaksi, koska opetustuokion lopputulokset olivat silti ryhmässä hyvät ja todella positiiviset.

Kielitaidon itsearviointi ja yhteinen arviointi osaamisesta olivat todellakin hyödyksi. OSAOn äidinkielen ja S2:n viidennessä eli viimeisessä osaamisjaksossa opiskelijat arvioivat osaamistaan ja kehityskohteita jakson loppupuolella. Toisinaan itsearviointia hyödynnetään myös muilla osaamisjaksoilla, mutta tässä viidenessä osaamispisteessä itsearviointi on mainittu erilliseksi jakson seurantakohteeksi. Tämän tekemäni opetustuokion jälkeen silti koen, että itsearviointia pitäisi kyetä toteuttamaan paljon runsaammin opinnoissa, varsinkin enemmän kuin vain koko viiden osaamispisteen mittaisen osion lopussa. Tällöin opiskelija on selvästi paremmin kartalla siitä, mitä hän jo hallitsee ja osaa sekä missä hänellä on vielä harjoiteltavaa. Vastedes aion toteuttaa itsearviointeja vähintään jokaisen osaamispisteen jakson lopussa. Näiden kolmen opiskelijan kohdalla myös arvioisin, että opetustuokio toimi kaiken lisäksi myös motivaatiota lisäävänä tekijänä.
 
Laura Niva


Miten kertoa eurooppalaisesta viitekehyksestä S2-oppijalle?

2017-12-19
On tiedettävä tavoitteet saavuttaakseen ne. Niinpä Testipisteen kurssilla ”Työkaluja taitotasojen ja tavoitteiden avaamiseksi ja selittämiseksi S2-oppijalle” pohdimme eräänä tehtävänä, miten määrittelisimme selkosuomeksi, mitä taitotasojen osaamiseen kuuluu ja miten tasoja voisi oppijalle konkretisoida. Kurssista kokonaisuudessaan voi lukea aikaisemmasta blogipostauksestani.

Kurssin osallistujat kokivat tärkeäksi kertoa oppijoilleen, että eurooppalaisen viitekehyksen avulla arvioidaan neljää kielen osa-aluetta: puhumista, kirjoittamista, puheen ymmärtämistä ja tekstin ymmärtämistä. Arviointi ei kohdistu rakenteisiin, vaan kommunikatiivisuuteen: mitä oppija osaa ja millaisista tilanteista hän selviää.  Kuvausta käytetään esimerkiksi testeissä ja kansalaisuutta haettaessa, mutta se on väline myös oppijan itsearviointiin. Tärkeänä tuotiin esiin myös se, että eteneminen osa-alueilla ei välttämättä ole samantahtista. Lisäksi haluttiin kertoa, että kielitaidon taitotasoasteikko on Euroopassa yhteinen eri kielissä, ja sen kuvaukset löytyvät verkosta.

Kurssilla yhteisesti tuotettavaan selkokieliseen taitotasoasteikkoon kaikki pienryhmät toivoivat kirjattavaksi tilanteet, joissa kielen oppija kullakin tasolla pärjää. Muutoin kannatus jakaantui sen suhteen, mihin kuvauksissa tulisi keskittyä: Työelämän ja opiskelun kielitaitovaatimukset ja funktiot koettiin valaiseviksi, ja toisaalta taas ymmärtämisen ja tuottamisen hyvyys, helppous tai sujuvuus. Kannatusta kirjattaviksi asioiksi saivat myös teemojen käsittelykyky, sanaston ja rakenteiden osaaminen sekä funktioiden hallinta. Eräs ryhmä koki tärkeäksi kirjata ylös sen, mitä ei vielä osaa tai mikä tuntuu vaikealta. Sen sijaan mikään ryhmistä ei ensisijaisesti lähtisi määrittelemään tasoja strategioiden käyttämisen tai oppijan tekemien virheiden perusteella. Kaikki ryhmät toivoivat selkokieliseen asteikkoon erilliset kuvaukset kielen neljästä osa-alueesta. Kuvausten tulisi olla kielellisesti helppoja ja sisältää konkreettisia esimerkkejä.

Selkokielinen asteikko ei ole ainoa konkreettinen työkalu, jolla kurssin osallistujat visioivat selittävänsä taitotasoja. Visuaalisesti taitotasojen laajenemista ja erikokoisuutta haluttiin hahmottaa esimerkiksi sivuprofiililla portaista, joiden askelmat ovat erikokoisia. Myös amfiteatterin ylöspäin leveneviä kaaria sekä minän ympärille yhä kasvavia renkaita ajateltiin mahdollisina kuvallisina selityksinä. Oppijoille haluttiin tehdä selväksi, että sama määrä työtä tai aikaa ei johda tasaisesti seuraavalle tasolle.

Kunkin tason tuotoksia eri muodoissa kaavailtiin havainnollistaviksi esimerkeiksi. Kurssilaiset innostuivat videoklipeistä, jotka esittelisivät vuorovaikutusta eri tasoilla. Nämä videoklipit voisivat esittää esimerkiksi asiointitilanteita, arkisia juttelutuokioita tai työtilanteita, joiden jälkeen oppija saisi vielä selkokielisen kuvauksen tasosta: ”Sinä olet kahvilassa. Tasolla A1.3 sinä osaat... ja ymmärrät...”. Toisaalta videoilla voisi kertoa myös, mikä vielä voi olla vaikeaa. Videon koettiin havainnollistavan vuorovaikutustilanteissa tarvittavaa kielitaitoa paremmin kuin pelkän ääninäytteen ja olevan näin alkeistasollakin valaiseva. 

Liikkuvaa kuvaa helpompaa ja nopeampaa on kuitenkin tuottaa teksti- ja ääniesimerkkejä eri tasoista. Kurssilla yhteisesti koostettua materiaalipankkia pidettiin myös hyvänä tapana tuoda taitotasojen eroja esiin. Osa kurssilaisista keräsi tehtäväesimerkkejä puhutun ja kirjoitetun ymmärtämisestä, osa tuotatti oppijoillaan ääntä ja tekstiä. Keskusteltaessa esimerkeistä todettiin, kuinka erilaisia samantasoiset näytteet keskenään voivat olla, joten oppijoiden kanssa olisi hyvä vertailla erilaisia samankin tason esimerkkejä.

Eläviäkin esimerkkejä muista tasoista ehdotettiin vierailijoiden muodossa: ryhmä voisi tavata yksittäisen edistyneemmän opiskelijan, tai opettaja järjestää kahden eritasoisen ryhmän kohtaamisen vaikkapa haastattelun muodossa. Jos mahdollisuus on, ryhmät voisivat keskustella omalla äidinkielellään tai suomeksi ekplisiittisesti kielitasoista. Suomea osaava opiskelija voi yhtä hyvin piipahtaa alkeistason kurssilla toteamassa, kuinka on itse edistynyt opinnoissaan. Oman osaamisen dokumentointi jollakin tapaa (esimerkiksi portfoliolla), pienten välitestien sekä helppojen väitelauseiden avulla tapahtuva itsearviointi koettiin myös mahdollisuuksina motivointiin. 

Oppimisen kantava voima, sisäinen motivaatio, ei synny opettajan antamista raameista, vaan oppijan on ymmärrettävä ja hyväksyttävä tavoitteensa itse. Opettaja voi toki auttaa tällä tiellä tarjoamalla välineitä, muun muassa taitotasot, helposti ymmärrettävässä muodossa. Kurssin aikana tuotettua materiaalipankkia saa kernaasti käyttää omassa opetuksessaan motivaation tukemiseen. Pankki täydentyy keväällä 2018 pidettävien kurssien myötä.

Jenni Virtanen



Työkaluja taitotasojen ja tavoitteiden avaamiseksi ja selittämiseksi S2-oppijalle

2017-12-19
Palautteen antaminen on taitolaji, joka on paljon muutakin kuin oppijan virheiden osoittamista. Palautetta voidaan toki antaa itse tehtävästä, mutta palaute käsittää myös oppimisen strategiat (kognitiiviset, metakognitiiviset, affektiiviset ja sosiaalis-interaktionaaliset) sekä palautteen itsestä persoonana. Minkäänlainen palaute ei kuitenkaan ole tehokasta, ellei oppija ensin tiedosta, mihin hän haluaa tähdätä. (Alderson & al. 2015: 325-336). Suomen kielen oppijaa tavoitteiden asettamisessa auttaa selkokielellä esitetty kuvaus eurooppalaisen viitekehyksen taitotasoista.

Testipisteen tarjoama koulutus ”Työkaluja taitotasojen ja tavoitteiden avaamiseksi ja selittämiseksi S2-oppijalle” (5 op) tarjoaa ympäristön miettiä, mitä taitotasot ovat ja miten ne liittyvät oppimiseen. Vertaisryhmissä työstetään ajatuksia siitä, minkälaista osaamista tietty taitotaso edellyttää ja missä tilanteissa taitotasolla pärjää. Kurssilla luodaan yhdessä konkreettista kättä pidempää mallien, esimerkkitehtävien ja helppojen taitotasokuvausten muodossa. Tämä työkalupakki tulee lopuksi kaikkien käyttöön.

Ensimmäisenä lähipäivänä sukelsimme taitotasoarvioinnin, tavoitteiden ja palautteen yhteenkietoutumiseen kielenoppimisessa. Mietimme myös taitotasojen havainnollistamista sekä näytesuorituksia oppijan näkökulmasta. Etätyöskentelyjaksolla tutustuimme kirjallisuuteen diagnostisesta palautteenannosta ja kävimme vilkasta keskustelua oppimisalustalla mm. kouluttajien esimerkkitehtävistä ja arvioinnista.
Ensimmäisen etäjakson tehtäviin kuului myös yhden kielen osataidon (kirjoittaminen, puhuminen, luetun ymmärtäminen, kuullun ymmärtäminen) tietyn taitotason esimerkkien koostaminen kommentteineen. Toisella lähijaksolla kävimmekin läpi pienryhmissä näitä osin omista opetusryhmistä kerättyjä näytteitä, jotka nivoimme isommiksi kokonaisuuksiksi ja esittelimme koko ryhmälle. Kurssilla pohdimme yhdessä, kuinka erilaisia näytteitä ja näytepaketteja voisi käyttää opiskelijaryhmässä esimerkkinä taitotasoista, mitä niistä voi selkokielisesti sanoa ja mitkä piirteet erityisesti tulisi tietyn taitotason kuvaajina nostaa esiin. 

Toisella etäjaksolla testasimme saamaamme itsearviointipohjaa, hahmottelemiamme taitotasokuvauksia sekä näytepakettia suomen kielen kursseilla. Jokainen sai tehtäväksi myös haastatella tarkemmin yhtä oppijaa tehtyjen itsearviointien pohjalta. Käyttökokemuksia purimme kolmannella tapaamiskerralla, jolloin tarkastelimme myös selkoasteikkoa ja sen käyttöä opetuksessa.

Osallistujana suosittelen lämpimästi koulutusta kaikille, jotka pohtivat eurooppalaisen viitekehyksen kielitaitotasoja, oppijoiden motivoimista, arviointia ja palautteen antamista sekä tavoitteiden asettamista.   Koulutus järjestetään uudestaan vuonna 2018 Oulussa ja Helsingissä.

Lähde: Alderson, J. Charles, Haapakangas, Eeva-Leena, Huhta, Ari, Nieminen, Lea & Ullakonoja, Riikka. 2015. The Diagnosis of Reading in a Second or Foreign Language. London: Routledge.

Jenni Virtanen



Parasta ennen

2017-05-15
Tervetuloa Testipisteen koekeittiöön! Tänään on tarjolla koulujen päättymistä silmällä pitäen ehdotus juhlapöydän testimenuksi.

Testimenumme resepti on oma versiomme arviointimenestykseksi nousseesta Eurooppalainen viitekehys -klassikosta, jota tuunaamme trendikkäästi muun muassa satokauden uusilla mediation-kuvaimilla. Käytämme vain kotimaisia aineistoja. Testi on opiskelijaystävällinen ja sopii myös skarppaajille. Se saattaa kuitenkin sisältää lisäaineita edistyneempiä oppijoita varten.

Testimenumme kehitystä voi kuvata kestäväksi, sillä sitä on kestänyt jo vuodesta 2010 asti. Kaikki testit tehdään rakkaudella ja käsityönä. Valmistusprosessia valvotaan tarkasti, ja kaikilla testinkeittäjillämme on aina voimassa oleva hygieniapassi. Menussamme maistuu onnellisen opettajan tekemä testi!

Testimenustamme on helppo tilata kokeeksi jopa neljän testilajin setti, joka sisältää makupaloja aina esi-A1:stä B2-tasolle asti. Testit voi tilata hyvissä ajoin etukäteen ja koristella vasta tarjolle pantaessa. Koekeittiömme hoitaa logistiikan ja kylmäketjun; sinun täytyy vain huolehtia oikeasta säilytyksestä käyttöhetkeen asti. Testiä ei tule säilyttää esimerkiksi kopiokoneen lämmössä, jotta se säilyy tuoreena ja raikkaana. Kuvassa tarjoiluehdotus.

Elina Stordell



Opiskeluvalmiuksien testi kielitaitoa ennakoimassa?

2017-05-15
Testipiste otti toukokuussa 2017 merkittävän askeleen ja esiintyi ensimmäistä kertaa kansainväliselle yleisölle Bolognassa. Arvostettu kielitaidon arvioijien järjestö Association of Language Testers in Europe (ALTE) hyväksyi abstraktiehdotukseni ja myönsi minulle uuden tutkijan stipendin konferenssiin osallistumista varten. Konferenssin teemana oli tällä kertaa Learning and Assessment: Making the Connections.

Testipisteen lähtötason arvioinnissa on kansainvälisestikin katsoen käynyt jo melkoinen määrä asiakkaita: toukokuussa 2017 yli 23 000 asiakasta. Meille onkin kertynyt asiakkaista ja heidän testisuorituksistaan runsaasti monipuolista aineistoa, josta myös Helsingin ja Jyväskylän yliopistot ovat olleet kiinnostuneita. Koska olen itsekin tullut opiskelleeksi tilastotieteen alkeita niin työn kuin huvinkin puolesta, halusin kokeilla, mitä voisin saada materiaalista irti.

Testi

Arvioimme suomen kielen taidon lisäksi asiakkaiden opiskeluvalmiuksia, ja yksi keskeinen työvälineemme on rakenteellisen hahmottamisen testi. Sen juuret ovat Testipistettä edeltäneessä Kotoraide-projektissa, joka vieraili vuonna 2008 Belgiassa hollantia toisena kielenä opettaneessa Huis van het Nederlandissa. Siellä käytössä oli mielenkiintoisen tuntuinen COVAAR-testi, jonka avulla asiakkaille etsittiin sopivinta mahdollista hollannin kielen kurssia. Testiä voinee kuvailla loogisen ajattelun testiksi, joka pyrkii olemaan kielestä riippumaton; testi sisälsi tekokielisen aineiston lisäksi visuaalista materiaalia ja muistutti siltä osin erilaisia älykkyystestejä. Testiä kokeiltiin Kotoraiteessa mukana olleissa kotoutumiskoulutusta järjestäneissä oppilaitoksissa. Jotkin testin osat eivät vaikuttaneet erottelevan opiskelijoita; toiset puolestaan osoittautuivat osalle ylivoimaisiksi. Testistä kehitettiin suomen kieleen sopivampi malli, jonka toimivuus varmistettiin pilotoinnein. Testi mittaa sanahahmon tunnistamisen nopeutta ja tarkkuutta, rakenteellisten samankaltaisuuksien ja eroavaisuuksien hahmottamista sekä kykyä käyttää analogioita. Lisäksi testi antaa tietoa testattavan kyvystä ymmärtää ohjeita ja erilaisia tehtävätyyppejä sekä käyttää tietokonetta. Testiversiot otettiin käyttöön myös Testipisteessä sen aloittaessa pääkaupunkiseudun keskitetyn lähtötason arvioinnin vuonna 2010, ja testi on pysynyt tähän asti periaatteiltaan samanlaisena. Testiosioiden toimivuutta ja testiversioiden verrannollisuutta tarkkaillaan säännöllisesti IRT-analyysein. Testiä voisi kuvata melko helpoksi, sillä tyypillisin tulos on 30/30 pistettä. Keskiarvo on 21/30 ja keskimmäinen pistemäärä testiversiosta riippuen 23 tai 24 pistettä. Tulos ei siis noudata normaalijakaumaa vaan on hyvinkin vino.

Käytännön kokemusten perusteella testi toimii varsin hyvin tehtävässään, eli se antaa tukea sopivan koulutuspolun valintaan ja erottelee hyvin etenkin hitaalle ja peruspolulle sopivia opiskelijoita. On kuitenkin tärkeä muistaa, että ohjauspäätökseen vaikuttavat myös monet muut seikat ja ettei sitä koskaan tehdä minkään yksittäisen testituloksen tai taustatiedon perusteella. Lukuisten Testipiste-vuosien jälkeen minua alkoi kiinnostaa, missä määrin empiirisiin havaintoihin perustuva oletuksemme olisi todennettavissa numeroin. Jos testitulos kertoo mielestämme opiskelijan tarpeesta hitaammin etenevään koulutukseen, voiko tulos ennakoida myös oppijan suoriutumista kotoutumiskoulutuksessa ja edelleen todennäköisesti saavutettavaa kielitaidon tasoa?

Aineisto

Olimme jo ehtineet kerätä yhteistyössä Jyväskylän yliopiston Soveltavan kielentutkimuksen keskuksen kanssa aineistoa, jossa yhdistimme Testipisteen lähtötason arvioinnin taustatietoja ja testituloksia kotoutumiskoulutuksen päättöarvioinnin tuloksiin. Tuloksia esiteltiin Washingtonissa GURT-konferenssissa vuonna 2016, ja artikkeli on tätä kirjoitettaessa painossa. Tätä tutkimusta varten saimme lisää aineistoa Testipisteen omista oppilaitoksista. Testipisteen aineistossa on tähän mennessä 380 opiskelijan tiedot, mutta tähän tutkimukseen seuloin vain opiskelijat, jotka aloittivat kielen opiskelun nollasta: heillä ei ollut lähtötasonarvioinnissa aiempaa kokemusta suomen kielen opinnoista eikä kielitaitoakaan, poikkeuksena muutamat henkilöt, joiden suullinen taito oli arvioitu tasolle esi-A1 (konferenssissa esiteltiin Eurooppalaiseen viitekehykseen tulossa oleva taso): käytännössä he ovat osanneet reagoida muutamiin yksinkertaisimpiin haastattelukysymyksiin koskien esimerkiksi nimeä, suomen puhumista, kotimaata tai äidinkieltä. Tällä tavoin rajattuna aineiston kooksi tuli 235 asiakasta tai opiskelijaa, eli otos on vielä pienehkö.

Syystä taikka toisesta aineistossa on selvästi enemmän naisia (71 %) kuin miehiä. Suurin osa on pari-kolmekymppisiä (76 %). Äidinkieleltään opiskelijat ovat heterogeeninen joukko, sillä erilaisia äidinkieliä on 60, suurimpana ryhmänä venäjää äidinkielenään puhuvat (26 %).  Lähtötasonarviointihetkellä tyypillisin maassaoloaika oli korkeintaan kolme kuukautta (40 %), ja yli vuoden maassa olleita oli selvä vähemmistö (24 %, heistäkin osa oli käynyt lähtötasonarvioinnissa aiemminkin). Koulutustaso on varsin hyvä, sillä 42 prosentilla oli yliopistotutkinto tai –opintoja (maistereita oli kuitenkin selvästi kandidaatteja vähemmän) ja 36 prosentilla toisen asteen tutkinto. Useimmilla oli kokemusta vieraiden kielten opiskelusta (78 %), tavallisesti tosin vain yhden kielen osalta. Samoin useimmat puhuivat vähintään yhtä kieltä äidinkielensä lisäksi (83 %).

Aineistossa mukana olevista henkilöitä enemmistö (64 %) oli opiskellut kotoutumiskoulutuksessa peruspolulla. Nopealla polulla oli opiskellut vain 7 prosenttia ja hitaalla 29 prosenttia. On huomattava, että hitaalla polulla opiskelleista pieni osa oli ohjattu ensin luku- ja kirjoitustaidon koulutukseen, josta he olivat todennäköisesti vaihtelevan ajan jälkeen jatkaneet hitaasti etenevien oppijoiden polulla.
Kotoutumiskoulutuksen päättöarvioinnissa parhaimmat tulokset saavutettiin puhumisessa, jossa vähintään B1.1-tasolle ylsi 45 prosenttia (A2.2-tasolle 39 %). Vastaavat luvut ovat kirjoittamisessa 33 % (A2.2-tasolle 41 %), luetun ymmärtämisessä 32 % (A2.2-tasolle 42 %) ja kuullun ymmärtämisessä 29 % (A2.2-tasolle 51 %). Kuullun ymmärtämisen tulos on ainakin itselleni yllätys: painottaahan kotoutumiskoulutus suullista kielitaitoa, jolloin puheen ymmärtämisen voisi olettaa kehittyvän vahvemmaksi. Voi myös olla, että Testipisteen tulisi tarkastella kehittämiensä lopputestien sisältöjä ja taitotasoja uudelleen.

Analyysit

Tutkimuksessani analysoin rakenteellisen hahmottamisen testin tulosta suhteessa päättöarvioinnissa saavutettuihin taitotasoihin. Tarkastelin aineistoa kolmella tapaa.

Ensin tutkin tulosten välistä korrelaatiota. Se osoittautui kielitaidon osa-alueesta riippuen heikoksi tai korkeintaan kohtalaiseksi; kaikki tulokset ovat kuitenkin tilastollisesti merkitseviä. Ennakoidusti vahvin korrelaatio oli hahmottamisen testin ja luetun ymmärtämisen taidon välillä. Tulosta voi pitää odotettavana, onhan hahmottamisen testin yksi tavoite selvittää teknistä lukutaitoa. Parhaiten latinalaisella kirjaimistolla lukevat lähtevät etumatkalta, kun taas heikommin lukevilta kuluu todennäköisesti koko koulutuksen ajan osa energiasta itse lukemisprosessiin ja dekoodaukseen sisällön ymmärtämisen sijasta. Vastaavasti heikoin yhteys on suullisten taitojen ja rakenteellisen hahmottamisen testin välillä. Näitä taitoja onkin helpompaa kehittää ilman vahvaa lukutaitoa. On myös mahdollista, että hitaammin etenevien oppijoiden koulutuksessa painotetaan suullista kielitaitoa, koska se kompensoi heikompia taitoja; toisaalta erityisesti nämä opiskelijat tarvitsisivat tukea yhteiskunnassa ja etenkin jatko-opinnoissa tarvittavissa kirjallisissa taidoissa.

Toiseksi tutkin variansseja One-way ANOVA –testillä. Selvin yhteys on tässäkin hahmottamisen ja luetun ymmärtämisen välillä. Ryhmät, joiden testitulos oli heikko hahmottamisessa, saavuttivat myös heikot tulokset luetun ymmärtämisessä. Samoin taitavimmat ryhmät ylsivät parhaisiin tuloksiin. Myös kirjoittamisen kohdalla yhteys on vahva, puhumisessakin havaittavissa. Kaikki tulokset ovat tilastollisesti merkitseviä.

Viimeiseksi käytin X2-testiä (khii toiseen). Tulokset noudattelevat edellä selostettujen analyysien tuloksia.

Vaikuttaisi siis siltä, että lähtötason arvioinnissa heikot pisteet rakenteellisen hahmottamisen testistä saavat asiakkaat saavuttavat myös muita heikompia tuloksia kotoutumiskoulutuksessa. Toisin sanoen he tarvitsevat enemmän tukea oppimiseen: pidempää koulutusta, rauhallisempaa etenemistä ja erilaista pedagogiikkaa. Lisäksi voisi olla hyödyllistä pohtia hitaan koulutuspolun oppisisältöjä ja painotuksia: mikä olisi tarkoituksenmukaisin tapa painottaa kielen eri osa-alueita?

Yksi testi on kuitenkin vain yksi testi ja tieto monen muun seassa. Niinpä tutkin samoilla välineillä päättöarvioinnin tulosten yhteyttä myös muihin lähtötason arvioinnissa selvitettäviin seikkoihin: niin testituloksiin kuin taustatietoihin. Kuten odottaa saattaa, monilla muillakin seikoilla on samansuuntainen yhteys saavutettavaan kielitaitoon. Tulokset eivät tule kokeneelle S2-opettajalle yllätyksenä: Iäkkäiden opiskelijoiden tulokset jäävät muita vaatimattomammiksi. Koulutustaustalla on selvä yhteys luetun ymmärtämisen taitoon; kirjoittamisessa ja kuuntelussa analyysitulokset vaihtelevat; puheen kehittymiseen kouluhistorialla ei näytä olevan vaikutusta. Myös hyvä tekninen lukutaito edesauttaa etenkin kirjallisten taitojen oppimista. Kokemus kielten opiskelusta tukee suomen oppimista, ja opiskelijan kyky käyttää vieraita kieliä ennustaa suomen taitoa. Koulutuspolullakin näyttää olevan vaikutusta; osaksi syynä on luonnollisestikin se, että eri poluille ohjataan taidoissaan erilaisia opiskelijoita, mutta voiko syynä olla myös se, että polkujen painotukset ja sisällöt poikkeavat toisistaan?  ? Sukupuolen yhteydestä on vaikea sanoa mitään varmaa. Maassaoloaika ei näytä vaikuttavan tuloksiin.

Ei mitään uutta auringon alla, sanoo joku. Eipä. Testipiste voi kuitenkin jatkossakin käyttää turvallisin mielen kehittämäänsä testiä ja hyödyntää siitä saatavaa tietoa ohjauspäätöksiä tehdessään. Se on hyvä se.

Elina Stordell



Outoja tuloksia ja tärkeitä kysymyksiä

2017-02-23

Keskimäärin 3600 koulutussuositusta vuodessa, 360 kuukaudessa, 90 viikossa, 30 päivässä. Suurin osa niistä menee nappiin. Testiin osallistuja pääsee sopivalle, usein itse toivomalleen kurssille, aloittaa opiskelun ja oppii. Kielitaitoarvio ja koulutussuositus ovat kaikkien osapuolten mielestä osuvia. Näistä tapauksista emme yleensä kuule jälkeenpäin.

Aina tulos ei kuitenkaan tunnu oikealta. Sekä testiin osallistunut asiakas että asiakkaan testiin lähettänyt virkailija saattavat hämmentyä tai yllättyä. Silloin tällöin myös opettajat ihmettelevät Testipisteen suosituksia.

Niinpä meiltä kysytään: Mitä, miksi ja voiko tämä olla mahdollista? Onko tapahtunut virhe ja voiko asian korjata? Miten? Ja me vastaamme. Teemme sen mielellämme ja mahdollisimman perusteellisesti. Tutkimme tapauksen, pyydämme toisen asiantuntijan arvion, korjaamme mahdollisen virheen tai selitämme ratkaisumme. Tarjoamme aina myös mahdollisuuden testin uusimiseen ja uuteen arvioon. Tärkeintähän on se, että kielenoppija pääsee kaikkein sopivimpaan koulutukseen.

Tällä hetkellä suurin osa tarkistuspyynnöistä koskee lukutaito-kurssien suosituksia. Kaikkein useimmin viimeisen vuoden aikana on kysytty luku semi -kursseille ohjaamisen perusteita, mikä ei ole lainkaan yllättävää. Onhan kurssi uusi tulokas koulutuskartalla ja äkkiseltään kuulostaa varsin omituiselta, että akateemisen loppututkinnon suorittanut henkilö, joka kaiken lisäksi puhuu useaa eri kieltä, ohjataan lukutaidon kurssille. Siis harjoittelemaan lukemista!

Olemme kuitenkin ohjanneet lukutaidon kurssille kielenopettajia ja korkeakoulututkinnon suorittaneita virkamiehiä. Meillä on siihen perusteemme ja tarkat kriteerit, joita noudatamme. Useimmiten syynä semi-kurssille ohjaamiseen on se, että lukeminen latinalaisilla aakkosilla on vaivalloista, työlästä ja hidasta ja vie kohtuuttoman paljon energiaa. Tämä johtuu yksinkertaisesti siitä, ettei henkilö ole tottunut lukemaan tekstejä latinalaisilla aakkosilla vaan oman äidinkielensä merkistöä käyttäen. Tällöin katsomme, että tuleva suomen oppija, mahdollisesti tutkinto-opiskelija tai alansa ammattilainen, hyötyisi merkittävästi lukutaidon harjaannuttamisesta ja sujuvoittamisesta ennen kieliopintojen aloittamista.

Luku-suositusten lisäksi kysytään säännöllisesti myös lähtötasoista. Tyypillisintä on, että aloitustasoa epäillään liian korkeaksi ja taustalla painaa huoli, että kurssi on liian vaikea. Tämän tyyppisiä palautteita tulee testiin osallistuneiden lisäksi myös TE-toimiston virkailijoilta ja opettajilta. Käsitys taitotasoista ja oletus vaikkapa A2-tasoisen kurssin vaatimuksista saattaa vaikuttaa myös siihen, että lähtötaso hirvittää. Erityisesti oppijat itse pitävät usein taitoaan paljon vähäisempänä kuin arvioija. Hyvien perusteluiden nojalla taivumme toki tekemään muutoksia suosituksiin, vaikka kielitaito vaikuttaisi testien perusteella riittävältä kurssille osallistumiseen.

Ajoittain myös koulutustyyppiä pidetään vääränä. Nämä palautteet tulevat lähes ainoastaan opettajilta. Yleisin tapaus on se, että opettaja pitää hitaasti etenevää koulutusta sopivana vaihtoehtona Testipisteen suositteleman peruskurssin sijaan. Kantamme on pääsääntöisesti se, että opettaja on aina oikeassa. Opettaja näkee kaikkein parhaiten, miten oppija oppii ja kehittyy ja selviytyy kurssin arjessa – ja mikä on hänelle parhaaksi. Testipisteessä voimme vain ennustaa oppijan pedagogisia tarpeita testitulosten ja taustatietojen pohjalta. Toisinaan testitulokset ja taustatiedot ovat ristiriitaisia: Esimerkiksi osa testituloksista viittaa hitaaseen koulutukseen, taustatiedot taas pääosin perusnopeudella etenevään koulutukseen. Ristiriitatilanteissa painotamme yleensä oppijan omia toiveita sekä ohjaamme ensisijaisesti peruskurssille. Tämä periaate selittää sen, että väärään paikkaan sijoittuneista suurin osa on ohjattu hitaan kurssin sijaan peruskurssille.

Joskus (onneksi kuitenkin hyvin harvoin) on käynyt myös niin, että suositus tai tulos on ollut virheellinen tai puutteellinen inhimillisen erehdyksen vuoksi. On käynyt esimerkiksi niin, että kielitaito on jäänyt arvioijalta huomaamatta, kun asiakas on vaatimattomasti ilmoittanut, ettei osaa lainkaan suomea. Virheellisen tuloksen takana on myös erään kerran ollut väärä klikkaus koulutustyyppivalikossa. Näiden tapausten jälkeen emme voi muuta kuin pahoitella virhettämme. Tietysti pyrimme myös tarkentamaan työskentelyämme entisestään, jotta välttyisimme tällaiselta kokonaan.

Otamme lämpimästi vastaan kaikki kysymykset ja palautteet koulutukseen ohjaamisesta, suosituksista ja kielitaitoarvioista. Näin saamme tärkeää tietoa, jonka avulla voimme kehittää toimintaamme eteenpäin. Niinpä kysymme säännöllisesti palautetta kaikilta osapuolilta: testiin osallistuneilta, opettajilta ja TE-toimistojen henkilökunnalta. Kertokaa, kysykää, neuvokaa!

Henna Vikman


B1- ja B2-tasojen lopputesti käyttöön

2016-12-19
Kiitos noin 80 osallistujalle, jotka olivat mukana uuden B-tasojen lopputestin käyttöönottokoulutuksessa 9.12.2016 paikan päällä sekä verkossa!