Projectbeschrijving

Achtergrond

De ideeën voor een systeem dat op grote schaal op scholen gebruikt zou kunnen worden voor de aanpak van motivatieproblemen bestaat al lang. Er is in 2007 een eerste proef gedaan door Jacomien de Leeuw (Oud-directrice van Studiecentrum Instituut de Leeuw en Quinta Kruijt (Psycholoog en ZKM-consultant). In 2010 pakten Jacomien de Leeuw en Heinerich Kaegi (Docent wis en natuurkunde, leerlingbegeleider en ZKM-consultant) deze draad weer op in twee pilots die uitgevoerd werden met leerlingen van het HLZ te Amsterdam. De evaluatie van deze pilots leidde tot veel verbeteringen en nieuwe ideeën. In de pilots die wij uitvoerden i.s.m. het Luzac konden we alle onderdelen zoals we die in gedachte hadden als geheel testen (twee jaar). Dit bracht ons duidelijk dichter bij het uiteindelijke doel: een compleet, goed werkend systeem, dat scholen kan helpen in de opsporing en begeleiding van leerlingen met motivatieproblemen. We hebben inmiddels alle onderdelen volledig werkend en zijn voortdurend bezig uitbreidingen en verbeteringen aan te brengen. Dit doel konden wij alleen bereiken door voortdurend contact met scholen en begeleiders. We zijn iedereen die ons geholpen heeft vanuit het onderwijs dan ook heel hartelijk bedanken. Scholen en instituten die ons willen helpen verder te ontwikkelen en daar ideeën over hebben zijn altijd welkom. 

Onderzoek en pilots

We hebben in de afgelopen jaren verschillende pilots opgezet en uitgewerkt:

Pilot 1
In 2007 hebben Jacomien de Leeuw en Quinta Kruijt een eerste test gedaan met een groepsafname van een vragenlijst over motivatie. De zinnen hieruit werden per leerling gebruikt voor ZKM-Motivatieonderzoeken. Duidelijk werd dat een gestandariseerde, klassikale afname in principe mogelijk is. (Pilot 1)

Pilot 2
In 2009 hebben we een uitgebreide en geautomatiseerde versie getest met een klas van het Hervormd Lyceum Zuid te Amsterdam. We hebben uiteindelijk tien complete trajecten uitgevoerd. Het doel van deze pilot was te onderzoeken of online ingevoerde waardegebieden op basis van een gestandariseerde ontlokkerlijst voldoende bruikbaar materiaal zou kunnen leveren voor het doen van een ZKM-Motivatieonderzoek. De resultaten van deze pilot waren positief. De aanpak werkte naar tevredenheid maar was in die vorm te bewerkelijk. (Pilot 2)

Pilot 3
Op basis van deze pilot hebben we een derde pilot opgezet, waarbij we gebruik maakten van een collectie aangeboden waardegebieden waaruit de leerling kon kiezen en daaraan gekoppelde screeningsschalen. Het systeem  hebben we bij Instituut de Leeuw getest bij ca. 25 leerlingen in een database op basis van MS Access. Deze pilot leverde een groot aantal nieuwe inzichten over de opbouw van de vragenlijst, de te gebruiken screeningsschalen, de opzet van de software en het begrijpelijk maken van het materiaal in het zelf-onderzoek met de leerling. We ontwikkelden hieruit de huidige interactieve vragenlijst (Pilot 3).

Pilot 4
Tegelijk met pilot 3 startten we in de periode december 2012 t/m februari 2013 een vierde pilot in samenwerking met het Luzac College te Amsterdam. We testten de complete trajecten bij 12 leerlingen van havo en vwo eindexamengroepen. Er werden een groot aantal onderzoekspunten onder de loep genomen. De resultaten lieten zien dat de vragenlijst goed werkte, zowel voor de screening (die we voor het eerst hadden genormeerd) als voor de vervolgtrajecten met gevoelslijsten. Naar aanleiding van deze pilot hebben we de screeningsschalen licht aangepast, naamgeving van de schalen veranderd. Verder hebben we de gevoelslijst gereduceerd naar 16 gevoelens en een vereenvoudigde weergave van de data toegepast (weglaten P-gevoelens). (Pilot 4)

Pilot 5
Op basis van deze pilots werd een samenwerking aangegaan met het softwarebedrijf XPSlogic en ontwierpen we de eerste versie van een internetapplicatie, die dezelfde functionaliteiten moest hebben als onze eigen MS Access database.

In mei/juni 2013 hebben we ongeveer 50 leerlingen van een school in Amsterdam de screening met het nieuwe systeem laten doen. Helaas was het niet mogelijk ook het vervolgtraject en de terugkoppeling via het mentoraat uit te voeren. Daarbij werd duidelijk dat een groepsafname tot problemen leidt vanwege sterk verschillende invoertijden.

Ook hebben we een vergelijking kunnen maken van de screening met de PMTk die we tegelijk met het MZO hebben afgenomen. De vergelijking van onze motivatie en faalangstmeting met de P en F- schaal van de PMTk toonde aan dat onze schalen vergelijkbare resultaten leveren en aan de hand van de PMTk gevalideerd kunnen worden.

De data leverden bovendien een aantal interessante nieuwe inzichten op over de manier waarop factoren die met motivatie te maken hebben veranderen met de leeftijd en het schoolniveau. Tegelijkertijd startten we met de implementatie van MZO2 in de internetapplicatie. Dat bleek een lastige en langdradige klus te zijn, maar inmiddels werkt alles naar behoren (Pilot 5).

Evaluatie leerlingscreening
Vanaf ca. 1 december 2013 zijn de eerste inlogcodes voor gebruikers op het online systeem uitgegeven en hebben we trainingen aangeboden. Er is cursusmateriaal ontwikkeld en handleidingen geschreven en we zetten een website op ter ondersteuning. In 2014 en 2015 heeft er een uitgebreide evaluatie plaatsgevonden (evaluatieaccounts, zie rapportage op de website) >>>

Definitieve leerlingversie en implementatietrajecten
De MZO-screening is inmiddels een behoorlijk compleet product geworden. In 2017 hebben we een aantal ingrijpende professionaliseringen doorgevoerd, zoals gebruiksvriendelijkheid van de inlog, de vragenlijst (aanpassingen aan mobiel gebruik) en we hebben nieuwe rapportages toegevoegd. In 2018 zullen we verdere implementatietrajecten ontwikkelen i.s.m. verschillende scholen. Dit betreft voornamelijk de afname- en de privacyprocedures die passen bij de scholen. Ook staan er een aantal nieuwe ideeën op de planning die in de loop van het jaar getest zullen worden. Zie ons overzicht "vernieuwingen herfst 2017" en de nieuwsbrief >>>

Studentenscreening

In 2013 startten we met het MZO voor studenten. Daarvoor gebruikten wij velerlei rapporten over studie-uitval bij studenten in het eerste jaar en ontwikkelden een geheel eigen screening. Ook lieten we ons inspireren door ZKM's die we in de loop van voorgaande jaren hadden uitgevoerd met studenten die vastliepen. Twee stagiaires van de opleiding Toegepaste Psychologie van de HVA ondersteunden deze ontwikkeling zeer intensief, zowel bij het samenstellen van de vragenlijst, als ook bij het testen ervan in de praktijk en de verdere analyse van data. De eerste versie is in het studiejaar 2014-2015 getest i.s.m. de genoemde opleiding. Na enige aanpassingen werd de vragenlijst verder gereed gemaakt voor definitief gebruik. Statistische evaluatie heeft laten zien dat de studentenscreening goed correleert met de behaalde studiepunten in het eerste en tweede jaar van de studie.

Op dit moment wordt deze studentenscreening in Amsterdam door een groep SLB'ers autonoom ingezet. We zullen in 2017 verder onderzoeken hoe deze begeleiders het MZO hebben gebruikt en hoe zij het inzetten. Ook zal nader gekeken worden op welke wijze het MZO bij HBO's het best geimplementeerd kan worden.

Er is een eerste versie ontwikkeld van het MZO2 voor studenten. We zullen in de loop van 2017 daar verder mee experimenteren. Ook zullen de data van onze ervaringen met de HVA nader uitgewerkt worden in een rapport.