“Voor vwo moeten er natuurlijk meer T2-vragen in de toets.”
Het is zo’n uitspraak die ik vaak hoor op scholen. Een toets voor een ‘hoger’ niveau moet moeilijker zijn. Een RTTI score als T2 (‘kennis moet toepassen in een nieuwe, onbekende situatie’) wordt gezien als moeilijker dan T1 (‘Oefenstof toepassen volgens een bekende procedure’). Net zoals ‘analyseren’ als moeilijker wordt beschouwd dan ‘reproduceren’. Dus als we het niveau van een toets willen verhogen, voegen we meer T2-vragen toe.
Die redenering is niet zo vreemd. Pak een havo- en vwo-examen erbij en je zult zien dat bij vwo vaker een beroep wordt gedaan op toepassen en analyseren. Vanuit dat perspectief lijkt de stap naar meer T2 voor vwo heel begrijpelijk.
Vanuit diezelfde gedachte worden scores ook vaak vertaald naar een uitspraak over niveau: veel T2- of I-vragen goed maken, zou betekenen dat je een potentiële vwo-leerling bent.
Maar in dit alles zit een probleem. In deze blog leg ik uit waarom.
De ene T2 is de andere niet
Neem twee vragen die volgens RTTI allebei onder T2 vallen. In beide gevallen moet de leerling eerder geleerde kennis zelfstandig toepassen in een nieuwe situatie. Maar bij de eerste ligt die nieuwe situatie dicht bij wat eerder is geoefend, is de hoeveelheid informatie beperkt en is relatief gemakkelijk te herkennen welke kennis bruikbaar is. Bij de tweede is de context minder vertrouwd, moet de leerling relevante informatie selecteren, verschillende kenniscomponenten combineren en zelf een passende aanpak bepalen.
Twee keer T2.
Maar zijn het ook twee even complexe vragen?
Waarschijnlijk niet.
En precies daar wordt het interessant. Want als beide vragen binnen dezelfde RTTI-categorie vallen, kan die categorie blijkbaar niet zelfstandig verklaren waarom de ene vraag complexer is dan de andere.
Hetzelfde vakje, een andere vraag
Een voorbeeld uit de praktijk. In figuur 1 zie je twee toetsvragen die allebei als T-vraag zijn geclassificeerd. Bij de eerste krijgt de leerling vier mogelijke verklaringen voor het opsplitsen van het Romeinse Rijk en hoeft hij de juiste verklaring te selecteren. Bij de tweede moet de leerling zelf uitleggen waarom de bekering van Constantijn tot het christendom bijzonder was én wat daardoor veranderde.
Hetzelfde label, maar een andere cognitieve opgave. De tweede vraag geeft minder weg en vraagt meer zelfstandigheid en redeneerwerk. Binnen één categorie van een taxonomie kunnen dus flinke verschillen in complexiteit bestaan. Twee vragen kunnen in hetzelfde vakje terechtkomen, terwijl ze cognitief iets anders van een leerling vragen.
Figuur 1
Twee toetsvragen uit een bestaande lesmethode voor Mens & Maatschappij.
Een ‘hogere’ categorie is niet automatisch complexer
Een tweede voorbeeld laat zien dat een ‘hogere’ categorie niet automatisch complexer is. Zie figuur 2. Vraag 1 valt bij Bloom onder onthouden en vraagt de leerling zelfstandig vier oorzaken voor de ondergang van het West-Romeinse Rijk uit het geheugen op te halen. Inhoudelijk wordt vrijwel niets aangereikt.
Vraag 2 valt onder analyseren, maar biedt juist behoorlijk wat ondersteuning. De drie maatregelen zijn al gegeven; de leerling moet ze vergelijken en het gemeenschappelijke doel herkennen. De zoekruimte is daardoor veel kleiner. De kans is groot dat de leerling vraag 1 moeilijker zal vinden.
Figuur 2
Twee vragen over het Romeinse Rijk, geclassificeerd volgens Bloom.
De categorie wordt het niveau
De voorbeelden laten volgens mij een risico zien wanneer we taxonomieën als RTTI gebruiken voor het ontwerpen van toetsen. Een hulpmiddel om vragen te classificeren verandert ongemerkt in een maat voor niveau.
R wordt makkelijk. T1 wordt iets moeilijker. T2 wordt moeilijk. En I is voor de echt sterke leerling.
Vervolgens ligt de conclusie voor de hand: een vwo-toets moet meer vragen uit de ‘hogere’ categorieën bevatten dan een havotoets. Maar stel dan eens deze vraag: als dit een T2-vraag is, waarom is het dan volgens jullie een vwo-vraag?
Het antwoord kan niet simpelweg zijn: omdat het T2 is. Daarmee draaien we in een cirkel. We moeten kunnen aanwijzen wat er aan de taak maakt dat er meer van een leerling wordt gevraagd.
Aan veel meer knoppen valt te draaien
Een T2-vraag kan relatief eenvoudig zijn. Een andere T2-vraag kan een veel groter beroep doen op een leerling. De RTTI-code kan ondertussen hetzelfde blijven.
Dat betekent niet dat RTTI, OBIT of Bloom waardeloos is. Het betekent dat we er niet méér uit moeten proberen af te leiden dan erin zit.
Een taxonomie kan helpen om onderscheid te maken tussen soorten taken. Maar voor een uitspraak over het niveau van een taak hebben we meer informatie nodig.
Ik gebruik daarvoor steeds vaker het beeld van een toetsvragenmengpaneel.
Een toetsvraag heeft niet één knop met daarop ‘moeilijkheid’. Er zijn verschillende schuifjes waaraan je kunt draaien. Je kunt ondersteuning verminderen. De transferafstand vergroten. De context minder vertrouwd maken. Meer zelfstandigheid vragen. Of meerdere kenniscomponenten laten combineren. Zie figuur 3 voor een voorbeeld voor het vak geschiedenis, waarbij Bloom als basis wordt gebruikt.
Figuur 3
Een voorbeeld van een toetsvragenmengpaneel: éérst de taxonomie, daarna een of meerdere andere schuifjes.
Eenvoudigweg zeggen ‘er moet meer T2 in de toets’ is dus geen goed idee. Beter is om je af te vragen aan welke knoppen je moet draaien om het leerlinggedrag uit te lokken dat bij deze leerdoelen en dit niveau past.
Begin niet bij de letter, maar bij het bewijs
Dat verandert ook het gesprek tussen docenten. Stel dat we willen kunnen concluderen dat een leerling een bepaald concept niet alleen begrijpt in de geoefende situatie, maar ook zelfstandig kan toepassen in een nieuwe situatie.
Dan moeten we eerst bepalen welk bewijs we daarvoor van een leerling nodig hebben. Welk gedrag moet die leerling laten zien? Welke taak kan dat gedrag uitlokken? En hoe moet die taak worden ontworpen om werkelijk onderscheid te maken tussen leerlingen die dit wel en nog niet beheersen?
Pas daarna is het interessant om te kijken hoe zo’n vraag binnen RTTI geclassificeerd kan worden. De volgorde wordt dus:
leerdoel → gewenst leerlinggedrag → benodigd bewijs → taakontwerp → conclusie
In plaats van: we hebben nog een T2-vraag nodig.
Dit verandert de functie van een taxonomie behoorlijk. De categorie is niet langer het vertrekpunt van het ontwerp, maar hooguit één van de manieren waarop we achteraf kunnen beschrijven wat voor soort vraag we hebben gemaakt.
Conclusie
Staar je daarom niet blind op een code. Een vaste verhouding tussen R, T1, T2 en I voelt als een snelle en veilige oplossing voor het ontwerpen van toetsen op verschillende niveaus. Maar zo’n verdeling zegt nog onvoldoende over wat leerlingen daadwerkelijk moeten laten zien.
Ook biedt zo’n verdeling onvoldoende basis voor zwaarwegende beslissingen over leerlingen. Wees daar dus voorzichtig mee.