Scratch & Computer Vision: AI Handgebaren-Controller & Neurale Netwerken
Train een beeldherkenningsmodel op je eigen handgebaren in Google Teachable Machine en gebruik het via de gratis Scratch-extensie TM2Scratch om een spel zonder toetsenbord te besturen.
- Groep:
- groep 6, groep 7, groep 8
- Tijdsduur:
- 75 minuten
- Niveau:
- gemiddeld
- Groepsvorm:
- groepjes
Wat heb je nodig?
- Laptops of Chromebooks met werkende webcams
- Toegang tot teachablemachine.withgoogle.com en Scratch (of TM2Scratch)
- Goede gelijkmatige verlichting in het lokaal
- Computer / Laptop met webcam en internet
Wat leer je?
- De basisconcepten van Kunstmatige Intelligentie, Machine Learning en Computer Vision begrijpen
- Een neuraal netwerk trainen, evalueren en verfijnen met kwalitatieve beelddata
- Kritisch reflecteren op trainingsdata, betrouwbaarheidsscores en mogelijke vooroordelen (bias) in AI
- Een extern getraind AI-model integreren in een interactieve Scratch programmeeromgeving
- Ontdekken dat hetzelfde model ook geluid/spraak kan herkennen in plaats van alleen beelden, en wat dat betekent voor het ontwerp van interactieve toepassingen
⚠️ Let op — Veiligheid
Bespreek privacy: de beelden van Teachable Machine blijven lokaal in de browser en worden niet opgeslagen op externe servers.
Stappenplan
Hoe herkent een computer wat jij met je hand doet, zonder dat iemand alle regels heeft geprogrammeerd? Met TM2Scratch, een gratis open-source Scratch-extensie van ontwikkelaar Junya Ishihara (champierre), kun je een beeldherkenningsmodel dat je zelf hebt getraind in Google Teachable Machine rechtstreeks in Scratch gebruiken om een spel te besturen — bijvoorbeeld met handgebaren voor de webcam. Naast beeldherkenning ondersteunt TM2Scratch ook geluidsherkenning: je kunt een spel dus net zo goed met geluiden of stemcommando's besturen.
- 1
Stap 1
EEN BEELDMODEL TRAINEN IN TEACHABLE MACHINE Open teachablemachine.withgoogle.com en start een 'Image Project'. Maak een paar klassen aan (bijvoorbeeld 'Vuist', 'Open hand' en 'Niks') en neem per klasse met de webcam tientallen foto's op, steeds vanuit iets andere hoeken.
- 2
Stap 2
HET MODEL TRAINEN EN EXPORTEREN Klik op 'Train Model' en test de herkenning live in de preview. Klik daarna op 'Export Model' en kies de optie om het model te uploaden, zodat je een deelbare link krijgt.
- 3
Stap 3
TM2SCRATCH TOEVOEGEN IN SCRATCH Open in Chrome de Scratch 3-editor Stretch3 (stretch3.github.io), die extra extensies ondersteunt. Klik op 'Extensie toevoegen' en kies TM2Scratch.
- 4
Stap 4
HET MODEL KOPPELEN Plak de gedeelde modellink uit stap 2 in het blok voor het laden van een beeldclassificatiemodel. Gebruik daarna een blok als 'als beeldlabel [...] ontvangen' om acties van je sprite te programmeren, bijvoorbeeld springen bij het label 'Vuist'.
- 5
Stap 5
TESTEN EN VERFIJNEN Speel je spel puur met handgebaren voor de webcam. Werkt de herkenning niet zeker genoeg, dan kun je in TM2Scratch de 'confidence threshold' (standaard 0,5) aanpassen, of extra trainingsfoto's toevoegen in Teachable Machine.
- 6
Stap 6
GEAVANCEERDE INSTELLINGEN VERKENNEN TM2Scratch heeft ook geavanceerde blokken: je kunt instellen hoe vaak per seconde er herkend wordt (het 'classificatie-interval'), tussen meerdere camera's wisselen, het camerabeeld spiegelen of uitzetten, en de herkenningsscore van één specifiek label direct als getal opvragen om er bijvoorbeeld een balkje mee te tekenen. Werkt Teachable Machine niet goed op een iPad? Dan is 'Generation AI' een gratis alternatief dat wél op iPad werkt en alle verwerking lokaal op het apparaat uitvoert (privacyvriendelijk).
Voorbeelden
