Train een beeldherkenningsmodel op je eigen handgebaren in Google Teachable Machine en gebruik het via de gratis Scratch-extensie TM2Scratch om een spel zonder toetsenbord te besturen.
Stappenplan, materiaallijst en leerdoelen, altijd bijgewerkt vanaf deze opdrachtpagina.
Hoe herkent een computer wat jij met je hand doet, zonder dat iemand alle regels heeft geprogrammeerd? Met TM2Scratch, een gratis open-source Scratch-extensie van ontwikkelaar Junya Ishihara (champierre), kun je een beeldherkenningsmodel dat je zelf hebt getraind in Google Teachable Machine rechtstreeks in Scratch gebruiken om een spel te besturen — bijvoorbeeld met handgebaren voor de webcam. Naast beeldherkenning ondersteunt TM2Scratch ook geluidsherkenning: je kunt een spel dus net zo goed met geluiden of stemcommando's besturen.
EEN BEELDMODEL TRAINEN IN TEACHABLE MACHINE Open teachablemachine.withgoogle.com en start een 'Image Project'. Maak een paar klassen aan (bijvoorbeeld 'Vuist', 'Open hand' en 'Niks') en neem per klasse met de webcam tientallen foto's op, steeds vanuit iets andere hoeken.
HET MODEL TRAINEN EN EXPORTEREN Klik op 'Train Model' en test de herkenning live in de preview. Klik daarna op 'Export Model' en kies de optie om het model te uploaden, zodat je een deelbare link krijgt.
TM2SCRATCH TOEVOEGEN IN SCRATCH Open in Chrome de Scratch 3-editor Stretch3 (stretch3.github.io), die extra extensies ondersteunt. Klik op 'Extensie toevoegen' en kies TM2Scratch.
HET MODEL KOPPELEN Plak de gedeelde modellink uit stap 2 in het blok voor het laden van een beeldclassificatiemodel. Gebruik daarna een blok als 'als beeldlabel [...] ontvangen' om acties van je sprite te programmeren, bijvoorbeeld springen bij het label 'Vuist'.
TESTEN EN VERFIJNEN Speel je spel puur met handgebaren voor de webcam. Werkt de herkenning niet zeker genoeg, dan kun je in TM2Scratch de 'confidence threshold' (standaard 0,5) aanpassen, of extra trainingsfoto's toevoegen in Teachable Machine.
GEAVANCEERDE INSTELLINGEN VERKENNEN TM2Scratch heeft ook geavanceerde blokken: je kunt instellen hoe vaak per seconde er herkend wordt (het 'classificatie-interval'), tussen meerdere camera's wisselen, het camerabeeld spiegelen of uitzetten, en de herkenningsscore van één specifiek label direct als getal opvragen om er bijvoorbeeld een balkje mee te tekenen. Werkt Teachable Machine niet goed op een iPad? Dan is 'Generation AI' een gratis alternatief dat wél op iPad werkt en alle verwerking lokaal op het apparaat uitvoert (privacyvriendelijk).
Foto's van gemaakte werkstukken, tussenstappen en inspirerende variaties, aangeleverd door de bron van deze opdracht:
EindresultaatVoorbeeldMet deze maakopdracht werken leerlingen aan de volgende SLO kerndoelen en vaardigheden:
Controleer vooraf of de webcams niet geblokkeerd worden door school-firewalls en of Teachable Machine vlot opent.
Laat zien hoe de webcam je hand herkent als een vogel die over het scherm vliegt: 'Hoe weet een computer dat dit een hand is zonder dat iemand heeft geprogrammeerd waar de 5 vingers zitten?'
Bespreek privacy: de beelden van Teachable Machine blijven lokaal in de browser en worden niet opgeslagen op externe servers.
Te weinig variatie in de trainingsdata (bijv. hand alleen op 10 cm afstand gehouden). Beweeg de hand tijdens het opnemen van data dichterbij en verderaf.
Extra uitdaging: Train een model dat geluiden (bijv. klappen, fluiten, roepen) herkent in plaats van beelden. Ondersteuning: Bied een kant-en-klaar Scratch spel aan waarin alleen de besturingsblokken nog gekoppeld hoeven te worden.
Geverifieerde leerkrachten of gasten (na goedkeuring) — echte ervaringen
Niet ingelogd?
Log in met je schoolmailadres, of ga verder zonder account — dat wordt dan wel eerst door een beheerder bekeken voordat het zichtbaar wordt.
Reviews laden…
Zet een zelfgetekende afbeelding om in een code van enen en nullen en ontcijfer het satellietbericht van een klasgenoot.
Bouw twee kartonnen drukknoppen met aluminiumfolie en programmeer op de micro:bit een reactiespel voor twee spelers, met een willekeurige startvertraging zodat niemand vals kan starten.
Programmeer twee micro:bits zodat ze via draadloze radiogolven een berichtje naar elkaar 'teleporteren' en leer hoe apparaten zonder kabels met elkaar praten.