- © Foto: Tangible Play / Osmo -
DAUN, 06.07.2020 - 14:33 Uhr
Auto & Technik

Magisches Lernen mit Künstlicher Intelligenz

Ganz Deutschland sucht nach sinnvollen Konzepten für digitales Lernen: im Schulkontext und zuhause. Einen innovativen Ansatz bietet das amerikanische Unternehmen Tangible Play. Basierend auf Künstlicher Intelligenz verbindet sein Produkt Osmo fesselnde digitale Lernspielwelten mit haptischen Aktivitäten vor dem Bildschirm. Spielsteine und Bewegungen des Kindes erwachen auf dem Tablet zum Leben. Was hinter der fortschrittlichen Technologie steckt und wie spielerisches Lernen mit Osmo funktioniert, verraten Jérôme Scholler, einer der Gründer, und Dr. Heidy Maldonado, Data Scientist bei Tangible Play.

Herr Scholler, Sie sind einer der Erfinder von Osmo. Was hat einen Ex-Googler wie Sie dazu bewogen, Augmented-Reality-Lernspiele für Kinder zu entwickeln?

Scholler: Bevor ich bei Google arbeitete, war ich in der Gaming-Branche tätig. Meine Aufgabe war es, die Grafik realistischer zu gestalten, damit sich die Spieler als Teil der Spielwelt fühlen. Eines Tages zeigte mir Pramod, der andere Mitbegründer von Osmo, einen faszinierenden Prototyp, an dem er gerade bastelte: Er verwendete Objekte auf dem Tisch als Input für ein iPad, das auf Armeslänge platziert wurde. Dabei bezog er den gesamten Bereich zwischen dem Spieler und dem Bildschirm in die Erfahrung mit ein. Das hat mich überzeugt: Wir können immersive Spielerlebnisse schaffen, die den Nutzer nicht innerhalb eines Bildschirms entfremden, sondern den Bildschirm wieder zu dem machen, was er ist: ein Objekt in unserer physischen Welt. Diese neue Beziehung zum Bildschirm ist gerade für Kinder viel gesünder. Zur selben Zeit überlegte ich, wie ich Technik meinen damals noch kleinen Zwillingen so nahebringen könnte, dass ich mich nicht schuldig fühlen würde. Das passte also perfekt.

Das Osmo-Erlebnis ist so magisch, dass die Leute oft nicht glauben, was sie in dem Marketing-Video sehen. Was ist das Geheimnis hinter Osmo?

Scholler: Wir haben eine Möglichkeit gefunden, Aktionen in der realen Welt nahtlos mit dem Feedback auf dem Bildschirm zu verbinden, und zwar auf eine Art und Weise, die die Menschen nicht erwarten: Dadurch entsteht ein Gefühl der Magie.

Das Geheimnis hinter Osmo ist jedoch eine Menge harter Arbeit. Die Magie kommt aus einer Mischung aus gut gestaltetem Spielerlebnis, gewissenhaft entworfener Spezialhardware und einer sehr ausgeklügelten Erkennungstechnik. Alles wird gleichzeitig entwickelt, um in perfekter Harmonie zusammenzuarbeiten.

Wie erreichen Sie, dass das iPad erkennt, was sich vor ihm befindet?

Scholler: Auf der Hardwareseite verwenden wir die eingebaute Frontkamera des iPad. Wenn wir den roten Osmo-Reflektor daraufsetzen, blickt die Kamera nach unten auf den Tisch. Nun da das Tablet sieht, was es vor sich hat, braucht es Software, mit der es versteht, was geschieht. Aus diesem Verständnis leiten wir Steuerungsbefehle ab, zum Beispiel das Legen eines Spielsteins (als Ersatz für Maus- oder Tastaturbefehle), um die Spielerlebnisse zu steuern.

Der Prozess von der Interpretation der Kamerabilder bis zum Verständnis ist sehr kompliziert. Er umfasst Algorithmen aus den Bereichen Bildverarbeitung und maschinelles Lernen. Damit die Aktionen vor dem Bildschirm sich nahtlos in die digitale Erfahrung integrieren, müssen sie genau und nahezu augenblicklich erkannt werden. Für ein besseres Erlebnis und maximale Privatsphäre geschieht all dies offline auf dem Gerät. In gewisser Weise haben wir dem iPad einen Sehsinn verliehen. Wir nennen diese Technik „reflektierende KI“.

Dr. Maldonado, als Data Scientist bei Osmo sind Sie für das Beta-Tester-Programm verantwortlich. Warum führen Sie diese Tests durch?

Maldonado: Osmo setzt darauf, Feedback in jeden Schritt des Prozesses einzubeziehen. Von den ersten Tagen der Firmengründung an wurden unsere Prototypen von Lehrern, Eltern und Kindern evaluiert. Ihr Feedback kontinuierlich einzubeziehen und die Spielmuster zu bewerten, ist der Schlüssel dazu, die besten Spielerlebnisse zu schaffen. Jeden Tag der Woche werden Kinder zum Spielen ins Büro eingeladen, und jedes Jahr nehmen Hunderte von Familien auf der ganzen Welt an Osmos Beta-Test-Programm teil.

Die reflektierende KI von Osmo ermöglicht es uns, Elemente zu erkennen, die sich vor dem Tablet befinden, unabhängig davon, ob es sich dabei um Spielsteine, Zeichnungen oder andere Objekte handelt. Unsere Algorithmen für das maschinelle Lernen werden anhand realistischer Nutzungssituationen trainiert, um Spielsteine zuverlässig unterscheiden zu können – das heißt durch die Analyse von Bildern der Spielsteine, die unter verschiedenen Lichtbedingungen und auf verschiedenen Oberflächen verwendet und von Kinderfingern unterschiedlicher Größe und Hautfarbe gehalten werden. Wenn Kinder beispielsweise die Spielsteine halten, bedecken ihre Hände aufgrund ihrer Feinmotorik und Handgröße Teile der Buchstaben und Zahlen anders als Erwachsene.

Sie verwenden die Tests also, um die KI zu trainieren, die für Osmos „Magie“ verantwortlich ist, d.h. das, was vor dem iPad passiert, in das Spiel zu integrieren. Können diese Tests auch verwendet werden, um die Lernerfahrung mit Osmo zu verbessern?

Maldonado: Ja, wir integrieren Erkenntnisse sowohl aus den Spielmustern der Beta-Tester als auch aus deren Feedback und passen unsere Anwendungen entsprechend an. Wir aggregieren individuelle digitale Spuren der Spieler zu Mustern der Techniknutzung. Diese Muster analysieren wir dann mit Hilfe von Statistiken, Techniken des maschinellen Lernens und Visualisierungen. Aus den Mustern leiten wir ab, welche Handlungen zu einem besseren Verständnis des Lernstoffs führen.

Zum Beispiel schauen wir uns Spieler an, die ein anspruchsvolles Tangram-Level ziemlich schnell beendet haben, und analysieren die Faktoren, die zu diesem Erfolg geführt haben. So stellen wir fest, ob einige der Hinweise besser als andere sind, um den Spielern die Prinzipien der raumbezogenen Manipulation zu vermitteln.

Basierend auf diesen Erkenntnissen gestalten wir dann die Apps neu, um zukünftigen Spielern eine verbesserte Spielerfahrung zu bieten. Wir führen diese Analysen und Tests ständig durch – vor der Veröffentlichung eines Produkts und danach, und aktualisieren die Spiele regelmäßig mit verbesserten Versionen.

Bei Osmo kaufen die Benutzer also ein Lernspiel, das sogar nach dem Kauf noch besser wird. Welche weiteren Vorteile bieten die „magischen“ Lernspielwelten von Osmo im Vergleich zu anderen Lernumgebungen?

Scholler: Wenn Kunden ein Osmo-Produkt kaufen, kaufen sie einerseits physische Teile und laden gleichzeitig digitale Erlebnisse herunter, die diese lebendig werden lassen. Das Schöne an Software ist, dass wir die Spielerlebnisse auf der Grundlage des Alters oder den Fähigkeiten anpassen können. In den meisten unserer Lernspiele bieten wir sorgfältig kuratierte Levels mit steigendem Schwierigkeitsgrad an, geben aber auf Wunsch auch Hilfestellungen. In einigen anderen motivieren wir den Benutzer, den Schwierigkeitsgrad zu erhöhen, wenn wir feststellen, dass die Kinder ein Konzept beherrschen.

Nehmen wir das Beispiel des Numbers-Spiels. Bei dieser Spielwelt lassen wir die Kinder die Zahlen selbst erforschen. Jede Kombination von Spielsteinen auf dem Tisch ist eine gültige Eingabe; das Spiel gibt ein aussagekräftiges, interpretierbares Feedback. Durch Ausprobieren und positive Verstärkung beginnt das Kind intuitiv, ein Verständnis für die Mengen hinter der symbolischen Darstellung von Zahlen zu bekommen.

Die Kinder lernen also Zusammenhänge zu erfassen durch freies Ausprobieren. Das klingt ein bisschen nach Montessori. Auf welchen pädagogischen Prinzipen basieren die Osmo-Spielwelten?

Maldonado: In der Tat integriert Osmo verschiedene Prinzipien der Montessori-Pädagogik. Die Osmo-Lernspiele beinhalten Spielmaterialien, die ein selbstbestimmtes Lernen ermöglichen. Indem wir den Tastsinn, die Gesten und Bewegungen des Kindes mit der Anpassungsfähigkeit des digitalen Mediums verbinden, bietet Osmo eine einzigartige Lernmöglichkeit. Wissenschaftliche Studien mit unterschiedlichen Kontexten und Lerninhalten haben gezeigt, dass diese Art der Interaktion einen positiven Einfluss auf den Lernerfolg hat.

Kinder können die Konzepte „begreifen“ und mit ihnen interagieren, indem sie ihre Hände in unseren Spielen einsetzen, und verbessern dabei ihre Fähigkeiten. Die Spiele sind anpassungsfähig und können mit dem Kind in seiner Entwicklung mitwachsen, ohne es zu über- oder unterfordern. Sie geben direktes Feedback und ermöglichen es, Zusammenhänge durch Ausprobieren zu verstehen, so dass die Kinder ihre Fehler selbstständig überprüfen können.

Dr. Maldonado, Sie haben einen Doktortitel in Learning Sciences und Technology Design von der Stanford University und haben auch Forschungsarbeiten über Ihre Arbeit bei Osmo veröffentlicht. Diese wissenschaftlichen Artikel konzentrieren sich auf ein weiteres Osmo-Produkt, das Little Genius Starter Kit, das in Deutschland noch nicht erhältlich ist. Welche Erkenntnisse aus Ihrer Arbeit lassen sich auf allgemeine Lernprozesse von Kindern übertragen?

Maldonado: Meine veröffentlichte Forschung über das Little Genius Starter Kit beschreibt unseren innovativen Prozess bei der Anpassung von Friedrich Fröbels Ansatz zum Lernen von Buchstaben an Osmos einzigartige reflektierender KI-Technik. Die Forschung begann damit, zu verstehen, wie Kinder am besten Buchstabenformen und Laute lernen, und die Prinzipien des von Fröbel begründeten Kindergartens einzubeziehen. Hier werden Kinder ermutigt, ihre Kreativität zu nutzen, um Muster und Kompositionen frei zu erforschen.

Wir bieten eine flexible Lernumgebung, die diese Kreativität zulässt und belohnt, während wir gleichzeitig das alphabetische Prinzip vermitteln. Die Kinder lernen engagiert, können ihr Tempo selbst bestimmen und zeigen ihren Familien und Lehrern deutliche Verbesserungen. Außerdem berichteten viele Familien, dass die Kinder auch ohne iPad mit den Osmo-Materialien spielten. Aus zwei Gründen war dies eine Schlüsselerkenntnis: Erstens führt es die Qualitäten des spielerischen Lernens vor Augen und gibt uns die Gewissheit, dass unser Beitrag zu gesundem Spielen wertvoll ist. Und zweitens ist es angesichts der für Kinder im Zielalter empfohlenen Einschränkungen der Bildschirmzeit sehr ermutigend, dass die Kinder auch ohne Bildschirm weiter lernen und forschen.

Osmo bietet auch eine App mit dem Namen Osmo Projector an. Sie wurde kurz nach dem Ausbruch der Corona-Pandemie veröffentlicht, um Lehrerinnen und Lehrer beim Fernunterricht zu unterstützen. Können Sie uns ein bisschen mehr darüber erzählen?

Scholler: Als sich Covid-19 zu verbreiten begann, erkannten wir, dass einer unserer Prototypen, der spätere Osmo Projector, all den zu Hause festsitzenden Lehrern helfen könnte. Mit nur einem iPad können sie so ihren Schülern sowohl ihr Gesicht übertragen, als auch alles, was sie auf den Tisch vor dem iPad legen. Unsere Erfahrung ermöglichte es, die Darstellung zum Beispiel eines Arbeitsblattes in Echtzeit so zu entzerren, dass es rechteckig und auf dem Bildschirm lesbar zu sehen ist. Als ob die Kamera senkrecht über dem Tisch angebracht wäre. Dieser einfache Aufbau ermöglicht es Lehrern, zu Hause die Lehrformen anzuwenden, die normalerweise auf Klassenzimmer-Projektoren durchgeführt werden.

Durch das Teilen des Bildschirms ist die Osmo Projector App mit jedem Videokonferenz-Programm kompatibel. Wir bieten sie kostenlos an. Sie wurde sehr herzlich aufgenommen, und wir sind froh, dass wir in diesen schweren Zeiten helfen konnten.

Das Osmo Genius Starter Kit wird derzeit mit fünf Lernspielwelten für Deutschland lokalisiert. Worauf können wir uns noch freuen? Was ist Osmo's nächstes Projekt?

Scholler: Wir sind dabei, unsere Spielwelten für Deutschland zu lokalisieren. Das bedeutet nicht nur, den Text auf dem Bildschirm zu übersetzen, sondern die Produkte ganzheitlich zu überdenken. Wir betrachten die Produkte im Kontext der lokalen Kultur und Erwartungen und führen lokale Anwendertests durch. Im Rahmen dieser Bemühungen befassen wir uns auch mit der Anpassung der physischen Elemente. Beim Genius Starter Kit bedeutete das insbesondere das Hinzufügen des „ß“ und der deutschen Umlaute als neue Spielsteine. Wir sind außerdem dabei gemeinsam mit Pädagogen und Familien, das beste nächste Spiel für den deutschen Markt auszuwählen. Heiße Kandidaten sind das Coding Starter Kit, das Kinder von fünf bis 12 Jahren spielerisch in die Welt des Programmierens einführt, sowie das Little Genius Starter Kit für Kinder von drei bis fünf Jahren.

Für die USA wollen wir tiefer in unser derzeitiges Kernangebot einsteigen. Unser Ansatz besteht darin, noch enger mit Pädagogen zusammenzuarbeiten, um den Lernstoff, mit dem Kinder vertraut werden sollen, umfassender zu behandeln.

Parallel dazu haben wir begonnen, eine Reihe von Bootcamps anzubieten. Dabei handelt es sich um wöchentliche Lernaktivitäten auf einer Osmo Lernplattform, die von außergewöhnlich begabten Lehrern geleitet werden. Kinder, die an der Sitzung auf dem iPad teilnehmen, können ihre Arbeit sofort mit der gleichen Technik wie beim Osmo Projector weitergeben. Es ist noch in den Anfängen und wird eine spannende Ergänzung zu unseren Lernspielen sein.

Mehr Infos: www.playosmo.com/deutschland/


Diesen Artikel:
  • print Drucken
  • Bookmark Bookmarken

QR-Code mit dem Handy Scannen und diese(n) Seite / Artikel online Lesen:

 

Google QR Code Generator

QR Code for https://vivanty.de/auto-technik/magisches-lernen-mit-k-nstlicher-intelligenz
Oops... Sie benutzen eine zu alte Browserversion. Um die Seite Korrekt darzustellen benutzen sie bitte mindestens den Internet Explorer 8.
navigateup

Für die Ansicht der mobilen INFOSAT Webseite drehen Sie bitte ihr Handy.