Hackaday-Preis 2023: EyeBREAK könnte ein Durchbruch sein

Bei Menschen mit Schlaganfällen oder anderen schwächenden Erkrankungen kann die Kontrolle über das Augenlid eine der letzten verbliebenen motorischen Funktionen sein. Inspiriert durch [Jeremiah Denton], der in einem Fernsehinterview im Morsecode blinkte, entwarf [MBW] ein ESP32-basiertes Gerät, um Blinzeln in Wörter zu entschlüsseln.

Während ein ESP32 Bluetooth zur Simulation einer Tastatur bietet und einen relativ geringen Stromverbrauch hat, ist es eine Herausforderung, ein richtiges Blinzelerkennungssystem mit 20 Bildern pro Sekunde in einer eingeschränkten Umgebung laufen zu lassen. Frühere Versuche verwendeten Orientierungspunkte im Gesicht, um anhand von Verhältnissen festzustellen, ob ein Auge offen oder geschlossen war. Ein Kaskadendetektor in Kombination mit einem XGBoost-Klassifikator bot eine hervorragende Leistung, hatte jedoch Probleme, wenn das Auge nicht zentriert war. Letztendlich verarbeitet ein 50×50, 4-Schicht-CNN in TensorFlow Lite die Kamerabilder und erzeugt eine einzelne Ausgabe, mit offenem oder geschlossenem Auge. Zu Debugging-Zwecken werden Kamerabilder über WLAN mit Anmerkungen über OpenCV gestreamt, obwohl es auch nicht trivial war, OpenCV für ESP32 zu kompilieren.

[MBW] trainierte das Modell mithilfe des MRL-Datensatzes und quantisierte es dann auf int8. Es war etwas mühsam, die Bluetooth- und Wi-Fi-Stacks gleichzeitig laufen zu lassen, ebenso wie die Verwaltung des Arbeitsspeichers. Nachdem SRAM und IRAM erschöpft waren, musste [MBW] auf PRAM umsteigen. Das gesamte System ist in einige leichte Schutzbrillen integriert und sorgt für ein recht komfortables Erlebnis.

Während TensorFlow und Mikrocontroller wie ein etwas seltsames Paar erscheinen mögen, führt die Inferenz-Engine am Ende des Tages nur ein paar Berechnungen an einer Reihe von Eingaben mit einigen Gewichtungen durch. Wir haben TensorFlow Lite sogar auf einem Commodore 64 gesehen. Wenn Sie nichts über [Admiral Jerimiah Denton] wissen, können wir etwas Licht ins Dunkel bringen.