IoT: bedien de HoloLens met uw wenkbrauwen (EMG): 5 stappen

2024 Auteur: John Day | [email protected]. Laatst gewijzigd: 2024-01-30 11:16

Dit project maakte deel uit van het NASA SUITS-project van de University of Colorado Boulder dat in april 2019 werd gepresenteerd en getest bij NASA JSC. Voor het project van dat jaar was ik de projectleider van hardwareontwikkeling en dit was een van mijn bijdragen. Lees hier meer over de NASA SUITS-uitdaging.

Met dit project wilde ik iedereen (in dit geval EVA-astronauten) laten communiceren met een Heads-Up-Display (HUD) die is geïmplementeerd in de Microsoft HoloLens zonder de ingebouwde handgebaren of spraakinvoer te gebruiken. Ik pakte dit doel aan vanuit een toegankelijkheidsstandpunt, ik wilde een randapparaat/wearable ontwikkelen waarmee EVA-astronauten kunnen communiceren met hun display zonder de communicatie met de grondbediening in beslag te nemen, en vanwege hun onder hoge druk staande handschoenen is gebareninterfacing onredelijk. Hoewel dit een domein is waar ik enigszins onbekend mee ben, kan ik zien dat dit randapparaat ook nuttig is voor mensen met een handicap, waardoor ze de HoloLens of andere AR/VR-apparaten kunnen gebruiken en afzien van de interface-ingangen die uitsluitend of ontmoedigend zijn.

Hoewel de lijst met items voor dit project op zichzelf al exclusief is (de HoloLens is erg duur!), kan het randapparaat worden gebruikt met andere AR/VR-apparaten.

Als je vragen hebt, op de hoogte wilt blijven van mijn werk of gewoon wat ideeën wilt uitwisselen, doe dat dan op mijn Twitter: @4Eyes6Senses.

Benodigdheden

Microsoft HoloLens (of ander AR/VR-apparaat)

Deeltjesfoton

MyoWare-spiersensor - De MyoWare-sensor kan worden vervangen door andere EMG-breakoutboards. Als je niet zeker weet wat EMG is, raad ik je aan er hier meer over te lezen

Biomedische sensorpads

Eenheid (gratis)

Enige ervaring met het maken van projecten in Unity

Draad

Stap 1: De MyoWare verbinden met het deeltjesfoton

Het aansluiten van de Particle Photon op het MyoWare-bord is vrij eenvoudig. Voor deze stap moet u de verbindingen tussen de Particle Photon en het MyoWare-bord solderen. Zorg voor sterke verbindingen, zodat de kabels niet breken tijdens het dragen van het apparaat. Om breuken te voorkomen, raad ik aan de kabels te vlechten voordat ze in de Photon worden gesoldeerd.

- Soldeer een draad in de "+"-poort van het MyoWare-bord en soldeer vervolgens het andere uiteinde van de kabel in de "3v3"-pin van de Photon.

- Soldeer een draad in de "-"-poort van het MyoWare-bord en soldeer vervolgens het andere uiteinde van de kabel in de "GND"-pin van de Photon.

- Soldeer een draad in de "SIG"-poort van het MyoWare-bord en soldeer vervolgens het andere uiteinde van de kabel in de "A0"-pin van de Photon.

Stap 2: Code uploaden naar het deeltjesfoton

Gebruik de IDE van de Particle Photon en upload het.ino-bestand. Plaats het MyoWare-bord op een spiergroep en controleer de waarden om er zeker van te zijn dat uw apparaat werkt. Als je naar de code kijkt, zul je merken dat er al een "threshold" -variabele is ingesteld, deze variabele is de minimumwaarde die MyoWare van mijn spier afleest wanneer ik mijn wenkbrauw volledig optrek. Ik heb de variabele ook ingesteld op "600" omdat ik hierdoor normale gesprekken kon voeren terwijl ik de MyoWare droeg zonder valse positieven te creëren (per ongeluk activeren). Misschien wilt u met de waarden spelen totdat u de gewenste drempel voor uw gebruik vindt.

Stap 3: Plaatsing van de MyoWare

Voor ons NASA SUITS-project heb ik ervoor gekozen om het MyoWare-bord boven de wenkbrauw te plaatsen. Ik werd geïnspireerd om de MyoWare daar te plaatsen nadat ik naar het "'Sup Brows"-project van Adafruit had gekeken. Na wat testen werd duidelijk dat de wenkbrauwen een geweldige locatie zijn voor dit specifieke project. Het is een geweldige locatie omdat de sensoren niet worden beïnvloed door de constante spierbewegingen door de armen, benen en romp die EVA-astronauten doen tijdens ruimtewandelingen.

Stap 4: De MyoWare verbinden met Unity

Nu is het tijd voor de laatste stap, laten we de MyoWare verbinden met Unity! Inbegrepen in deze Instructable is het script dat u in uw Unity-project moet opnemen. Maar eerst moet je een paar dingen in de code veranderen. Eerst moet u de JSON Object Unity-plug-in aan uw project toevoegen. Vervolgens moet u uw eigen apparaat-ID en toegangstoken toevoegen aan regel 19: partikelURI = "https://api.particle.io/v1/devices/[Insert your device id]/Next?access_token=[Voeg uw toegangstoken]". U kunt uw apparaat-ID ophalen uit de Particle IDE, volgens figuur 2, klik op het tabblad apparaten (rode doos) en kijk onder uw apparaatnaam om uw id te vinden (blauwe doos). Klik vervolgens op het tabblad Instellingen in de IDE om uw toegangstoken te vinden.

Stap 5: Klaar

Na het afronden van je Unity-project, heb je een EMG-gestuurde HoloLens!

Als je diepgaande vragen hebt, meer wilt weten over menselijke augmentatie, op de hoogte wilt blijven van mijn werk of gewoon wat ideeën wilt uitwisselen, doe dat dan op mijn Twitter:

Als je geïnteresseerd bent om met ons team samen te werken voor de NASA SUITS-uitdaging 2019 - 2020, stuur me dan een e-mail op:

Speciale dank aan het model op de eerste foto, Darren, die het ontwerp ook bij NASA heeft getest. Nog een dank aan mijn programmeerpartner voor het project AJ, die veel van dit mogelijk heeft gemaakt.