Handbewegingsherkenning: 5 stappen

2024 Auteur: John Day | [email protected]. Laatst gewijzigd: 2024-01-30 11:15

Overzicht

In dit project zullen we een handschoen maken die enkele basishandbewegingen kan herkennen, met behulp van een MicroBit en een paar sensoren. We gebruiken de Bluetooth-mogelijkheden op de MicroBit, in combinatie met een Android-app en een webserver om een machine learning-model te trainen om handbewegingen te identificeren.

Beginnen

Het grootste deel van de inspanning die bij dit project betrokken is, zit aan de softwarekant en alle code die nodig is om dit project uit te voeren, is beschikbaar op GitHub. De codebasis omvat 3 componenten, de code om een HEX-bestand voor de MicroBit te genereren, de Android App-codebase die sterk gebaseerd is op de MicroBit Blue-app van de MicroBit Foundation, met aanpassingen voor dit specifieke gebruik, en een webserver met code voor een op Tensorflow gebaseerd model trainen om handbewegingen te identificeren.

We zullen zien hoe we de handschoen kunnen bouwen en aansluiten op de app en webserver.

Benodigdheden

• 1 BBC-microbit
• 1 batterijhouder met 2 AAA-batterijen
• 1 Handschoen
• Een set jumperdraden, krokodillenklemmen
• Een flex-sensor
• Een krachtsensor
• klittenband
• Elektrische tape
• Een Android-telefoon
• Een pc/laptop

Stap 1: Stap 1: De MicroBit en batterij instellen

• Begin met het bevestigen van de batterijhouder aan een stuk klittenband zoals weergegeven in de eerste afbeelding. Gebruik elektrische tape om de batterijhouder stevig aan de klittenband te bevestigen.
• Maak vervolgens een lus met isolatietape zodat deze aan beide zijden plakkerig is en plak deze bovenop het batterijpakket.
• Plak de MicroBit op de lus van tape om de MicroBit stevig aan de batterijhouder te bevestigen, zoals weergegeven in de tweede afbeelding.

Stap 2: Sensoren aansluiten

• Volg het schakelschema in de afbeelding om uw flexsensor aan te sluiten op pin 1 van de MicroBit en forceer de sensor op pin 0 van de MicroBit.
• Zet de sensoren op de handschoen vast met isolatietape, zoals weergegeven in de afbeeldingen.

Stap 3: Afwerking van de hardware

• Gebruik de uiteinden van de klittenband om een lus te vormen en schuif de lus over de vingers van de handschoen, zoals weergegeven in de afbeelding.
• U kunt draadbinders gebruiken om de draden op de handschoen vast te zetten om te voorkomen dat ze te veel bewegen.

In het volgende gedeelte bekijken we hoe u de software instelt.

Stap 4: Software-installatie

Uw telefoon koppelen aan uw MicroBit

1. Om uw telefoon te koppelen, moet u er eerst voor zorgen dat Bluetooth op uw telefoon is ingeschakeld.
2. Zet uw MicroBit aan en houd zowel de A- als de B-knop ingedrukt. Druk tegelijkertijd op de resetknop en laat deze weer los terwijl u de A- en B-knoppen ingedrukt houdt. De microbit zou nu in de koppelingsmodus moeten gaan.
3. Zoek op uw telefoon uw MicroBit onder de lijst met Bluetooth-apparaten, waar u gewoonlijk een nieuw Bluetooth-apparaat toevoegt, en begin met koppelen. Op uw MicroBit ziet u een pijl die naar de A-knop wijst. Wanneer u hierop drukt, geeft de MicroBit een reeks cijfers weer, de koppelingscode die u op uw telefoon moet invoeren. Zodra u de code op uw telefoon invoert en koppel selecteert, moet er een vinkje worden weergegeven op de MicroBit.
4. Druk op de resetknop op uw MicroBit.

De software instellen

Volg de ReadMe-handleidingen in elke submap op de GitHub-repository om het Android App-project in Android Studio in te stellen, het HEX-bestand te bouwen en naar uw MicroBit te flashen en de webserver uit te voeren voor het uitvoeren van de Machine Learning-modellen.

Stap 5: Gebruik:

Web Server

Open een terminal in de projectdirectory van de webserver en voer `python server.py` uit om de server te starten na het volgen van de instructies in de ReadMe om afhankelijkheden te installeren

Android-app

1. Bouw en maak een APK voor de Android-app vanuit Android Studio. Start de app nadat je je telefoon met de MicroBit hebt gekoppeld (zie vorige stap).
2. Op de accelerometer-pagina kunt u de webserver-url instellen met behulp van het instellingenmenu in de rechterbovenhoek. Zorg ervoor dat u dit wijzigt in het IP-adres van uw webserver.
3. Wacht tot de meetwaarden van de versnellingsmeter worden ingevuld door de MicroBit. U zult zien dat de meetwaarden met verschillende frequenties veranderen. Druk op B op de MicroBit om de frequentie te wijzigen. Idealiter kunt u een frequentiewaarde van 10 gebruiken (die meetwaarden elke 10 ms meet)
4. Nadat de metingen zijn ingevuld, geeft u uw gebaar een naam in het tekstvak met het label 'Gesture:' en drukt u op de opnameknop. Zodra u op de opnameknop drukt, maakt u uw handbeweging, herhaaldelijk totdat de knop weer wordt ingeschakeld.
5. Herhaal stap 3 voor het opnemen van meerdere gebaren.
6. Druk op de treinknop om de modeltraining op de server te starten. Zodra de training is voltooid (ongeveer 15 seconden), kunt u voorspellingen gaan doen.
7. Druk op de voorspellingsknop en maak uw beweging/gebaar. De app zal proberen deze zo goed mogelijk af te stemmen op een van de getrainde bewegingen.