Handschoen voor het omzetten van gebaren naar spraak/tekst - Ajarnpa

2024 Auteur: John Day | [email protected]. Laatst gewijzigd: 2024-01-30 11:15

Het idee/de drijfveer achter de implementatie van dit project was om mensen te helpen die moeite hebben met communiceren via spraak en communiceren met handgebaren of beter bekend als Amerikaanse gebarentaal (ASL). Dit project kan een stap zijn om deze mensen de kans te geven om samen te werken met andere mensen die de gebarentaal niet begrijpen, in een samenwerkingsomgeving. Ook zal dit project hen in staat stellen om openbare toespraken te houden zonder het gebruik van een echte menselijke vertaler. Om te beginnen probeerde ik alleen enkele van de gemakkelijkere gebaren te detecteren, zoals alfabetten A, B, I, enz.

Stap 1: Circuitmontage

Stap 2: Projectdetails

Dit project omvat een draagbare handschoen met 4 flexsensoren die in de handschoen zijn gestoken/ingebed - elk voor de kleine, middel-, wijsvinger en duim. Flex-sensor werd niet gebruikt voor ringvinger vanwege beperkingen op de beschikbaarheid van analoge invoerpinnen op Arduino Uno R3 en in het algemeen vanwege gebrek aan onafhankelijke beweging die door de vinger wordt weergegeven in gebarentalen. Er wordt ook een MMA8452Q-versnellingsmeter gebruikt die op de achterkant van de handpalm wordt geplakt om de oriëntatie van de hand te meten. De input van deze sensoren wordt geanalyseerd en gebruikt om het gebaar te voelen. Zodra het gebaar is gedetecteerd, wordt het bijbehorende teken/bericht opgeslagen in een variabele. Deze tekens en berichten blijven aaneenschakelen totdat een bepaald vooraf bepaald gebaar wordt gemaakt dat aangeeft dat de zin is voltooid. Zodra dat speciale gebaar is gedetecteerd, wordt de opgeslagen zinstring door Arduino via een USB-kabel naar de Raspberry Pi gestuurd. Raspberry Pi stuurt vervolgens de ontvangen string naar de Amazon Cloud Service genaamd Polly om de ontvangen zin in tekstformaat om te zetten in spraakformaat en streamt vervolgens de ontvangen spraak op de luidspreker die via de AUX-kabel op de Raspberry Pi is aangesloten.

Dit project was slechts een Proof of concept en met betere apparatuur en planning en beter gekalibreerd om veel andere gebaren en handbewegingen te detecteren. Momenteel is er slechts beperkte functionaliteit in dit project geprogrammeerd, zoals voor basisbewegingsdetectie en tekst-naar-spraak-uitvoer.

Stap 3: Coderen

Stap 4: Stappen

1. Sluit de flexsensoren en versnellingsmeter MMA8452Q aan op de Arduino volgens het meegeleverde schakelschema.

2. Dump het programma Final_Project.ino (te vinden in het bestand Arduino_code.zip) naar de Arduino.

3. Verbind Arduino met de Raspberry Pi via een USB-kabel. (Kabeltype A/B).

4. Zet de Raspberry Pi aan, kopieer het bestand Raspberry_pi_code.zip naar de Raspberry Pi en pak het uit. Sluit de luidspreker aan op de Raspberry Pi.

5. Kopieer uw AWS-accountgegevens, d.w.z. aws_access_key_id, aws_secret_access_key en aws_session_token naar het bestand ~/.aws/credentials. Deze stap is vereist om te communiceren met de AWS-cloud en om AWS-services te gebruiken.

6. Voer het programma seria_test.py uit dat in stap 4 in de uitgepakte map is gevonden.

7. Maak nu de gebaren om een zin te vormen en doe dan het speciale gebaar (Houd uw vingers en handpalm recht en in een lijn met de handpalm van u af gericht, en draai dan de pols en geef deze een neerwaartse draai zodat nu uw handpalm is naar u toe gericht en het topje van uw vingers wijst naar beneden naar uw voeten.) om aan te geven dat de zin voltooid is.

8. Blijf de terminal controleren voor nuttige informatie.

9. En luister naar de geconverteerde spraak die op de luidspreker wordt gestreamd.

Stap 5: Referenties

1.

2.

3.

4.