Poor Man's Google Glass/Aid voor mensen met tunnelvisie - Ajarnpa

2024 Auteur: John Day | [email protected]. Laatst gewijzigd: 2024-01-30 11:16

Abstract:

Dit project streamt live video van een fish-eye camera naar een draagbaar heads-up display. Het resultaat is een breder gezichtsveld binnen een kleiner gebied (het scherm is vergelijkbaar met een 4" scherm op 12" afstand van uw oog en geeft 720p weer). Het primaire doel is om meer ruimtelijk bewustzijn te bieden aan mensen met Retinitis Pigmentosa (afgekort als RP), een degeneratieve oogziekte die resulteert in tunnelvisie (het is vergelijkbaar met het voortdurend door een rol toiletpapier kijken). Dat gezegd hebbende, omdat het project is gebaseerd op een RPi, is er een enorm scala aan mogelijke toepassingen (waarvan sommige aan het einde zullen worden besproken).

Materialen Lijst:

• (1) Raspberry Pi Zero ($ 5) (Raspberry Pi Zero W werkt ook)

• (1) Micro SD-kaart voor Raspberry Pi ($ 8) (gewoon een gewone Micro SD-kaart, niets bijzonders. Aanbevolen minimaal 8 GB opslag)

  • RPi-externen: (je hebt deze niet nodig als je ze al hebt of als je een ander RPi-model hebt)

    • (1) USB-adapter ($ 5)
    • (1) Mini HDMI-naar-HDMI-kabel ($ 6) (met goed genoeg gezichtsvermogen kan Vufine als monitor worden gebruikt, waardoor deze kabel niet meer nodig is)
• (1) Vufine draagbaar scherm ($ 200)

• (1) Micro naar mini HDMI-lintkabel ($ 10) (is niet meer leverbaar, zie onderstaande opsommingstekens)

  • HDMI-adapters

    (C-type en D-type; zal hopelijk later dit weekend het model specificeren (vandaag is het 2-3-2018)) (Adafruit verkoopt deze connectoren ook, maar ze zijn duurder)

  • HDMI-lintkabel
• (2) USB-microkabel ($ 1-5 per stuk) (slechts 2 gewone micro-USB-kabels, niets bijzonders)
• (1) Visoogcamera voor Raspberry Pi ($ 25)
• (1) Raspberry Pi-camerakabel ($ 8)
• (1) Pak kleine stropdassen ($ 3)

Totale kosten: ~265 USD (afhankelijk van wat je al hebt en hoeveel je betaalt voor verzending)

Gereedschap Lijst:

• Draadsnijders
• Draadstrippers (voor draadafmetingen van ongeveer 26 awg)
• Heetlijmpistool (en lijmstift voor genoemd lijmpistool)
• Toetsenbord
• Scherm (moet HDMI-compatibel zijn, maar nogmaals, met goed genoeg gezichtsvermogen kan Vufine als monitor worden gebruikt)
• Soldeerbout (en soldeer)
• X-Acto-mes

Persoonlijke opmerking:

Dit project is geïnspireerd door mijn grootmoeder. Ze kreeg lang geleden de diagnose RP en haar gezichtsvermogen is in de loop der jaren verslechterd. Onlangs besloot ze haar blindengeleidehond Ventura (bijgenaamd Seymour, woordspeling bedoeld) op te geven vanwege haar leeftijd. Hoewel dit het leven in sommige opzichten misschien gemakkelijker heeft gemaakt, weet ik zeker dat het andere dingen trivialer heeft gemaakt (zoals wandelen door een winkelcentrum). Ik was al een tijdje aan het kijken om zo'n apparaat te maken, maar er waren geen direct verkrijgbare (redelijk geprijsde) schermen. Dat veranderde toen ik Vufine vond. Het is een geweldig bedrijf met een geweldig product, en nee, ik word niet betaald om dit te zeggen; het is echt een goed bedrijf. Wat mijn grootmoeder betreft, ze heeft gemeld dat dit apparaat haar gezichtsveld bijna heeft verdubbeld (in termen van diameter, niet in oppervlakte).

Update:

Ik heb dit gebouwd met een Vufine-module die is geconfigureerd voor het linkeroog (mijn grootmoeder is volledig blind aan haar rechteroog), dus er kunnen wat problemen zijn voor degenen die dit voor het rechteroog bouwen (niets groots, alleen een verandering van oriëntatie voor een paar onderdelen). Dat gezegd hebbende, is Vufine zo vriendelijk geweest me een module voor het rechteroog te sturen, zodat ik dit project kan voortzetten en die problemen kan oplossen. Zodra ik dat doe, zal ik dit instructable verder bijwerken.

Stap 1: De Raspberry Pi instellen

De hardware van de Pi instellen:

Opmerking: als je een andere Raspberry Pi hebt dan een RPi Zero (W of normaal), kun je met die Pi de nodige softwarebewerkingen uitvoeren en de SD-kaart naar de Pi Zero overbrengen.

Tweede opmerking: ik heb niet echt een deel van de hardware gekocht die verbinding maakt met de Pi; Ik heb in plaats daarvan een handige hoed. Dat gezegd hebbende, de afbeelding hierboven is hoe uw opstelling eruit zou moeten zien. Het is niet van mij en is hier vandaan gehaald.

Eerst zullen we het toetsenbord aansluiten. Omdat je toetsenbord een USB-connector van het type A heeft (de alomtegenwoordige rechthoekige) en de Pi Zero niet, zullen we de USB-adapter moeten gebruiken. Steek de USB-adapter in de USB-poort die zich het dichtst bij het midden van het bord bevindt. Sluit vervolgens het toetsenbord aan op de USB-adapter. De andere USB-poort wordt gebruikt voor stroom. De bovenste twee kabels op de afbeelding zijn USB-kabels waarbij de bovenste kabel voor stroom zorgt.

Ten tweede, sluit de HDMI-kabel aan op de mini-HDMI-poort op de Pi en de HDMI-poort op uw scherm (als u ervoor kiest om het Vufine-scherm als uw scherm te gebruiken, gebruikt u de HDMI-lintkabel).

De Pi-software instellen:

Dit proces is overal gedocumenteerd, maar de officiële gids is hier. Het is belangrijk om verschillende dingen op te merken: je gebruikt de micro SD-kaart die je hebt gekocht (degene die ik heb gekozen heeft een adapter zodat je hem kunt flashen met een gewone computer), je gaat Raspbian installeren en je moet de camera inschakelen in het Raspberry Pi-configuratiemenu. Bovendien, volg NIET de tutorial bij het uitvoeren van "startx". Als je dat deed, geen biggy, maar je hebt nu een muis nodig. Ga naar de opdrachtregel (zou eruit moeten zien als een zwart venster in je taakbalk) en gebruik dat (de "pi@raspberry ~ $" zou in dat venster moeten verschijnen). Nu zullen we de Raspberry Pi uitschakelen door het volgende uit te voeren:

sudo afsluiten -h nu

Stap 2: De camera installeren

Fysieke verbindingen:

Laat me eerst uitleggen hoe de lintkabelverbindingen werken. Om lintkabels aan te sluiten en los te koppelen, moet men eerst de lipjes aan de zijkant optillen (bij de Pi Zero is dit een buitenwaartse richting), waardoor de connector enigszins in en uit kan klappen, waardoor de lintkabel kan komen in en uit. Om de lintkabel vast te zetten (en zo het aansluitproces te voltooien), moet u het vouwstuk van de connector plat tegen de kabel drukken en de lipjes terugplaatsen. De kabel moet nu in de connector worden vastgezet. Klik hier om een officiële video te zien over hoe dit wordt gedaan.

Het is belangrijk op te merken dat de witte kabel die bij de camera wordt geleverd niet geschikt is voor de Pi Zero; zorg ervoor dat u deze vervangt door een van de gouden lintkabels. Zorg er bovendien voor dat de blootgestelde kant van de kabel naar beneden is gericht, in de Pi en de cameraborden.

Software:

De installatie van de camera is relatief eenvoudig aan de softwarekant. Om video rechtstreeks van de camera naar de HDMI te streamen, voert u gewoon de volgende regel in de terminal uit:

raspivid -t 0 -rot 0

De camera zou nu naar uw scherm moeten streamen. Stop nu de stream door op ctrl+c te drukken. Nu zullen we hetzelfde commando uitvoeren, maar als je een standaard Vufine-module hebt gekocht (geconfigureerd voor het rechteroog), verander dan de 0 na "-rot" in 90. Evenzo, als je een Vufine-display hebt gekocht dat is geconfigureerd voor het linkeroog, verander dan de 0 na "-rot" naar 270.

Als u nu de camera tegen het Vufine-scherm houdt op een manier die vergelijkbaar is met de manier waarop het op de foto wordt weergegeven, zou u een rechtopstaand beeld moeten zien (op uw scherm, niet noodzakelijk in de Vufine). Als je afbeelding ondersteboven staat, probeer dan het andere nummer (270 als je 90 eerder deed en 90 als je 270 eerder deed; je moet nog steeds op ctrl+c drukken om uit de stream te komen).

Zodra je de stream van de camera correct hebt georiënteerd (via software), willen we ervoor zorgen dat deze begint wanneer de Raspberry Pi wordt ingeschakeld. De eerste stap is om uit te voeren:

sudo nano /etc/rc.local

Typ nu een commando dat lijkt op wat je eerder hebt uitgevoerd ("/usr/bin/raspivid -t 0 -rot 90/270") in de regels tussen "fi" en "exit 0" (houd het op één regel zoals te zien is in de afbeelding). Als u een afbeelding met een lagere resolutie en een hogere framesnelheid wilt, gebruikt u in plaats daarvan "/usr/bin/raspivid -t 0 -rot 90/270 -md 6". Nadat u dit hebt getypt, moet u het opslaan door op ctrl+x te drukken, y in te voeren (ja, u wilt het opslaan) en vervolgens op enter te drukken om het onder dezelfde naam op te slaan. Je zou nu terug moeten zijn bij de opdrachtregel ("pi@raspberry ~ $"). Ten slotte kun je testen of alles werkt door de Raspberry Pi opnieuw op te starten met:

sudo reboot

Als alles werkt, zou u aan het einde van het opstartproces moeten zien dat de camera video naar de HDMI-uitgang streamt.

Opmerkingen:

• Nadat al het bovenstaande is voltooid, kunt u overwegen een kleine hoeveelheid hete lijm aan te brengen op de lintkabel/connector op zowel de camera als de Pi om ervoor te zorgen dat deze op zijn plaats blijft. Dit is puur optioneel en is iets wat ik eigenlijk niet heb gedaan.
• Als je een Vufine-scherm hebt geconfigureerd voor het rechteroog en je kiest ervoor om het anders te oriënteren (het is handiger als de USB-poorten van de Pi aan de onderkant zitten), dan bevindt de bovenkant van de camera zich aan de linkerkant wanneer je hem draagt.
• De camera op de foto is al gemonteerd. Daar komen we in een latere stap op terug.
• Ik wilde een foto plaatsen van de cameraconnector op de Pi, maar ik wil de Pi niet afdoen als ik hem niet terug kan plaatsen en ik al mijn kabelbinders ben kwijtgeraakt (waarvan je zult zien dat ze nodig zijn om het in een latere stap te monteren) en ik weet niet zeker wanneer ik de volgende keer weer wat meer kan kopen, dus ik heb besloten om nu gewoon te uploaden en later bij te werken.

Stap 3: Het Vufine-display opladen

Het Vufine-scherm heeft een eigen batterij, maar deze gaat slechts 90 minuten mee, en hoewel dit misschien genoeg is voor het beoogde gebruik van de Vufine, is het onvoldoende voor onze doeleinden. Dat gezegd hebbende, kunnen we de Vufine opladen terwijl hij in gebruik is, en zo de levensduur van de batterij verlengen. Normale USB-kabels zijn echter vrij groot en omdat we het gewicht willen minimaliseren, zullen we er een moeten aanpassen (waardoor het kleiner en lichter wordt); we zullen een USB-kabel tot een minimum beperken.

Opmerking: in de rest van deze stap wordt beschreven hoe u de connector van een USB-kabel haalt. Dat gezegd hebbende, werd ik op de hoogte gebracht van deze goedkope (in kosten) USB-connectoren. Als u ze gebruikt, kunt u het gevaarlijke deel van het verwijderen van de connector van de draad overslaan. Ik heb er geen ervaring mee, maar ik zal dit instructable bijwerken over hoe ze te gebruiken zodra ik dat doe.

De USB-kabel voorbereiden

Opmerking: dit is verreweg het gevaarlijkste deel van de build. Wees uiterst voorzichtig in de buurt van scherpe messen

De eerste stap bij het "minimaliseren" van de USB-kabel is om deze ongeveer 5 inch (ik zou zeggen ongeveer 7 inch voor een rechteroogconfiguratie) vanaf het micro-USB-uiteinde omhoog te knippen. Ga verder door de draad helemaal tot aan het USB-micro-uiteinde te strippen.

Nu, voor het gevaarlijke deel, moet je de plastic behuizing eraf snijden met het X-Acto-mes. Ik raad aan om een tang of een tafelschroef te gebruiken om de plug vast te houden terwijl je hem knipt om het risico dat je jezelf snijdt te minimaliseren. De beste manier om het af te knippen, is door langs de naden aan de zijkant te knippen (ze zien eruit als lijnen) zoals te zien is op de afbeelding. Je moet een behoorlijke hoeveelheid kracht gebruiken om het mes in de behuizing te graven. Na een tijdje kan één kant naar buiten "draaien", en afhankelijk van hoe vrij het is, kunt u ervoor kiezen om een tang te gebruiken om de rest eraf te trekken in plaats van af te snijden.

Het USB-stuk voltooien

Zodra u alleen het metalen stuk overhoudt, moet u de twee middelste draden verwijderen (de niet-rode en zwarte). Je kunt dit doen door ze af te knippen of een soldeerbout te gebruiken om hun verbindingen te desolderen en ze eenvoudigweg te verwijderen (ik raad aan om te desolderen als je genoeg ervaring hebt). Breng vervolgens wat hete lijm aan op de basis van de draden (waar ze de micro-USB-stekker ontmoeten) om een isolator te bieden en om het veilig te houden. Als je klaar bent, zou de afbeelding er ongeveer zo uit moeten zien als de USB op de afbeelding (we hebben hem echter nog niet op de Pi aangesloten).

Aansluiten op de Pi

Deze stap is vrij eenvoudig. Het enige dat u hoeft te doen, is de rode draad op de 5v-poort en de zwarte draad op de aardingspin (GND) op de RPi solderen. Om precies te zien welke poorten, zie de afbeelding met de rode rechthoek op de Pi. Klik hier voor een video over basissolderen. Ik stel voor dat je aan beide zijden van de Pi (waar je hebt gesoldeerd) wat hete lijm gebruikt om de draden vast te zetten en een isolator te bieden.

Stap 4: Alles aansluiten

De Pi. beveiligen

Plaats op dit punt de Pi tegen de Vufine-module met de camerapoort aan de voorkant en de USB-connectoren (geïnstalleerd op de Pi) naar beneden en naar binnen gericht. Zet het vast met behulp van de twee paar (een paar voor elke kant) ritssluitingen. Doe dit door een ritssluiting door een van de bovenste hoekgaten op de taart te steken, deze om de Vufine (naar beneden) te wikkelen en door het onderste hoekgat aan dezelfde kant van de Pi te steken. Neem dan nog een ritssluiting en sluit deze op de eerste. Draai het vast zodat de Pi dicht bij de Vufine wordt getrokken. Knip het resterende deel van de ritssluiting af voor beide ritssluitingen (allemaal voor de tweede en het deel dat uit de tweede ritssluiting steekt voor de eerste). Herhaal deze stap aan de andere kant van de Pi.

Dingen inpluggen

Dit is misschien wel de eenvoudigste stap van de hele build. Sluit de USB-kabel die u op de Pi hebt gesoldeerd aan op het Vufine-display.

Heet lijmen van de connector

De magneet in het Magnetic Docking Station is niet echt sterk genoeg voor onze doeleinden, dus we zullen wat hete lijm toevoegen om de verbinding te versterken. Bevestig de Vufine-module aan het magnetische dockingstation (niet plus) met de riem omhoog (zoals weergegeven in de afbeelding). Zorg ervoor dat het ongeveer evenwijdig is aan de werkelijke Vufine (je kunt de positie van het scherm nog steeds aanpassen door de riem rond de bril te bewegen). Breng een behoorlijke hoeveelheid hete lijm aan op zowel de boven- als onderkant. Laat het afkoelen voordat je verder gaat om ervoor te zorgen dat het niet in een vreemde positie wordt geduwd voordat het stolt.

Dingen aansluiten, vervolg

Hoewel dit deel niet zo eenvoudig is als het eerste deel van Plugging Stuff, zou je niet te veel moeten worstelen. Sluit gewoon de HDMI-lintkabel aan op zowel de Vufine als de Pi (de strijd is meer psychologisch dan fysiek; je kunt het. Ik geloof in jou).

De camera aansluiten

Configuratie linkeroog:

Dit is een eenvoudig onderdeel, maar de positionering van de camera maakt het moeilijk om met woorden te beschrijven. In wezen bevestig je de camera zodat deze zijwaarts is met de lintkabel eronder. Zie de foto om te zien wat ik bedoel. Druk het tegen het Vufine-scherm en zet het in deze positie vast door hete lijm aan te brengen op zowel de boven- als onderkant. Ik zou er geen aan de zijkanten plaatsen, omdat het voldoende is om het aan de boven- en onderkant te doen om het vast te zetten en als je het aan de zijkanten doet, kan het zijwaartse verstelling van zowel het lint als het Vufine-scherm voorkomen.

Configuratie rechteroog:

Ik heb de juiste oogconfiguratie nog niet eerder gedaan (zal terugkomen en bewerken zodra ik dat doe), maar in wezen moet je ervoor zorgen dat de camera zijwaarts en in een redelijke positie boven op het scherm staat. De bovenkant (de kant tegenover de connector) moet naar links wijzen (links als je hem draagt). Gebruik hete lijm om de camera aan het schermstuk op de Vufine-module te bevestigen. Bovendien kunt u hete lijm (of kabelbinders) gebruiken om ervoor te zorgen dat overtollige lintkabel wordt vastgezet (geef het wat speling voor verstelbaarheid en probeer het lint niet te kreuken omdat het niet bedoeld is om hoge rotatiegraden te weerstaan). U kunt ook teruggaan naar Stap 2: De camera installeren als u de camerastream opnieuw moet configureren als gevolg van een wijziging in de fysieke positionering.

Stap 5: Fin

Aanzetten

Om hem aan te zetten, zet je gewoon de Vufine-module aan door op de grijze knop op de achterkant te drukken. Het zou blauw moeten gaan knipperen. Sluit vervolgens de Pi Zero aan met behulp van de uiterst rechtse USB-poort (aan de buitenkant en gelabeld PWR IN). U zou nu een constant rood lampje moeten zien branden naast de knipperende blauwe LED op de Vufine-module. Dit betekent dat de Vufine wordt opgeladen. Bovendien zou het scherm moeten starten en zou je de Pi door het opstartproces moeten zien gaan met de camerastream aan het einde. Zodra het scherm verschijnt, moet het knipperende blauwe lampje op de Vufine-knop ononderbroken branden.

Opmerking: als u eerst de Pi inschakelt (gevolgd door de Vufine), kan uw scherm er raar uitzien. Om dit op te lossen, zet u de Pi uit en vervolgens weer aan.

Uitschakelen

Schakel de RPi uit door de USB los te koppelen die hem van stroom voorziet. Om de Vufine uit te schakelen, kunt u hem ofwel zichzelf laten uitschakelen (wat het zal doen nadat hij een korte tijd geen signaal heeft ontvangen) of u kunt de grijze knop (met een blauwe LED) op de Vufine ingedrukt houden totdat de blauwe LED gaat uit. Ik laat het liever zichzelf uitschakelen, maar jij wel.

Verdere verbeteringen

Zoals gezegd in de samenvatting, omdat het project is gebaseerd op een Raspberry Pi, heeft het project een enorm vermogen om te evolueren. Om te beginnen, hier zijn enkele ideeën die ik had:

• Je zou het kunnen aansluiten op een draadloos toetsenbord voor handig gebruik als een heads-up linux-computer. Ik zou een toetsenbord (en muis) zoals dit gebruiken en ik zou het aansluiten in een proces dat vergelijkbaar is met dit.

  Het zou ook gaaf zijn om zo'n op handbeweging gebaseerde interface toe te voegen

• Voeg knoppen toe aan de zijkant om foto's en video's op te slaan en om in en uit te zoomen
• Voeg een native aan / uit-schakelaar toe (ik zeg native omdat sommige USB-kabels ingebouwde schakelaars hebben)
• Maak voor alles een 3D-geprint hoesje.
• Een audio-uitgang toevoegen

• Een batterijbijlage toevoegen

  Het aan de andere kant van de bril plaatsen zou een handige manier zijn om tegenwicht te bieden (het gewicht op de bril is momenteel een beetje scheef)

• Maak een CNN (convolutioneel neuraal netwerk) met TTS (text-to-speech) output voor een audiobeschrijving van iemands omgeving. Dit neurale netwerk zou op een Movidius Neural Compute Stick kunnen draaien voor meer rekenkracht.

  Mogelijk gebruik gebruik Galvanische vestibulaire stimulatie voor noodmanoeuvres

Je kunt zien dat sommige van deze ideeën worden geïmplementeerd op mijn github-pagina.

Opmerking:

Ik zal later waarschijnlijk nog wat foto's toevoegen. Als je een bepaalde foto wilt, laat het me dan weten en ik zal mijn best doen. Hetzelfde geldt voor uitleg; als je wilt dat ik ergens dieper op in ga, laat het me weten en ik zal proberen het voor elkaar te krijgen.

Bedankt

• Ik heb veel geleerd van deze gemeenschap; hopelijk helpt dit anderen zoals zovelen hier mij eerder hebben geholpen.
• Nogmaals, dit is mijn eerste instructable en alle feedback wordt zeer op prijs gesteld. Als iemand hier iets mee doet, laat het me weten; Ik zou graag zien waar de gemeenschap dit mee naartoe neemt.

Speciale dank aan mijn oma voor alles wat ze mijn hele leven voor mij heeft gedaan. Ik zal je nooit kunnen terugbetalen, maar ik zal zeker mijn best doen.

Eerste prijs in de Raspberry Pi-wedstrijd 2017