Autonome drone met infraroodcamera om eerstehulpverleners te helpen - Ajarnpa

2024 Auteur: John Day | [email protected]. Laatst gewijzigd: 2024-01-30 11:16

Volgens een rapport van de Wereldgezondheidsorganisatie doden jaarlijks ongeveer 90.000 mensen door natuurrampen en treffen wereldwijd bijna 160 miljoen mensen. Natuurrampen zijn onder meer aardbevingen, tsunami's, vulkaanuitbarstingen, aardverschuivingen, orkanen, overstromingen, bosbranden, hittegolven en droogtes. Tijd is van essentieel belang, aangezien de overlevingskans met elke minuut die verstrijkt begint af te nemen. Hulpverleners kunnen moeite hebben om overlevenden te lokaliseren in huizen die beschadigd zijn en hun leven in gevaar brengen tijdens het zoeken naar hen. Het hebben van een systeem dat mensen op afstand kan lokaliseren, zou de snelheid waarmee eerstehulpverleners hen uit gebouwen kunnen evacueren aanzienlijk verhogen. Na onderzoek naar andere systemen, ontdekte ik dat sommige bedrijven robots hebben gemaakt die op het land zijn gebaseerd of drones hebben gemaakt die mensen kunnen volgen, maar alleen buiten gebouwen functioneren. De combinatie van dieptecamera's en speciale infraroodcamera's kan zorgen voor nauwkeurige tracking van het binnengebied en detectie van temperatuurveranderingen die vuur, mensen en dieren vertegenwoordigen. Door sensoren met een aangepast algoritme op een onbemand luchtvaartuig (UAV) te implementeren, wordt het mogelijk om autonoom huizen te inspecteren en de locatie van mensen en dieren te identificeren om ze zo snel mogelijk te redden.

Stem alsjeblieft op mij in de Optica-wedstrijd!

Stap 1: Ontwerpvereisten

Nadat ik de beschikbare technologieën had onderzocht, besprak ik mogelijke oplossingen met machine vision-experts en een eerstehulpverlener om de beste methode te vinden om overlevenden in gevaarlijke gebieden te detecteren. De onderstaande informatie geeft een overzicht van de belangrijkste vereiste functies en ontwerpelementen voor het systeem.

• Visieverwerking - Het systeem moet een hoge verwerkingssnelheid bieden voor de uitgewisselde informatie tussen de sensoren en de reactie van kunstmatige intelligentie (AI). Het systeem moet bijvoorbeeld muren en obstakels kunnen detecteren om ze te ontwijken en tegelijkertijd mensen opsporen die gevaar lopen.
• Autonoom - Het systeem moet kunnen functioneren zonder de input van een gebruiker of een operator. Personeel met minimale ervaring met UAV-technologie moet in staat zijn om op een of enkele knoppen te drukken om het systeem zelf te laten scannen.
• Bereik - Het bereik is de afstand tussen het systeem en alle andere objecten in de buurt. Het systeem moet gangen en ingangen op minimaal 5 meter afstand kunnen detecteren. Het ideale minimale bereik is 0,25 m zodat objecten dichtbij kunnen worden gedetecteerd. Hoe groter het detectiebereik, hoe korter de detectietijd voor overlevenden.
• Nauwkeurigheid van navigatie en detectie - Het systeem moet in staat zijn om alle ingangen nauwkeurig te vinden en geen objecten te raken, terwijl het ook de plotselinge verschijning van objecten kan detecteren. Het systeem moet via verschillende sensoren het verschil tussen mensen en niet-levende objecten kunnen vinden.
• Duur van de werking - Het systeem moet 10 minuten of langer kunnen meegaan, afhankelijk van het aantal kamers dat moet worden gescand.
• Snelheid - Het moet het hele gebouw in minder dan 10 minuten kunnen scannen.

Stap 2: Apparatuurselectie: mobiliteitsmethode

De quadcopter werd gekozen boven een op afstand bestuurbare auto omdat de quadcopter weliswaar kwetsbaar is, maar gemakkelijker te besturen en van hoogte te veranderen om obstakels te vermijden. De quadcopter kan alle sensoren vasthouden en stabiliseren zodat ze nauwkeuriger zijn terwijl ze zich in verschillende kamers verplaatsen. De propellers zijn gemaakt van koolstofvezel die hittebestendig zijn. De sensoren richten zich weg van muren om ongelukken te voorkomen.

• Afstandsbediening Landvoertuig

  • Voordelen - Kan snel bewegen zonder te vallen en wordt niet beïnvloed door temperatuur
  • Nadelen - Het voertuig zou de sensoren laag bij de grond plaatsen en minder gebied tegelijk bedekken en kan worden geblokkeerd door obstakels

• quadcopter

  • Voordelen - Heft sensoren in de lucht om een 360 graden zicht op de omgeving te krijgen
  • Nadelen - Als het tegen een muur loopt, kan het vallen en niet herstellen

Stap 3: Apparatuurselectie: microcontrollers

De twee belangrijkste vereisten voor de microcontrollers zijn klein formaat om de lading op de quadcopter te verminderen en snelheid om de informatie-invoer snel te verwerken. De combinatie van de Rock64 en de DJI Naza is de perfecte combinatie van microcontrollers aangezien de Rock64 voldoende rekenkracht heeft om snel mensen te detecteren en te voorkomen dat de quadcopter tegen muren en obstakels aanloopt. De DJI Naza complimenteert het goed door alle stabilisatie en motorcontrole uit te voeren die de Rock64 niet kan. De microcontrollers communiceren via een seriële poort en zorgen zo nodig voor controle door de gebruiker. De Raspberry Pi zou een goed alternatief zijn geweest, maar aangezien de Rock64 een betere processor had en betere connectiviteit met de sensoren in de volgende tabel, werd de Pi niet geselecteerd. De Intel Edison en Pixhawk werden niet geselecteerd vanwege het gebrek aan ondersteuning en connectiviteit.

• Raspberry Pi

  • Voordelen - Kan muren en vaste objecten detecteren
  • Nadelen - Moeite om de gegevens van alle sensoren bij te houden, dus kunnen ingangen niet snel genoeg zien. Kan geen motorsignalen uitvoeren en heeft geen stabiliserende sensoren voor de quadcopter

• Rock64

  • Voordelen - In staat om muren en ingangen te detecteren met weinig latentie.
  • Nadelen - Ook in staat om het systeem door het hele huis te leiden zonder ergens tegenaan te lopen met behulp van alle sensoren. Kan signalen niet snel genoeg verzenden om de motorsnelheid te regelen en heeft geen stabiliserende sensoren voor de quadcopter

• Intel Edison

  • Voordelen - In staat om muren en ingangen met enige vertraging te detecteren
  • Nadelen - Oudere technologie, veel van de sensoren zouden nieuwe bibliotheken nodig hebben, wat erg tijdrovend is om te maken
• DJI Naza
  • Voordelen - Heeft een geïntegreerde gyroscoop, versnellingsmeter en magnetometer, zodat de quadcopter stabiel in de lucht kan zijn met micro-aanpassingen aan de motorsnelheid
  • Nadelen - Kan geen enkele vorm van visieverwerking uitvoeren

• Pixhawk

  • Voordelen - Compact en compatibel met sensoren die in projecten worden gebruikt door gebruik te maken van de General Purpose Input Output (GPIO)
  • Nadelen - Kan geen enkele vorm van visieverwerking uitvoeren

Stap 4: Apparatuurselectie: sensoren

Een combinatie van meerdere sensoren wordt gebruikt om alle informatie te verkrijgen die nodig is om mensen in gevaarlijke gebieden te vinden. De twee belangrijkste geselecteerde sensoren zijn de stereo-infraroodcamera naast de Sound Navigation And Ranging (SONAR). Na wat testen heb ik besloten om de Realsense D435-camera te gebruiken omdat deze klein is en in staat is om afstanden tot 20 meter afstand nauwkeurig te volgen. Het draait op 90 frames per seconde, waardoor veel metingen kunnen worden gedaan voordat een beslissing wordt genomen over waar objecten zich bevinden en in welke richting de quadcopter moet worden gericht. SONAR-sensoren zijn aan de boven- en onderkant van het systeem geplaatst zodat de quadcopter weet hoe hoog of laag hij mag gaan voordat hij contact maakt met een oppervlak. Er is er ook een die naar voren is gericht, zodat het systeem objecten zoals glas kan detecteren die de stereo-infraroodcamerasensor niet kan detecteren. Mensen en dieren worden gedetecteerd met behulp van bewegings- en objectherkenningsalgoritmen. FLIR Camera zal worden geïmplementeerd om de stereo-infraroodcamera te helpen volgen wat er leeft en wat niet om de efficiëntie van het scannen in ongunstige omstandigheden te vergroten.

• Kinect V1

  • Voordelen - Kan 3D-objecten gemakkelijk volgen tot op 6 meter afstand
  • Nadelen - Heeft maar 1 infraroodsensor en is te zwaar voor quadcopter

• Realsense D435

  • Pluspunten - Heeft 2 infraroodcamera's en een rode, groene, blauwe dieptecamera (RGB-D) voor zeer nauwkeurige 3D-objectdetectie tot op 25 meter afstand. Het is 6 cm breed waardoor het gemakkelijk in quadcopter past
  • Nadelen - Kan opwarmen en heeft mogelijk een koelventilator nodig

• LIDAR

  • Voordelen - Straal die locaties tot 40 meter afstand kan volgen in zijn gezichtslijn
  • Nadelen - Warmte in de omgeving kan de meetnauwkeurigheid beïnvloeden

• SONAR

  • Voordelen - Straal die 15 m kan volgen, maar in staat is om transparante objecten zoals glas en acryl te detecteren
  • Nadelen - Alleen punten in één zichtlijn, maar kunnen door de quadcopter worden verplaatst om het gebied te scannen

• Ultrasoon

  • Pluspunten - Heeft een bereik tot 3 m en is erg goedkoop
  • Nadelen - Punten in één zichtlijn en kunnen heel gemakkelijk buiten het bereik van afstandswaarneming zijn
• FLIR-camera
  • Voordelen - In staat om dieptefoto's te maken door rook zonder interferentie en kan levende mensen detecteren door middel van hittesignaturen
  • Nadelen - Als iets de sensoren verstoort, kunnen de afstandsberekeningen onjuist worden berekend

• PIR-sensor

  • Voordelen - In staat om verandering in temperatuur te detecteren
  • Nadelen - Kan niet bepalen waar het temperatuurverschil zit

Stap 5: Apparatuurselectie: software

Ik gebruikte de Realsense SDK naast het Robot Operating System (ROS) om een naadloze integratie tussen alle sensoren met de microcontroller te creëren. De SDK zorgde voor een gestage stroom van de puntenwolkgegevens die ideaal was voor het volgen van alle objecten en de grenzen van de quadcopter. ROS heeft me geholpen om alle sensorgegevens naar het programma te sturen dat ik heb gemaakt en waarin kunstmatige intelligentie wordt geïmplementeerd. De AI bestaat uit algoritmen voor objectdetectie en bewegingsdetectie-algoritmen waarmee de quadcopter beweging in zijn omgeving kan vinden. De controller gebruikt pulsbreedtemodulatie (PWM) om de positie van de quadcopter te regelen.

• Freenect

  • Voordelen - Heeft een lager toegangsniveau om alles te controleren
  • Nadelen - Ondersteunt alleen de Kinect V1

• Realsense-SDK

  • Voordelen - Kan eenvoudig de puntenwolkgegevens maken uit de informatiestroom van de Realsense Camera
  • Nadelen - Ondersteunt alleen Realsense D435-camera
• FLIR Linux-stuurprogramma
  • Voordelen - Kan gegevensstroom ophalen van FLIR-camera
  • Nadelen - Documentatie is zeer beperkt

• Robotbesturingssysteem (ROS)

  • Pluspunten - Besturingssysteem ideaal voor het programmeren van camerafuncties
  • Nadelen - Moet op een snelle SD-kaart worden geïnstalleerd voor efficiënte gegevensverzameling

Stap 6: Systeemontwikkeling

De "ogen" van het apparaat zijn de Realsense D435 stereo-infraroodsensor, een kant-en-klare sensor die voornamelijk wordt gebruikt voor robottoepassingen zoals 3D-mapping (Figuur 1). Wanneer deze sensor op de quadcopter is geïnstalleerd, kan de infraroodcamera de quadcopter begeleiden en autonoom laten bewegen. De gegevens die door de camera worden gegenereerd, worden een puntenwolk genoemd die bestaat uit een reeks punten in een ruimte die informatie bevatten over de positie van een bepaald object in het zicht van de camera. Deze puntenwolk kan worden geconverteerd naar een dieptekaart die kleuren als verschillende diepten weergeeft (Figuur 2). Rood is verder weg, terwijl blauw dichterbij is.

Om ervoor te zorgen dat dit systeem naadloos is, werd een open-source besturingssysteem genaamd ROS gebruikt, dat meestal op robots wordt gebruikt. Het maakt het mogelijk om apparaatbesturing op laag niveau uit te voeren en toegang te krijgen tot alle sensoren en gegevens te compileren die door andere programma's kunnen worden gebruikt. ROS zal communiceren met de Realsense SDK, waarmee verschillende camera's kunnen worden in- en uitgeschakeld om bij te houden hoe ver objecten zich van het systeem bevinden. Door de koppeling tussen beide heb ik toegang tot de gegevensstroom van de camera, waardoor een puntenwolk ontstaat. De puntenwolkinformatie kan bepalen waar grenzen en objecten zich binnen 30 meter en een nauwkeurigheid van 2 cm bevinden. De andere sensoren zoals de SONAR-sensoren en de ingebouwde sensoren in de DJI Naza-controller zorgen voor een nauwkeurigere positionering van de quadcopter. Mijn software maakt gebruik van AI-algoritmen om toegang te krijgen tot de puntenwolk en door lokalisatie een kaart te maken van de hele ruimte rondom het apparaat. Zodra het systeem is gestart en begint te scannen, reist het door gangen en vindt ingangen naar andere kamers waar het vervolgens de kamer kan doorzoeken, specifiek op zoek naar mensen. Het systeem herhaalt dit proces totdat alle kamers zijn gescand. Momenteel kan de quadcopter ongeveer 10 minuten vliegen, wat voldoende is om een volledige sweep te doen, maar kan worden verbeterd met verschillende batterijopstellingen. De eerstehulpverleners krijgen meldingen wanneer mensen worden gespot, zodat ze hun inspanningen kunnen richten op geselecteerde gebouwen.

Stap 7: Discussie en conclusie

Na veel testen had ik een werkend prototype gemaakt dat voldeed aan de vereisten in tabel 1. Door de Realsense D435 stereo-infraroodcamera te gebruiken met de Realsense SDK, werd een dieptekaart met hoge resolutie van de voorkant van de quadcopter gemaakt. In het begin had ik wat problemen met het feit dat de infraroodcamera bepaalde objecten zoals glas niet kon detecteren. Door een SONAR-sensor toe te voegen, kon ik dit probleem oplossen. De combinatie van de Rock64 en DJI Naza was succesvol omdat het systeem de quadcopter kon stabiliseren en tegelijkertijd objecten en muren kon detecteren via op maat gemaakte computervisie-algoritmen met behulp van OpenCV. Hoewel het huidige systeem functioneel is en aan de eisen voldoet, zou het kunnen profiteren van enkele toekomstige prototypes.

Dit systeem kan worden verbeterd door camera's van hogere kwaliteit te gebruiken om mensen nauwkeuriger te kunnen detecteren. Sommige van de duurdere FLIR-camera's hebben de mogelijkheid om hittesignaturen te detecteren, wat een nauwkeurigere detectie mogelijk maakt. Het systeem zou ook in verschillende omgevingen kunnen functioneren, zoals stoffige en met rook gevulde kamers. Met nieuwe technologie en brandbeveiliging kan dit systeem naar brandende huizen worden gestuurd en snel detecteren waar de mensen zijn, zodat eerstehulpverleners de overlevenden uit gevaar kunnen halen.

Bedankt voor het lezen! Vergeet niet op mij te stemmen in de Optiekwedstrijd!