Aan de slag met de M5StickV AI + IOT-camera: 6 stappen (met afbeeldingen)

2024 Auteur: John Day | [email protected]. Laatst gewijzigd: 2024-01-30 11:16

Kort overzicht

De M5StickV is een kleine AI + IOT-camera met een diameter van bijna 2 munten, de prijs is ongeveer $ 27,00, wat voor sommigen duur kan lijken voor zo'n kleine camera, maar hij heeft wel degelijke specificaties. De camera wordt aangedreven door de ongelooflijk krachtige machine learning AI-chip Kendryte K210, een edge computing system-on-chip met dual-core 64-bit RISC-V CPU en state-of-art neurale netwerkprocessor, waardoor hij perfect en gebruiksklaar is. Gebruik voor:

• Gezichtsherkenning/detectie
• Objectdetectie/classificatie
• De grootte en coördinaten van het doel in realtime verkrijgen
• Een type gedetecteerd doel in realtime verkrijgen
• Vormherkenning
• Spelsimulator

De M5StickV wordt geleverd in een mooi pakket met de M5StickV zelf en een USB-A naar USB-C-kabel.

Hardwarefuncties

SoC - Kendryte K210 dual-core 64-bit RISC-V-processor @ 400 MHz met dubbele onafhankelijke FPU met dubbele precisie, 8 MB on-chip SRAM, Neural Network Processor (KPU) @ 0.8Tops, Field-Programmable IO Array (FPIOA) en meer

• Opslag – 16 MB flash, microSD-kaartsleuf
• Display - 1,14″ SPI-display met 240×135 resolutie (ST7789-stuurprogramma)
• Camera – VGA (640×480) camera via OV7740-sensor
• Audio – MAX98357 mono-audioversterker, luidspreker
• Sensor – MPU6886 3-assige gyroscoop, 3-assige versnellingsmeter
• USB – 1x USB-C-poort voor voeding en programmering
• Diversen - Voor- en zijknoppen (A / B), aan / uit-knop, RGBW-LED
• Uitbreiding – 4-pins “CONNEXT” poort
• Stroomvoorziening
• 200 mAh-batterij
• AXP192 PMIC

Een meer gedetailleerde specificatie is te vinden op de officiële website van M5Stack. Allereerst moeten we de nieuwste firmwareversie downloaden.

Stap 1: Firmware branden op M5StickV

• Sluit de M5StickV aan op de computer via de Type-C-kabel.
• Download de nieuwste firmware voor M5StickV via deze link.

Voor ramen:

Er zijn 3 methoden om firmware voor Windows OS te branden:

EasyLoader-tool gebruiken

1. Selecteer de juiste COM-poort
2. Druk op Branden
3. Na voltooiing van het bijwerken van de firmware, zult u zien dat deze met succes is gebrand.

Kflash GUI gebruiken

1. Open gedownloade firmware met de knop Bestand openen
2. Selecteer bord als M5StickV
3. Klik op Downloaden

Opdrachtprompt gebruiken

• Controleer de COM-poort voor uw M5StickV in Apparaatbeheer van Windows.
• Op Windows moet je Python3 met pip3 geïnstalleerd hebben en ook het pyserial-pakket. U kunt de nieuwste versie van Python downloaden van de officiële website.
• Open de opdrachtprompt als beheerder en typ de volgende opdracht:

pip3 kflash installeren

Voer na het voltooien van de installatie de volgende opdracht uit:

kflash.exe -p COM3 M5StickV_Firmware_1022_beta.kfpkg

Voor Linux:

• Kflash GUI gebruiken
• Terminal gebruiken:

Voer de volgende opdracht uit op terminal:

sudo pip3 kflash installeren

Kflash gebruiken om firmware-image te branden

sudo kflash -b 1500000 -B goE M5StickV_Firmware_1022_beta.kfpkg

Voor MacOS:

Open terminal en voer de volgende opdracht uit:

sudo pip3 kflash installeren

Als je na de installatie een foutmelding krijgt, probeer dan de volgende opdracht:

sudo python -m pip kflash installeren

sudo python3 -m pip kflash installeren sudo pip kflash installeren sudo pip2 kflash installeren

Voer de volgende opdracht in:

sudo kflash -b 1500000 -B goE M5StickV_Firmware_1022_beta.kfpkg

Stap 2: De M5stickV voor de eerste keer opstarten

Voor MacOS en Linux:

1. Open terminal Installeer schermhulpprogramma voor MacOS en Linux.
2. Het kan worden geïnstalleerd met de volgende opdracht:

sudo apt-get installatiescherm

Gebruik het schermhulpprogramma om verbinding te maken met M5stickV via seriële communicatie

sudo-scherm /dev/ttyUSB0 115200

Het zal afdrukken:

[MAIXPY]Pll0:freq:832000000[MAIXPY]Pll1:freq:398666666 [MAIXPY]Pll2:freq:45066666 [MAIXPY]cpu:freq:416000000 [MAIXPY]kpu:freq:398666666 [MAIXPY]Flash:0xc8:0x17 open seconde core… gc heap=0x80215060-0x80295060 [MaixPy] init end _ _ _ _ _ _ _ _ | \/ | /\ |_ _| / \ / / | _ / \ / / / | / / | / / | | / V / | |_) | / \_/ / | |\/| | / /\ / | | > < | _/ / / | | | | / _ / _| |_ /. / | | | | |_| |_| /_/ \_\ |_| /_/ \_\ |_| |_| M5StickV door M5Stack: https://m5stack.com/ M5StickV Wiki: https://m5stack.com/ Co-op door Sipeed: https://m5stack.com/ [MAIXPY]: resultaat = 0 [MAIXPY]: numchannels = 1 [MAIXPY]: samplerate = 44100 [MAIXPY]: byterate = 88200 [MAIXPY]: blockalign = 2 [MAIXPY]: bitspersample = 16 [MAIXPY]: datasize = 158760 init i2c2 [MAIXPY]: vind ov7740

Wanneer verbonden, zal het automatisch Maixpy UI openen. Nu het apparaat de standaardprogrammacode gebruikt, kunt u deze beëindigen met Ctrl+C

Voor ramen

1. Download PuTTY - een gratis SSH- en telnet-client voor Windows
2. Installeer en open PuTTY
3. Selecteer COM-poort en baudrate
4. Klik op de knop Openen en u krijgt dezelfde schermuitvoer als hierboven.
5. Beëindig het met Ctrl+C.

Stap 3: Print Hello World-voorbeeld op display van M5StickV

Voer de volgende opdrachten in uw terminal van MacOS en Linux in. Gebruik voor Windows PuTTY

import lcdlcd.init() lcd.draw_string(100, 100, "hallo wereld", lcd. RED, lcd. BLACK)

Stap 4: MaixPy IDE

De MaixPY IDE is een gekloonde versie van de OpenMV IDE. M5StickV ondersteunt de ontwikkelomgevingen OpenMV en MicroPython.

• Download MaixPy IDE vanaf hier.
• Installeer MaixPy IDE
• Start de MaixPy IDE
• Selecteer het model van het ontwikkelbord - Tools-> Selecteer Board-> M5StickV.
• Klik op de groene Connect link-knop in de linkerbenedenhoek en selecteer de USB-seriële verbindingspoort, klik op OK.
• Wanneer de verbindingsknop van groen naar rood verandert, is deze succesvol verbonden.
• Klik op de knop Uitvoeren in de linkerbenedenhoek om de code uit te voeren en te verifiëren.
• Klik op het tabblad seriële terminal hieronder.
• Ten slotte ziet u de uitvoer in het MaxPy-venster.

Stap 5: Gezichtsdetectie met M5StickV

• Standaard was gezichtsherkenningsmodel en programmacode al voorgeïnstalleerd. Dit is hoe het werkt.
• Het voorbeeld van gezichtsdetectie werkt redelijk goed.
• Om de andere modellen te kunnen gebruiken, moeten we deze in het flashgeheugen van de M5StickV branden met kflash_gui. Andere modellen kunnen hier worden gedownload. Er is een voorgetraind model, het mobilenet, dat is voorgetraind om 1000 objecten te herkennen. Het kan met gemak veel alledaagse voorwerpen detecteren.
• Kopieer de onderstaande code naar MaixPy IDE.

import sensorimport image import KPU als kpu sensor.reset() sensor.set_pixformat(sensor. RGB565) sensor.set_framesize(sensor. QVGA) sensor.run(1) task = kpu.load(0x300000) anchor = (1.889, 2.5245, 2.9465, 3.94056, 3.99987, 5.3658, 5.155437, 6.92275, 6.718375, 9.01025) a = kpu.init_yolo2(task, 0.5, 0.3, 5, anchor) while(True): img = sensor.snapshot() code = kpu.run_yolo2(task, img) if code: for i in code: print(i) a = img.draw_rectangle(i.rect()) a = kpu.deinit(task)

• Druk op de knop Uitvoeren en het bord geeft live video weer van de camera naar de MaixPyIDE.
• De nauwkeurigheid is redelijk goed, aangezien we het op een bord van $ 27 gebruiken. Dit is werkelijk indrukwekkend en revolutionair.

Stap 6: Conclusie

Dit bord is echter niet ideaal, het mist analoge ingangen, microfoon, wifi en Bluetooth. Het is echter een geweldige camera met AI-mogelijkheden die kan worden gebruikt voor gezichtsherkenning, object- of vormdetectie en vele andere detectieactiviteiten. Dit is ook een geweldige dev-kit om aan de slag te gaan met de Kendryte K210 RISC-V-kern.

Ik hoop dat je deze handleiding nuttig vond en bedankt voor het lezen. Heeft u vragen of feedback? Laat hieronder een reactie achter. Blijf kijken!