Gegevens van Magicbit in AWS visualiseren: 5 stappen

2024 Auteur: John Day | [email protected]. Laatst gewijzigd: 2024-01-30 11:14

Gegevens die zijn verzameld van sensoren die zijn aangesloten op Magicbit, worden via MQTT gepubliceerd naar de AWS IOT-kern om in realtime grafisch te worden gevisualiseerd. We gebruiken magicbit als ontwikkelbord in dit project dat is gebaseerd op ESP32. Daarom kan elk ESP32-ontwikkelbord in dit project worden gebruikt.

Benodigdheden:

Magicbit

Stap 1: Verhaal

Dit project gaat over het verbinden van uw Magicbit-apparaat met de AWS Cloud via MQTT. Gegevens die via MQTT worden verzonden, worden geanalyseerd en gevisualiseerd in de cloud met behulp van AWS-services. Dus laten we beginnen

Ga eerst naar de AWS-console en log in. Voor leerdoeleinden kunt u de gratis laagoptie gebruiken die door AWS wordt aangeboden. Het zal genoeg zijn voor dit project.

Om het eenvoudiger te maken, zal ik het project in twee delen verdelen.

Dit wordt de eerste fase van ons project. Aan het einde van de eerste fase worden gegevens opgeslagen in de S3-buckets.

De AWS-services die in de eerste sectie zullen worden gebruikt,

• Kinesis Brandslang
• AWS-lijm
• AWS S3

Navigeer eerst naar de AWS Kinesis-service.

Kies Kinesis Data Firehose zoals hieronder weergegeven en klik op Maken

Vervolgens wordt u doorgestuurd naar stap 1 van het maken van een Firehose-service. Voer een naam voor de leveringsstroom in en kies Direct Put of Other Sources. Klik volgende.

Laat in het venster Stap 2 alles als standaard staan en klik op volgende. Nadat we de AWS Glue Service hebben gemaakt, komen we terug om deze stap te bewerken.

Kies in stap 3 een S3-bucket als u deze al eerder hebt gemaakt. Klik anders op maken en maak een bucket. Gebruik in de S3-prefixsectie dest/ en voer in error prefix error/ in. U kunt een willekeurige naam invoeren voor de bovenstaande twee. Maar voor het gemak gaan we verder met een gewone naam. Zorg ervoor dat u een map met de naam dest maakt in de bucket die u hebt gekozen. Klik volgende.

Kies in stap 4 de minimale buffergrootte en het bufferinterval voor realtime gegevensoverdracht. Kies in het gedeelte Machtiging de optie IAM-rol maken of bijwerken KinesisFirehoseServiceRole. Houd alles standaard. Klik volgende.

In het volgende gedeelte wordt een overzicht van de door u aangebrachte wijzigingen getoond. Klik OK. Dan heb je een werkende Kinesis Firehose.

Als u met succes de Firehose-service hebt gemaakt, krijgt u zoiets als dit.

Stap 2: De brandslang en S3-emmer testen

Om te testen of de brandslang en S3-emmer goed werken, selecteert u IOT-kern in de console. U wordt doorverwezen naar een pagina als deze. Kies Regel en maak een regel aan.

Wat is de AWS IOT-regel?

Het wordt gebruikt om alle gegevens die van MQTT zijn ontvangen door te sturen naar een bepaalde service. In dit voorbeeld gaan we door naar Kinesis Firehose.

Kies een naam voor de regel. Laat de Rule and Query Statement zoals het is. Dit vertelt ons dat alles dat in het iot/topic-onderwerp wordt gepubliceerd, via deze regel wordt doorgestuurd naar kinesis Firehose.

Klik onder de sectie Een of meer acties instellen op actie toevoegen. Kies Stuur een bericht naar Amazon Kinesis Firehose Stream. Kies configureren. Selecteer vervolgens de naam van de eerder gemaakte firehose-stream. Klik vervolgens op Een rol maken en maak een rol aan. Nu heb je met succes een rol aangemaakt in AWS.

Elk bericht dat u publiceert, wordt doorgestuurd via de Kinesis Firehose naar S3-buckets.

Houd er rekening mee dat de Firehose gegevens verzendt wanneer de buffer is gevuld of wanneer het bufferinterval is bereikt. Het minimale bufferinterval is 60 sec.

Nu kunnen we naar het tweede deel van het project gaan. Dit wordt ons gegevensstroomdiagram.

Stap 3: AWS-lijm configureren

Waarom hebben we AWS Glue en AWS Athena nodig?

Gegevens die zijn opgeslagen in S3-buckets kunnen niet rechtstreeks worden gebruikt als invoer voor AWS Quicksight. Eerst moeten we de gegevens in de vorm van tabellen ordenen. Hiervoor maken wij gebruik van bovenstaande twee diensten.

Ga naar AWS-lijm. Selecteer Crawler op de zijwerkbalk. Selecteer vervolgens Crawler toevoegen.

Voer in de eerste stap een naam in voor uw crawler. Klik volgende. Laat het in de volgende stap als standaard. Voer in de derde stap het pad in naar de door u gekozen S3-bucket. Laat het volgende venster als standaard. Voer in het vijfde venster een willekeurige IAM-rol in. Kies in de volgende stap de frequentie van het uitvoeren van de service.

Het is raadzaam om in de vervolgkeuzelijst op maat te selecteren en een minimale tijd te kiezen.

Klik in de volgende stap op Database toevoegen en vervolgens op Volgende. Klik op Voltooien.

Nu moeten we onze Kinesis Firehose integreren met de AWS-lijm die we hebben gemaakt.

Ga naar AWS Kinesis-brandslang die we hebben gemaakt en klik op bewerken.

Scroll naar beneden naar de sectie Recordformaat converteren en kies Ingeschakeld.

Kies het uitvoerformaat als Apache Parquet. Voor de rest van de details vult u de details van de Glue-database in die u hebt gemaakt. Er moet een tabel in de database worden gemaakt en de naam moet aan deze sectie worden toegevoegd. Klik op Opslaan.

Stap 4: AWS Athena configureren

Kies de database en de gegevenstabel die u hebt gemaakt. In de querysectie moet deze code worden toegevoegd.

tabelnaam moet worden vervangen door de werkelijke naam van de Glue-tabel die u hebt gemaakt.

Klik op Query uitvoeren. Als het werkt, moeten de gegevens die zijn opgeslagen in de AWS S3-bucket, worden weergegeven als een gegevenstabel.

Nu zijn we klaar om de gegevens die we hebben te visualiseren.

Stap 5: QuickSight configureren

Navigeer naar AWS Quicksight

Klik op Nieuwe analyse in de rechterbovenhoek en klik vervolgens op Nieuwe gegevensset.

Kies Athene uit de lijst. Voer een willekeurige gegevensbronnaam in op de pop-upkaart.

Selecteer de Glue-database in de vervolgkeuzelijst en de relevante tabel. Hiermee navigeert u naar deze pagina.

Sleep een willekeurig veld uit de lijst met velden en selecteer een willekeurig visueel type.

Nu kunt u alle gegevens visualiseren die vanaf uw MagicBit zijn verzonden met behulp van AWS-services!!!

Vergeet niet om toegang voor quicksight toe te staan voor de respectieve S3-buckets om de gegevens erin te visualiseren.