SEER- InternetOfThings gebaseerde intelligente persoonlijke assistent - Ajarnpa

2024 Auteur: John Day | [email protected]. Laatst gewijzigd: 2024-01-30 11:19

Seer is een apparaat dat een boosterrol zal spelen op het gebied van slimme huizen en automatisering. Het is in feite een toepassing van internet of things.

SEER is een 9-inch handsfree draadloze luidspreker gemaakt van Raspberry Pi 3 model B met een geïntegreerde camera die je met je stem bedient. SEER draait op Amazon Web Services en vereist een Hologram Nova USB-modem voor een snelle internetverbinding. Om een commando te starten, moet SEER een 'wake word' horen. Het standaardwoord is 'SEER', hoewel je dit via onze app kunt wijzigen.

Met SEER kan een compatibel apparaat muziek afspelen, vragen beantwoorden, de lichten bedienen en nog veel meer.

SECURITY-SEER is een nieuwe benadering van slimme huisbeveiliging, automatisering en spraakbesturing.

01 Seer haalt automatisch de contacten voor politie, brandweer en ambulance die het dichtst bij je huis zijn binnen, waardoor je met één druk op de knop toegang hebt tot de juiste autoriteiten, waar ter wereld je ook bent. Met video- en audiobewijs van lopende inbraken, krijgt uw oproep de prioriteit die het verdient.

02 Automatische modusomschakeling. Geen gedoe met een toetsenbord of zelfs maar uittrekken? jouw telefoon. De ziener voelt wanneer je komt en gaat, en verandert automatisch van modus.

03 Hoge kwaliteit video, dag en nacht. Met de premium videokwaliteit van Seer, superieur nachtzicht en een groothoeklens van 147 graden weet je altijd wat er thuis gebeurt. Kijk op elk moment live en stream HD-clips van volledige lengte zonder extra kosten.

04 Privacy waarop u kunt vertrouwen. Met een ingebouwde privacy-instelling kun je met Seer de camera en microfoon op elk moment volledig uitschakelen. Bij het opnemen past Seer uitgebreide beveiligingsmaatregelen toe om privégegevens te beschermen.

SYSTEEM-

01 Seer speelt al je muziek af van Spotify, Pandora, hartradio, TuneIn, Amazon Music en meer met alleen je stem. We willen allemaal graag weten hoe onze favoriete sportteams het doen. Met Seer hoor je details zoals scores en geplande schema's voor INDISCHE sporten. Het enige wat je hoeft te doen is zeggen 'Ziener, geef me mijn sportupdate.

02 Met alleen je stem kun je je lampen bedienen. Je kunt Seer vragen om alle lichten aan of uit te zetten of de kleur van je lichten te veranderen telkens wanneer een nieuw nummer op je Seer-apparaat wordt afgespeeld.

03 Tenzij u vanuit huis werkt, is de verkeerssituatie naar uw bedrijf elke dag een belangrijk detail om te weten. Gelukkig kan Seer je helpen files te vermijden.

04 Domino's Pizza maakt het nu mogelijk om eten te bestellen door simpelweg een tweet te sturen. Dankzij IFTTT is deze functie verder geautomatiseerd zodat je met je stem pizza kunt bestellen. Om dit te doen, moet u IFTTT gebruiken en een Twitter-account hebben.

05 Ja, je kunt op Uber bestellen met onze Seer. Om dit te doen, moeten we de mogelijkheden toevoegen aan de Seer-app. Selecteer Vaardigheden onder het hoofdmenu in de app. Zoek 'Uber' en selecteer vervolgens 'Vaardigheid inschakelen'. U moet 'Akkoord en inschakelen', waarmee Uber toegang heeft tot uw apparaatlocatie.

06 Dit is goud voor speciaal gehandicapte mensen, want die kunnen niet zien, moeten vele dag- en tweedaagse drukte ondergaan, als een helpende hand hebben we een vaardigheid, dat volgens de stemming die het zingt, spreekt, praat en veel merries wat de persoon wil.

07 Met Seer kun je alarm, herinneringen, zelfs oproepen, berichten maken, ze beantwoorden en een volledige omgeving van een slim huis creëren.

08 Help mensen met een visuele handicap/ouderdom om contact te maken met de wereld door hen toegang te geven tot Wikipedia, Gmail, muziek, nieuws, spraakgestuurde rekenmachine.

Stap 1: Vereiste hardware

Laten we, voordat u aan de slag gaat, bekijken wat u nodig heeft.

Raspberry Pi 3 (aanbevolen) of Pi 2 Model B (ondersteund)

Hologram Global IoT-simkaart

Hologram Huawei E303/353 USB mobiel modem

STEVAL-STLKT01V1 - Met behulp van ST Microelectronics STEVAL-STLKT01V1 maken we een slimme beveiligingscamera die u op de hoogte stelt wanneer onbevoegde personen uw winkel/huis binnenkomen. STEVAL-STLKT01V1, bewegingssensoren worden gebruikt om de beweging in 360 graden te detecteren en vervolgens zal de Raspberry Pi 3B met behulp van een motor in die richting bewegen en foto's maken en automatisch de betrokken personen informeren. via de Android-app kunnen we meekijken wat er aan de hand is en een alarmnummer bellen. Sensor Tile Cradle met batterijlader, vochtigheids- en temperatuursensor, SD-geheugenkaartsleuf, USB-poort Maakt verbinding met pi en verzendt gegevens naar Amazon-spraakdiensten.

Micro-USB-voedingskabel voor Raspberry Pi.

Micro SD-kaart (minimaal 8 GB) - U hebt een besturingssysteem nodig om aan de slag te gaan. NOOBS (New Out of the Box Software) is een gebruiksvriendelijke installatiemanager voor het besturingssysteem voor Raspberry Pi. De eenvoudigste manier om NOOBS te krijgen, is door een SD-kaart te kopen waarop NOOBS vooraf is geïnstalleerd - Raspberry Pi 8GB Preloaded (NOOBS) Micro SD-kaart. U kunt het ook downloaden en op uw SD-kaart installeren (volg de instructies hier).

USB 2.0 mini-microfoon - Raspberry Pi heeft geen ingebouwde microfoon; om met Alexa te communiceren, heb je een externe nodig om in te pluggen.

Externe luidspreker met 3,5 mm audiokabel.

Een USB-toetsenbord en -muis en een externe HDMI-monitor - we raden ook aan om een USB-toetsenbord en -muis en een HDMI-monitor bij de hand te hebben als u niet op afstand (SSH) naar uw Pi kunt.

Draadloze WiFi-adapter voor Pi 2. Opmerking: Pi 3 heeft ingebouwde WiFi. Voor extra tegoed laten we u zien hoe u op afstand (SSH) op uw apparaat kunt aansluiten, zodat u geen monitor, toetsenbord en muis meer nodig heeft - en hoe tot staart logs voor het oplossen van problemen.

Stap 2: Verbind Raspberry Pi met mobiel met Huawei E303-modem

De Raspberry Pi is een geweldig IoT-platform en het is nog beter met een mobiele internetverbinding.

Het hebben van mobiele connectiviteit op je Raspberry Pi kan een hele wereld aan andere coole projecten voor je openen. Overal waar wifi misschien niet haalbaar is, kun je nu een internetverbinding hebben.

Volg gewoon deze eenvoudige instructies:

• Installeer de nieuwste versie van Raspbian door de instructies op de Raspberry Pi-site te volgen.
• Plaats de Hologram-simkaart in de Huawei-modem door het deksel eraf te schuiven en vervolgens met de contacten naar beneden te plaatsen. Houd er rekening mee dat er een mini-simkaart nodig is.
• Sluit de modem aan op de Raspberry Pi en start de Pi. op
• Open een terminalvenster en typ ifconfig. U zou een vermelding voor eth1 moeten zien, zoals weergegeven in de afbeelding.
• Typ sudo dhclient eth1 om een intern IP-adres aan de modem toe te wijzen.
• Open de webbrowser op de Pi en ga naar
• Ga naar de profielbeheerpagina in de modeminstellingen en maak een nieuw profiel aan. U wilt de APN instellen op "hologram" en de gebruikersnaam en het wachtwoord leeg laten, zoals weergegeven in de afbeelding.
• Ga vervolgens naar de pagina Mobiele verbinding en zorg ervoor dat het netwerk is ingesteld op "Auto" en dat roaming is ingeschakeld.
• De modem zou nu verbinding moeten maken met het mobiele netwerk (u zult zien dat de LED op de modem gaat branden wanneer deze verbinding heeft gemaakt)
• Probeer iets te pingen of naar een website te gaan (zoals https://hologram.io/test.html). Je zou nu alles moeten kunnen doen wat je wilt via internet.
• De modem slaat uw APN-instellingen op, zodat u deze niet opnieuw hoeft te configureren.
• Nieuwere versies van Raspbian hebben geen extra configuratie nodig om de verbinding automatisch tot stand te brengen wanneer het bord is aangesloten, maar als je problemen hebt, voeg deze regels dan toe aan /etc/network/interfaces

toestaan-hotplug eth1

iface eth1 inet Dhcp

Stap 3: Uw Pi. instellen

Tenzij je Raspbian Jessie al op je Pi hebt geïnstalleerd, volg dan onze gids - De raspberry pi instellen - die je zal helpen bij het downloaden en installeren van Raspbian Jessie en het aansluiten van de hardware (als je niet bekend bent met Raspberry Pi, raden we je ten zeerste aan je volgt de bovenstaande gids om je Pi op te zetten en klaar te maken voordat je verder gaat).

Stap 4: Registreer voor een Amazon-ontwikkelaarsaccount

Tenzij je er al een hebt, ga je gang en maak je een gratis ontwikkelaarsaccount aan op developer.amazon.com. U dient de AVS-voorwaarden en -overeenkomsten hier te bekijken.

Stap 5: Maak een apparaat- en beveiligingsprofiel

Volg de stappen hier om uw product te registreren en een beveiligingsprofiel aan te maken.

Noteer de volgende parameters. Je hebt deze nodig in stap 5 hieronder.

• ProductID (ook bekend als apparaattype-ID),
• Client-ID en
• Klantgeheim

Belangrijk: zorg ervoor dat uw Toegestane oorsprong en Toegestane retour-URL's zijn ingesteld onder Beveiligingsprofiel > Webinstellingen (zie Een apparaat en beveiligingsprofiel maken):

• Toegestane oorsprong:
• Toegestane retour-URL's:

Stap 6: Kloon de voorbeeld-app

Open terminal en typ het volgende:

cd Desktopgit-kloon

Stap 7: Werk het installatiescript bij met uw inloggegevens

Voordat u het installatiescript uitvoert, moet u het script bijwerken met de referenties die u in stap 3 hebt gekregen - ProductID, ClientID, ClientSecret. Typ het volgende in terminal:

cd ~/Desktop/alexa-avs-sample-appnano automatic_install.sh

Plak de waarden voor ProductID, ClientID en ClientSecret die u uit stap 3 hierboven hebt gekregen. De wijzigingen zouden er als volgt uit moeten zien:

• ProductID="RaspberryPi3"
• ClientID="amzn.xxxxx.xxxxxxxxx"
• ClientSecret="4e8cb14xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx6b4f9"

Typ ctrl-X en vervolgens Y en druk vervolgens op Enter om de wijzigingen in het bestand op te slaan.

Stap 8: Voer het installatiescript uit

U bent nu klaar om het installatiescript uit te voeren. Hiermee worden alle afhankelijkheden geïnstalleerd, inclusief de twee wake-word-engines van Sensory en KITT. AI.

Opmerking: het installatiescript installeert alle projectbestanden in de map van waaruit het script wordt uitgevoerd. Om het script uit te voeren, opent u de terminal en navigeert u naar de map waarin het project is gekloond. Voer vervolgens de volgende opdracht uit:

cd ~/Desktop/alexa-avs-sample-app. geautomatiseerde_installatie.sh

U wordt gevraagd een paar eenvoudige vragen te beantwoorden. Deze helpen ervoor te zorgen dat u aan alle noodzakelijke vereisten hebt voldaan voordat u doorgaat.

Wanneer de tovenaar begint, ga je een kopje koffie pakken - het duurt ongeveer 30 minuten.

Stap 9: voer uw webservice, voorbeeld-app en Wake Word Engine uit

Nu de installatie is voltooid, moet u drie opdrachten uitvoeren in 3 afzonderlijke terminalvensters:

• Terminalvenster 1: om de webservice voor autorisatie uit te voeren
• Terminalvenster 2: om de voorbeeld-app uit te voeren om met AVS te communiceren
• Terminalvenster 3: om de wake-word-engine uit te voeren waarmee u een interactie kunt starten met de uitdrukking "Alexa".

Opmerking: deze opdrachten moeten in volgorde worden uitgevoerd.

Terminalvenster 1

Open een nieuw terminalvenster en typ de volgende opdrachten om de webservice te openen die wordt gebruikt om uw voorbeeld-app met AVS te autoriseren:

cd ~/Desktop/alexa-avs-sample-app/samplescd companionService && npm start

De server draait nu op poort 3000 en u bent klaar om de client te starten. Zie API-overzicht Autorisatie voor meer informatie over autorisatie.

Terminalvenster 2

Open een nieuw terminalvenster en typ de volgende opdrachten om de voorbeeld-app uit te voeren, die communiceert met AVS:

cd ~/Desktop/alexa-avs-sample-app/samplescd javaclient && mvn exec:exec

Zie API-overzichtsinterfaces voor meer informatie over de berichten die naar/van AVS worden verzonden.

Laten we de volgende paar stappen doorlopen die relevant zijn voor Window

1. Wanneer u de client uitvoert, zou er een venster moeten verschijnen met het bericht - Registreer uw apparaat door de volgende URL in een webbrowser te bezoeken en de instructies te volgen:

localhost:3000/provision/d340f629bd685deeff28a917. Wilt u de URL automatisch openen in uw standaardbrowser?

Klik op "Ja" om de URL in uw standaardbrowser te openen.

2. Als je Raspbian Jessie gebruikt met Pixel-desktop (en met Chromium-browser), krijg je mogelijk een waarschuwing van de browser. U kunt dit omzeilen door te klikken op Geavanceerd -> Doorgaan naar localhost (onveilig).

3. Je wordt naar een Login met Amazon-webpagina geleid. Voer uw Amazon-inloggegevens in.

4. U wordt naar een Dev Authorization-pagina geleid, waarin wordt bevestigd dat u wilt dat uw apparaat toegang krijgt tot het eerder gemaakte beveiligingsprofiel. Klik op OK.

5. U wordt nu doorgestuurd naar een URL die begint met

6. Keer terug naar de Java-toepassing en klik op de knop OK. De client is nu klaar om Alexa-verzoeken te accepteren.

Terminalvenster 3

Opmerking: sla deze stap over om dezelfde app uit te voeren zonder een wake-word-engine.

Dit project ondersteunt twee wake-word-engines van derden: Sensory's TrulyHandsFree en KITT. AI's Snowboy. De parameter -e wordt gebruikt om de agent te selecteren en ondersteunt twee waarden voor {{engine}}: kitt_ai en sensory.

Open een nieuw terminalvenster en gebruik de volgende opdrachten om een wake-word-engine van Sensory of KITT. AI te openen. Met de wake-word-engine kunt u interacties starten met de uitdrukking "Alexa".

Om de zintuiglijke wake-woordengine te gebruiken, typt u -

cd ~/Desktop/alexa-avs-sample-app/samplescd wakeWordAgent/src &&./wakeWordAgent -e zintuiglijk

of typ dit om de wake-word-engine van KITT. AI te gebruiken -

cd ~/Desktop/alexa-avs-sample-app/samplescd wakeWordAgent/src &&./wakeWordAgent -e kitt_ai

Nu heb je een werkend handsfree AVS-prototype! Gebruik de volgende bronnen voor meer informatie over beschikbare wake-word-engines:

• zintuiglijk
• KITT. AI

Stap 10: Praat met Alexa

Je kunt nu met Alexa praten door simpelweg het wake-woord "Alexa" te gebruiken. Probeer het volgende -

Zeg "Alexa" en wacht op de piep. Zeg nu "hoe laat is het?" Zeg "Alexa" en wacht op de piep. Zeg nu "hoe is het weer in Seattle?" Als u wilt, kunt u ook op de knop "Luisteren" klikken in plaats van het wake-woord te gebruiken. Klik eenmaal op de "Luister"-knop, wacht na het loslaten van de klik op het geluidssignaal voordat u begint te spreken. Het kan een seconde of twee duren voordat u het geluidssignaal hoort

Stap 11: Uitloggen bij de voorbeeld-app

Zie voorbeeldinstructies voor uitloggen van apps.

Stap 12: Ga zonder hoofd en verwijder de monitor, het toetsenbord en de muis

Nu je AVS-prototype draait, wil je misschien de monitor, het toetsenbord en de muis wegdoen. U kunt dat doen door SSH en VNC te gebruiken.