TJBOT bouwen met Raspberry Pi - Ajarnpa

2024 Auteur: John Day | [email protected]. Laatst gewijzigd: 2024-01-30 11:15

Invoering

IBM TJBOT-cursus:klik hier

TJBotTJBot is een open-sourceproject, klaar voor de gemeenschap om te nemen en te gebruiken op elke mogelijke manier die je maar kunt bedenken. TJBot is een van de vele IBM Watson Maker Kits, een verzameling doe-het-zelf (DIY) open source-sjablonen om op een leuke manier verbinding te maken met Watson-services.

TJBot is de eerste maker kit in de collectie en is gemaakt door Maryam Ashoori van IBM Research als een experiment om de beste praktijken te vinden in het ontwerp en de implementatie van cognitieve objecten. TJBot is vernoemd naar Thomas J. Watson, de eerste voorzitter en CEO van IBM. TJBot gebruikt gemakkelijk verkrijgbare, goedkope hardware: Raspberry Pi, luidspreker, microfoon, camera, LED en een servomotor.

TJBot gebruikt deze componenten (en andere die u kunt verbinden) om de omgeving eromheen te begrijpen en om visuele en auditieve signalen aan de gebruiker uit te drukken. De kern van de intelligentie van de TJBot zijn IBM Watson-services die een beter begrip van audio en visuele signalen mogelijk maken door gebruik te maken van transcriptie van audio die is vastgelegd door de microfoon, object- en kleurclassificatie van afbeeldingen die zijn vastgelegd met de camera, spraaksynthese van tekst met behulp van de spreker, taalvertaling, emotie- en toonanalyse en natuurlijk taalbegrip om te reageren op gebruikersinvoer. Robots maken al tientallen jaren deel uit van sciencefictionfilms en televisieprogramma's. Kunstmatige intelligentie heeft het echter pas sinds kort mogelijk gemaakt voor robots om autonoom acties uit te voeren met minimale rekenkracht.

TJBot is een fysieke robot, maar de mogelijkheden kunnen overal worden uitgevoerd. In deze cursus maak je gebruik van Node.js en een webgebaseerde simulator. Omdat de gemeenschap de bewaarder van het open source-project is geworden, omvatten nieuwe varianten van runtimes nu Swift en Node-RED.

Stap 1: ONDERDELEN nodig

1. ELEKTRONICA:

• Raspberry Pi 3
• USB-microfoon
• Luidspreker met 3,5 mm audio-aansluiting.

2.3D GEDRUKTE ONDERDELEN:

U kunt STL-bestanden krijgen via onderstaande link:

ibmtjbot.github.io/#gettj

Stap 2: Uw Raspberry PI voorbereiden

1. Koop je Raspberry pi met 4 GB RAM (Rpi-3 zou ook werken, maar de reactie is erg traag)

2. Installeer uw Raspbian-besturingssysteem.

3. Pakketten installeren

Open een terminaltoepassing op de Pi en voer de volgende opdrachten uit om de nieuwste versie van Node.js en npm (Node Package Manager) te installeren. U hebt deze pakketten later nodig om uw code uit te voeren.

curl -sL https://ibm.biz/tjbot-bootstrap | sudo sh -

Afhankelijk van de audio-uitgangsbron die u gebruikt met uw Pi (HDMI, 3,5 mm audio-aansluiting, Bluetooth, USB-luidspreker), moet u mogelijk de audioconfiguratie instellen.

HDMI/ 3,5 mm audio-aansluiting Als u HDMI of 3,5 mm audio-aansluiting gebruikt, moet u mogelijk de audioconfiguratie instellen. Ga hiervoor naar de terminal en open raspi-config.

sudo raspi-config

Dit opent het Raspberry Pi-configuratiescherm:

Selecteer "Geavanceerde opties" en druk op Enter, selecteer vervolgens "Audio" en druk op Enter. Kies het juiste kanaal voor de uitgevoerde audio. Als u een externe luidspreker op de audio-aansluiting hebt aangesloten, moet u de 3,5 mm-aansluiting selecteren.

USB-luidspreker Als u een USB-audio hebt, moet u uw /usr/share/alsa/alsa.config bijwerken om de USB-audio in te stellen als het standaardapparaat.

Begin met het uitvoeren van de volgende opdracht om ervoor te zorgen dat uw USB is aangesloten en daar wordt vermeld.

lsusb

Vervolgens moet u het kaartnummer van uw USB-audio detecteren.

aplay -l

Noteer het kaartnummer dat bij uw USB-audio hoort.

Ga dan naar het bestand alsa.config om het als standaard in te stellen.

sudo nano /usr/share/alsa/alsa.conf

Zoeken

standaardinstellingen. ctl.kaart 0

defaults.pcm.card 0

en update het kaartnummer (0 hier) naar het kaartnummer van uw USB-audio.

Verschillende versies van Raspberry Pi OS hebben mogelijk een andere setup nodig. Als je problemen hebt met je USB-installatie, bekijk dan deze handleiding om het probleem op te lossen.

Stap 3: Github-opslagplaats

De broncode is beschikbaar op:

sudo git clone

cd TJBOT/recepten/gesprekken sudo npm install

Pro-tip: als u een foutmelding krijgt voor npm install waarin staat dat npm niet gevonden is, moet u eerst npm op uw computer installeren. Dit is de opdrachtregel om npm te installeren

sudo apt-get install npm

Stap 4: Voeg uw referenties toe

Voeg uw inloggegevens toe aan de volgende services:

Spraak naar tekst

watson assistent

Tekst naar spraak

$ cp config.default.js config.js$ nano config.js

Nu bent u klaar om met uw TJBot te praten! Open een terminal en voer de volgende opdracht uit:

sudo node conversation.js

Stap 5: Praat met je TJBot

Watson-conversatie gebruikt intenties om het doel van een zin te labelen. Als je TJBot bijvoorbeeld vraagt "Please stel jezelf voor", is het de bedoeling om een introductie te maken. Je kunt je eigen nieuwe intenties toevoegen in de Gesprekseditor, maar voor nu zijn we begonnen met een paar intenties:

Invoering. Je kunt zinnen zeggen als "Watson, stel jezelf voor", "Watson, wie ben jij" en "Watson, kun je jezelf voorstellen"

Grap. U kunt vragen "Watson, vertel me een grapje" of "Watson, Ik zou graag een grap horen". Voor een volledige lijst, check de inhoud van workspace-sample.json

Er wordt een attentiewoord gebruikt zodat TJBot weet dat je met hem praat.

Het standaard attentiewoord is 'Watson', maar u kunt dit als volgt wijzigen in config.js. Werk het configuratiebestand bij om de robotnaam in de tjConfig-sectie te wijzigen:

// stel de configuratie van TJBot in exports.tjConfig = {

log: { niveau: 'uitgebreid' },

robot: {naam: 'tee jay bot'}

};

U kunt de 'naam' wijzigen in hoe u uw TJBot ook wilt noemen. Bovendien, als je het geslacht verandert in 'vrouwelijk', zal TJBot een vrouwelijke stem gebruiken om met je te praten!

Genieten van! Vergeet niet een foto/video van je setup te delen #TJBot!:-)

Problemen oplossen Als u de reactie van TJBot op de terminal ziet, maar TJBot niet hoort praten, is de kans groot dat een van deze twee dingen is gebeurd: (1) De audio-uitvoer is naar een verkeerd kanaal gestuurd (u kunt het repareren met raspi- config), (2) uw geluidsmodules zijn geblokkeerd. Ga in dat geval naar /etc/modprobe.d/ en verwijder blacklist-rgb-led.conf. Voer vervolgens de volgende opdracht uit:

sudo update-initramfs -u

Start opnieuw op en controleer of de "snd"-modules actief zijn door het commando "lsmod" uit te voeren. Dit zou het probleem moeten oplossen.

lsmod

Neem voor vragen contact op met [email protected]