Aangepaste acties maken voor de Google Assistent: 12 stappen

2024 Auteur: John Day | [email protected]. Laatst gewijzigd: 2024-01-30 11:16

Toen ik het potentieel zag van Google Assistant zoals het werd gepresenteerd in Google I/O 18 en Volvo Cars in hun infotainmentsysteem, kon ik het niet laten om het uit te proberen. Ik heb een van mijn oudere projecten, VasttraPi, opnieuw gebruikt en gekoppeld aan Google Assistant. Als je meer wilt lezen over het project, zou ik het leuk vinden als je een kijkje neemt in het gerelateerde artikel op mijn blog: Aangepaste acties voor Google Assistant.

In deze Instructable bespreken we de stappen die nodig zijn om uw eigen Google Assistent-actie te starten die met uw server zal communiceren en met u zal terugpraten, met vermelding van aanstaande vertrekken. Houd er rekening mee dat we de SDK niet gaan gebruiken, omdat we dit volledig in Google Assistant uitvoeren en niet op ons eigen apparaat. Over het algemeen wordt het simpel gehouden. Je actie is bruikbaar op apparaten die Google Assistent ondersteunen, zoals telefoons, tablets, thuisassistenten en wearables, en je kunt deze zelfs delen zoals je zou doen met een app in de Play Store!

Een van de belangrijkste voordelen van het maken van zoiets ten opzichte van het gebruik van services zoals IFTTT, is dat u aangepaste antwoorden op uw server kunt maken die door Google Assistant worden gelezen. In IFTTT is de communicatie wat mij betreft eenrichtingsverkeer.

De volgende onderwerpen komen aan bod:

• Uw eerste Action-project maken
• Uw aangepaste intentie maken
• Uw aangepaste entiteit maken
• Een webhook instellen om uw actie uit te voeren
• Het opzetten van een eenvoudige REST-server, geschreven in Python met Flask, die de antwoorden of "vervulling" zal bieden
• Uw Action-project testen
• Je Action-project vrijgeven

Hier vind je niet veel details of theorie over de verschillende Google Assistant functies en concepten. Als je hierin geïnteresseerd bent, raad ik je ten zeerste aan de officiële tutorial te volgen of deze video te bekijken.

Stap 1: Stel uw Google-accountmachtigingen in

Voordat we beginnen, moeten we ervoor zorgen dat de Google Assistent over de juiste machtigingen beschikt.

1. Ga naar Activiteitsbediening

2. Zorg ervoor dat het volgende is ingeschakeld:

   1. Web- en app-activiteit
   2. Apparaat informatie
   3. Spraak- en audioactiviteit

Stap 2: Creëer uw actie

1. Ga naar Actions Console en klik op "Project toevoegen/importeren"
2. Laten we dit Actions-project "local-traffic-planner" noemen.
3. Klik op "Project maken".
4. Kies op de volgende pagina geen categorie en klik op "Overslaan".
5. U zou nu op de hoofdpagina van Actions Console moeten zijn.

Stap 3: Actie-aanroep

Bepaal hoe je de Google Assistent wilt activeren om je actie te starten.

1. Klik op "Bepalen hoe uw actie wordt aangeroepen" onder "Snelle configuratie".
2. Noem het "Mijn lokale verkeersplanner" en klik op "Opslaan".

3. Klik op de prompt "UPDATE SAMPLE INVOCATIONS" die verscheen nadat u op opslaan had geklikt.

   U vindt deze optie ook onder "Directory Information"

4. Voeg "Vraag het aan mijn lokale verkeersplanner" toe als een nieuwe aanroep en klik op "Opslaan".

Stap 4: Voeg uw eerste actie toe

1. Klik op "Acties" in de linkerbalk.
2. Klik op "JE EERSTE ACTIE TOEVOEGEN".
3. Selecteer "Aangepaste intentie" en klik vervolgens op "Build".
4. U wordt naar de Dialogflow-pagina geleid, waar u de hoofdlogica gaat implementeren.

Stap 5: Zinnen trainen voor uw intentie

1. Kies uw tijdzone en klik op "Maken".
2. Laat op de volgende pagina de bestaande intenties staan en klik op "CREATE INTENT".
3. Geef de intentie een redelijke naam, namelijk "vertrek".
4. Ga naar "Trainingszinnen" en klik op "Voeg trainingszinnen toe".

5. Gebruik de volgende zinnen om uw model te trainen zodat het kan interpreteren wat u het vertelt:

   1. Ik ben nu thuis
   2. Voorlopig ben ik thuis
   3. Ik ben op dit moment in ons appartement
   4. ik zit thuis
   5. Momenteel ben ik bijna aan het werk
   6. ik ben op mijn werk
   7. ik ben op kantoor
   8. Werk
   9. Huis

Stap 6: Entiteiten

Nu je hebt gespecificeerd wat min of meer als invoer moet worden verwacht, moeten we definiëren welke delen van de invoer van belang zijn voor onze bedrijfslogica, zodat ze kunnen worden geëxtraheerd en naar onze server kunnen worden gemarkeerd. In ons geval willen we weten of de gebruiker thuis of op het werk is, zodat we terug kunnen reageren met de vertrektijden vanaf het specifieke station. Laten we kijken hoe we dat kunnen doen.

1. Als u dubbelklikt op een of meer woorden van de trainingsfrases, krijgt u een lijst met vooraf gedefinieerde entiteiten. U kunt hier meer over elk van hen lezen. Over het algemeen zou @sys.location het meest geschikt zijn, maar ik denk dat het het beste en gemakkelijkste is als we onze eigen entiteit creëren die we @current-location zouden moeten noemen.
2. Klik op de optie "Entiteiten" aan de linkerkant.
3. Klik op "ENTITEIT MAKEN".

4. Stel de naam in op "huidige locatie" en definieer twee referentiewaarden samen met hun synoniemen:

   1. huis

      thuis, huis, appartement, wieg

   2. werk

      werk, kantoor, Aptiv, codemijnen (lol grapje)

5. Klik op 'Opslaan'. Voor extra effect kun je ook op 'Automatische uitbreiding toestaan' klikken om Google Assistent meer vrijheid te geven om te proberen meer synoniemen aan je referentiewaarden te koppelen.

Stap 7: actie en parameters

Tijd om wat betekenis te geven aan de trefwoorden in uw trainingszinnen.

1. Klik op "Intenties" en navigeer vervolgens naar uw aangepaste intentie, d.w.z. "vertrekken" als u mijn naamsuggesties hebt gevolgd.
2. Scroll naar beneden naar "Trainingzinnen".
3. Dubbelklik op de woorden die uw huidige locatie aangeven en kies de tag @current-location in het pop-upvenster.
4. Scroll naar beneden naar "Acties en parameters", klik op "beheren"
5. Als alles correct is gedaan, ziet u dat uw nieuwe entiteit daar wordt vermeld.
6. Vink het vakje "Vereist" aan waardoor een nieuwe kolom "Prompts" verschijnt. Prompts is wat de gebruiker te horen krijgt als er niets is geleverd dat overeenkomt met de verwachting.
7. Klik op "Definieer prompts" en voeg iets in als "Ik heb je locatie niet begrepen. Waar ben je op dit moment?".

Stap 8: Vervulling

Nu is het tijd om uw webservice aan de Google Assistant Action te koppelen. Je hook wordt aangeroepen wanneer deze specifieke intentie wordt geactiveerd en zou de vervulling van deze actie moeten opleveren. Daarvoor willen we ook onze intentie stellen om de actie af te ronden nadat deze is vervuld.

1. Ga naar "Reacties" en klik op "ANTWOORD TOEVOEGEN".
2. Voeg geen reacties toe, schakel gewoon "Stel deze intentie in als einde gesprek" in.
3. Scroll naar beneden naar "Fulfillment" klik op "ENABLE FULFILLMENT" en schakel vervolgens de "Enable webhook call for this intent" in.
4. Klik op "Opslaan" en ga vervolgens naar de optie "Vervulling" aan de linkerkant.

5. Schakel de optie "Webhook" in en voer de URL in die door uw webserver wordt "geluisterd".

   Telkens wanneer de intentie wordt geactiveerd, wordt een POST-verzoek naar uw website verzonden met de hoofdtekst van het verzoek met een JSON-object met de huidige locatie van de gebruiker

6. Klik op Opslaan.
7. Nu zijn we klaar om onze webservice te maken, maar laten we er eerst voor zorgen dat onze Action ons op een goede manier verwelkomt.

Stap 9: Welkom Intentie

Om de gebruikerservaring aan te passen, moeten we een passende begroeting voor ons creëren wanneer we onze actie activeren.

1. Ga naar "Intents" en klik vervolgens op "Default Welcome Intent".
2. Scroll naar beneden naar "Reacties", verwijder de bestaande en voeg in wat je wilt, je actie hoe je welkom te heten zodra deze is gestart.
3. Klik op "Opslaan".

Stap 10: Uw Python-webservice

Laten we een snelle en vuile Python-server maken met Flask. Geen screenshots voor deze stap, maar het zou vrij eenvoudig moeten zijn.

1. Open een nieuw tabblad en maak een account aan op pythonanywhere.com
2. Controleer je email.
3. Stel uw webapplicatie in door op "Webtabblad openen" te klikken.
4. Klik op "Een nieuwe web-app toevoegen" en selecteer "Flask" als uw Python-webframework.
5. Selecteer Python 3.6 en klik op "Volgende".
6. Kies het pad waarin u uw "flask_app.py" wilt hebben. Ik plaatste het direct in mijn thuismap als "/home/uw-gebruikersnaam/flask_app.py".
7. Ga terug naar de hoofdpagina door op het Python-logo in de linkerbovenhoek te klikken.
8. Klik onder bestanden op "flask_app.py" om het te bewerken.
9. Wanneer de webteksteditor wordt geopend, plakt u de volgende code en klikt u op "Opslaan". Het algemene idee is dat onze server, afhankelijk van de geparseerde JSON die van Google Assistant komt, een actie zal uitvoeren (bijv. lezen of schrijven) en deze als reactie zal rapporteren /fulfillment dat aan de gebruiker moet worden voorgelezen.
10. Klik nogmaals op "Webtabblad openen" en vervolgens op de groene "Reload-knop".
11. Inmiddels zou je eigen Python-webserver moeten draaien op "https://your-username.pythonanywhere.com/departures".

Stap 11: Test uw actie

Oké, je bent nu zo goed als klaar. Laten we nu de hele stapel testen en dit "Hallo wereld" voorbeeld werkend krijgen!

1. Klik op "Integraties" in de linkerzijbalk.
2. Klik op "Integratie-instellingen" onder de Google Assistent-optie.
3. Voeg onder 'Impliciete aanroeping de naam van uw intentie toe, d.w.z. 'vertrek', zodat deze direct kan worden geactiveerd door iets te zeggen als 'Hey Google, praat met mijn lokale verkeersplanner over vertrek vanaf huis'.
4. Schakel "Auto-preview" wijzigingen in.
5. Klik op "Test" om een nieuwe pagina te openen.
6. Typ "Praat met mijn lokale verkeersplanner".
7. Uw actie moet worden aangeroepen, die u zou moeten begroeten met een van de eerder ingestelde welkomstintentiereacties.
8. Typ vervolgens "Ik ben aan het werk". Er moet contact worden opgenomen met uw Python-server en het antwoord wordt gelezen door Google Assistant.

Cool is het niet? Stel je nu voor wat je kunt doen met sensoren, actuatoren en andere API's via je Google Assistent.

Stap 12: Laat uw actie los

Nadat je klaar bent met het testen van je Action en het in goede staat is, is het tijd om de liefde met de wereld te delen of, als dat geen zin heeft, met je vrienden en familie.

1. Ga terug naar je Actions-console en selecteer je lokale verkeersplanneractie.
2. Klik onder "Gereed voor implementatie" op "Voer vereiste informatie in om uw actie op te nemen in de map Acties".
3. Voer een korte beschrijving, een langere beschrijving, een klein logo, je contactgegevens, een link naar het privacybeleid in (als je dit niet openbaar gaat delen, plaats dan gewoon een link naar je website of zoiets) en een categorie.
4. Scroll naar boven en klik op "Opslaan".
5. Klik op de optie "Release" in de linkerzijbalk.
6. Hier kun je kiezen in welke staat je Actie zich bevindt. Als je het antwoord "Laten we de testversie van Mijn lokale verkeersplanner ophalen" niet wilt horen, moet je een volwaardige openbare release maken. Dat vereist echter een beoordeling door Google en wordt in deze tutorial niet behandeld. In plaats daarvan kun je dit nog steeds met maximaal 20 mensen delen door een Alpha-release te kiezen en ze toe te voegen als Alpha-testers.
7. Voeg alfatesters toe door ze een link te sturen of hun e-mails toe te voegen.
8. Klik op "VERZENDEN VOOR ALPHA", vink de vakjes aan, klik op "VERZENDEN" en je bent klaar!

Je actie is nu live en toegankelijk voor jou en je vrienden. Veel plezier!

Als je geïnteresseerd bent in de code die ik heb gebruikt, bekijk dan het project op GitHub.