Multimodale muziekstandaard: 9 stappen (met afbeeldingen)

2024 Auteur: John Day | [email protected]. Laatst gewijzigd: 2024-01-30 11:19

De Multimodal Music Stand (MMMS) is een nieuwe manier om audiosynthese en effecten te regelen tijdens het spelen van een traditioneel instrument (sax, fluit, viool, noem maar op), en biedt heel wat extra mogelijkheden voor uitgebreide technieken die tijdens het spelen kunnen worden gebruikt ! Er is al een webpagina over ons groepsproject bij UC Santa Barbara waarin we de MMMS hebben ontwikkeld, dus in plaats van dat hier te herhalen, plaats ik de link - bekijk het eens! Website voor multimodale muziekstandaard Een korte clip van de MMMS in actie is hier, maar er zijn betere video's op de bovenstaande site … Multimodaal verwijst naar het vermogen om invoer in meer dan één modaliteit te detecteren (audio-invoer, video-invoer en sensorgebaseerde invoer). De audio- en video-invoer zijn vrij eenvoudig, met een normale microfoon en een webcam die op uw computer is aangesloten, maar de sensorinvoer is een beetje ingewikkelder, vandaar dit instructable … We gebruiken de CREATE USB-interface, een eenvoudig circuit dat ik heb ontwikkeld voor een klas Ik geef les aan UCSB, samen met de ThereminVision II-kit voor E-field (ook bekend als capacitive sensing) zoals hier getoond: CREER USB-interface ThereminVisionII-kit Als je niet weet wat een Theremin is, doe jezelf een plezier en zoek op YouTube, je hebt gewonnen wees niet teleurgesteld! De MMMS is in principe gelijk aan 2 Theremins, aangezien hij 4 E-field sensing-antennes heeft, naast de audio/video-ingang natuurlijk. Als je geïnteresseerd bent in het uitbreiden van je speeltechnieken met je instrument door interactie met een computer, maar wil je geen simpele voetpedalen gebruiken, bouw dan zelf een Multimodale Muziekstandaard en begin ermee te oefenen!

Stap 1: Over de CREATE USB-interface

De CREATE USB Interface (CUI) is een eenvoudig PIC-gebaseerd programmeerbaar circuit dat ofwel volledig DIY kan worden gebouwd, of je kunt direct een kant-en-klaar exemplaar van mij krijgen voor $ 50 (+ 5 voor verzending), en je hebt het niet nodig om een PIC programmer te kopen aangezien ik de bootloader er voor je op heb gezet… zie de website voor details, of stuur me een e-mail om er een aan te vragen:CREATE USB Interface website De CUI kan zoveel verschillende dingen doen, en is inmiddels gebruikt in honderden interessante projecten over de hele wereld… een paar voorbeelden van studenten van UC Santa Barbara staan in deze conferentiepaper (PDF). De CUI kan via de USB-kabel opnieuw worden geprogrammeerd met behulp van de bootloader, en daarom is hij zo gemakkelijk aan te passen - verander gewoon de firmware en het is iets anders. Het is bijvoorbeeld eenvoudig om de CUI in een draadloze sensorinterface te maken met behulp van een van de Bluetooth-modules van Spark Fun - als iemand hierin geïnteresseerd is, plaats dan een opmerking in de opmerkingen en vraag om een andere instructable. De CUI heeft 13 kanalen met 10-bits analoge ingangen en 16 algemene in-/uitgangspinnen. De standaardfirmware die bij de CUI v1.0-kaarten wordt geleverd, stuurt ze allemaal als invoer naar de hostcomputer en werkt goed met interactieve kunstmakende omgevingen zoals Max/MSP/Jitter, Pd/Gem, SuperCollider, Chuck, enz. Ik gebruikte een van de CUI v1.0-borden om de multimodale muziekstandaard in deze instructable te bouwen. We gebruiken Max/MSP/Jitter als omgeving, maar voel je vrij om dit aan te passen aan Pd of je softwarekeuze. Ik ben een grote fan van open source (de CUI zelf is open source), en het helpt enorm als we allemaal op elkaars schouders gaan staan en de dingen die we maken verbeteren!

Stap 2: Over de ThereminVision II Kit

De ThereminVision II is beschikbaar als een kit ($ 50) en vooraf gebouwd ($ 80) van de leverancierssite, RobotLand, en is ook open source - de ThereminVision II-handleiding (PDF) bevat de schakelschema's. Voor de MMMS kocht ik de kit en besloot ik deze keer voor de vooraf gebouwde te gaan (dit is de tweede MMMS die ik heb gebouwd). Even terzijde, voor het geval je je afvraagt waarom ik geen kitvorm van de CREATE USB-interface, omdat de CUI-bootloader moet worden geprogrammeerd met een conventionele PIC-programmeur voordat nieuwe firmware via USB kan worden verzonden - anders zou ik zeker een kit aanbieden, hoewel het solderen op het oppervlak zou inhouden … Dus terug naar de ThereminVision II - als je hem in kitvorm hebt gekocht, volg dan de (geweldige!) instructies in de pdf: ThereminVision II-handleiding Er zijn veel mooie schema's van de bedrading die je moet doen - het enige wat het niet laat zien zijn de verbindingen met de CREATE USB-interface, dus ik zal de foto's plaatsen die ik bij de volgende paar stappen heb gemaakt … oh, en ik heb de antennes voor de ThereminVision (niet inbegrepen) van All Electronics.

Stap 3: De muziekstandaard voorbereiden

Maak je multimodale muziekstandaard van een mooie muziekstandaard zoals de "dirigentstandaard" die hier wordt getoond of gebruik wat je bij de hand hebt - beter nog, maak er zelf een!

Welke standaard je ook gebruikt, er zijn geïsoleerde bevestigingen nodig voor de vier antennes op de hoeken van de standaard. Begin met het boren van gaten in de hoeken - het bevestigingsmateriaal dat ik had liggen werkte met een 1/4 boor, die van jou zal waarschijnlijk anders zijn. Probeer de voorkant van het oppervlak zo vlak mogelijk te houden om interferentie met bladmuziek te voorkomen.

Stap 4: De ThereminVision-sensormodules aansluiten

Het aansluiten van de ThereminVision "sensor"-modules (555 timercircuits) op de ThereminVision "processor"-module wordt ook in meer detail besproken in de ThereminVision II-handleiding, maar hier zijn een paar foto's van het proces…

Stap 5: De ThereminVision aansluiten op de CREATE USB-interface

Zoals we in de laatste stap zagen, zijn er 4 draden die elk van de sensormodules verbinden met de ThereminVision-processormodule. Er zijn ook 6 draden die de ThereminVision-processormodule verbinden met de CREATE USB-interface - dit zijn Power, Ground, Sensor Output, Sensor Select A, Sensor Select B en Sensor Stop.

Aangezien de ThereminVision II zijn stroom krijgt van de CREATE USB-interface (die op zijn beurt zijn stroom krijgt van USB), heb ik besloten om de stroom voor elk van de ThereminVision-sensormodules rechtstreeks op de CREATE USB-interface aan te sluiten - dit maakt het een beetje minder van een vogelnest op de bedrading, aangezien er al veel draden op het TherminVision-processorbord gaan. Verbind "+" op de ThereminVision met "5V" op de CUI Connect "-" op de ThereminVision op "GND" op de CUI Connect "4" (de uitgang door 4 delen) op de ThereminVision op "D7" op de CUI Connect "SEL B" op de ThereminVision op "D5" op de CUI sluit "SEL A" op de ThereminVision aan op "D4" op de CUI Verbind "S" op de ThereminVision met "D6" op de CUI

Stap 6: Alles op de standaard monteren

Dus de elektronica is klaar, nu gewoon op de standaard monteren - er zijn veel methoden om dit te doen, en misschien wilt u uw elektronica in een beschermende doos plaatsen, enz….

Hier zijn enkele foto's van enkele van de eenvoudigste montagemethoden.

Stap 7: Bootload de firmware voor de ThereminVision in de CUI

De ThereminVision verzendt timingsignalen voor zijn sensoren in plaats van analoge uitgangen (of een van de standaard digitale protocollen zoals I2C of SPI). Er was dus wat aangepaste firmware nodig om de timing van deze signalen te meten… De eerste versie van de Multimodal Music Stand-firmware bevindt zich in het onderstaande zipbestand, zowel de broncode als het gecompileerde hex-bestand zijn inbegrepen (samen met een testpatch voor Max/ MSP/Jitter):CUI-ThereminVision-firmware De onderstaande schermafbeelding toont het OS X-programma Boot Down door Craig Schimmel - een Macintosh-opstarthulpprogramma voor de CUI. Als u Windows gebruikt, is het het gemakkelijkst om de eigen tool van Microchip, PDFSUSB.exe, te gebruiken die kan worden gedownload van hun website, of is opgenomen in deze voorbeeldcode voor de CREATE USB-interface. Om de CUI in de "bootloader-modus" te zetten, houdt u ingedrukt de programmaknop en druk op de resetknop (of sluit gewoon de USB-kabel aan terwijl u de programmaknop ingedrukt houdt). De status-LED van de CUI knippert continu om aan te geven dat deze zich in de bootloader-modus bevindt. Nu kunt u Boot Down gebruiken om het CUIEfieldBootDown.hex-bestand naar de CREATE USB Interface te sturen. Als u ooit de firmware voor de CREATE USB Interface terug naar het origineel wilt veranderen, is het hier, en er zijn andere voorbeelden van firmware voor de Hier ook CUI.

Stap 8: De multimodale muziekstandaard testen in Max/MSP/Jitter

Open de voorbeeldpatch in Max/MSP/Jitter (een demo van 30 dagen kan worden gedownload van www.cycling74.com, en er is ook een "runtime"-versie beschikbaar die het opslaan van patches niet toestaat), of volg de conventies in de Max-patch en maak je eigen patch in PureData (Pd) … Jitter wordt gebruikt om de 3D-positie van gebareninvoer weer te geven, waarbij de z-as (naar en weg van de standaard) wordt toegewezen aan de algehele intensiteit van alle 4 antennes - niet erg wetenschappelijk, maar het werkt! De gegevens van de afzonderlijke sensoren worden ook verzonden als OSC naar 127.0.0.1 (localhost) voor gebruik door andere toepassingen indien nodig. Een nuttig object in Max/MSP/Jitter voor het filteren van pieken uit de sensorgegevens (veroorzaakt door elektrische interferentie) is Tristan Jehan's "soepeler", die hier kan worden gedownload:smoother max object De site van Tristan heeft ook een aantal externe MSP's voor Max die we gebruiken voor het audio-analysegedeelte van de invoer van de Multimodal Muziekstandaard - ze omvatten toonhoogte ~, luidheid ~, helderheid ~, ruis ~, en het alles-in-één analyser ~ object. Zodra er gegevens in Max komen, moet je de gevoeligheid van de ThereminVision-sensoren afzonderlijk aanpassen met een kleine schroevendraaier. Doe dit door de antennes helemaal uit te schuiven en vervolgens de blauwe trimpotmeter tegen de klok in te draaien totdat deze in de "reverse sensing"-modus gaat - draai hem vervolgens met de klok mee terug totdat u weer in het normale detectiebereik bent. Kleine aanpassingen (het afstemmen van de gevoeligheid, net als het stemmen van een gitaar) kunnen worden gemaakt door de lengte van de antennes te veranderen, zodat u de kleine schroevendraaier niet hoeft mee te slepen naar optredens.

Stap 9: De multimodale muziekstandaard gebruiken in uitvoering! (en uitbreiden)

Vergeet niet dat de nieuwe uitvoeringstechnieken die de Multimodal Music Stand mogelijk maakt, moeten worden geoefend en nieuwe toewijzingen en ideeën moeten worden ontwikkeld voor wat u ermee wilt regelen! Als u uw MMMS ook wilt uitbreiden met andere soorten sensoren, het zal mogelijk zijn om de 13 analoge ingangen op de CUI naast de ThereminVision-sensoren te gebruiken in toekomstige versies van de MMMS-firmware, dus met enkele eenvoudige sensoren (schuifregelaars/knoppen/voetpedalen) of andere sensortypes (IR/echografie/etc), deze kunnen samen met audio-invoer en video naar de computer worden gebruikt. Momenteel gebruikt de firmware een "serial-over-USB"-protocol, maar uiteindelijk is het de bedoeling om over te schakelen naar het "HID"-protocol (Human Input Device) dat normaal wordt gebruikt door de CREATE USB-interface. Voel je vrij om bij te dragen aan de inspanning … Er is een soortgelijk open source-project voor E-field sensing (ook bekend als capacitive sensing) dat dezelfde circuittopologie gebruikt (gebaseerd op het ThereminVision-ontwerp) genaamd CapToolKit - het gebruikt de "kleine broer " van de PIC18F4550, de PIC18F2550 die niet zoveel analoge ingangen heeft (10 in plaats van 13). De firmware voor de CapToolKit zal iets anders zijn omdat ze geen gebruik maken van het ThereminVision-processorbord. We gebruiken een eenvoudige firewire-camera (webcam-stijl) die op de bovenkant van de muziekstandaard is gemonteerd voor optische herkenning van fysieke gebaren en blikdetectie - Als u geïnteresseerd bent in de aspecten van computervisie of audioanalyse en -synthese van het onderzoek van onze groep, raadpleeg de artikelen op de Multimodal Music Stand-website. En post alsjeblieft je ervaringen als je een multimodale muziekstandaard bouwt… We hebben er nu twee bij UCSB, zoals te zien is op de onderstaande foto - het zou geweldig zijn als er meer composities, uitvoeringen en muzikanten zouden zijn die ze gebruiken! Dr. JoAnn Kuchera-Morin schreef de eerste compositie met de MMMS, die in maart 2007 werd uitgevoerd door de fluitist Jill Felber aan de Eastman School of Music.