COMMUNICATIE BLACKBOX: 6 stappen

2024 Auteur: John Day | [email protected]. Laatst gewijzigd: 2024-01-30 11:17

COMMUNICATIE BLACKBOX

gemaakt door team "에이조(Ajo)"

waarom blackbox?

1) Bestaande communicatie blokkeren

2) Archiveer gegevens van twee mensen die communiceren

We leven vaak door te denken dat we 'communiceren' met mensen om ons heen. Maar we leven met verschillende waarden, en elk kan verschillende gevoelens en gedachten hebben, zelfs als we in het proces over hetzelfde onderwerp praten. Er ontstaan problemen wanneer we het niet begrijpen elkaars verschillen, wat zelfs kan leiden tot een breuk in de communicatie. We beginnen met dit besef van het probleem, en we visualiseren de waarden van de fysieke informatie waarmee we communiceren. We willen het communicatieproces opnieuw ervaren door het te presenteren als een andere manier van communiceren.

Met behulp van FACE API, Arduino's hartslagsensor en RaspberryPi heeft dit project een nieuwe manier van interactie tussen mensen uitgeprobeerd.

In elke aparte kamer hadden de twee deelnemers via een monitor interactie met elkaar en controleerden ze elkaars emotionele waarden en hartslag. Ons team heeft ze gearchiveerd om te analyseren hoe nieuwe gesprekken tussen mensen verlopen via computers en kunstmatige intelligentie, en hoe emoties kunnen worden gemeten in de context van communicatie

Zwarte doos;1)기존의 소통방식을 차단

2)소통하는 2인의 데이터를 아카이브

우리는 흔히 주변의 사람들과 '소통'한다고 생각하면서 살아간다. 우리는 서로 다른 가치관을 가지며 살아가고, 그 과정에서 같은 주제에 대해 이야기해도 각자 다른 감정과 생각을 가질 수 있다. 문제는 서로의 다름을 이해하지 못할 때 나타나며, 이는 소통의 단절로까지 이어지기도 한다.이러한 문제의식에서 출발하여 소통을 통해 나타나는 신체 정보값을 시각화하고 이를 또다른 소통의 방식으로 나타내면서 소통의 과정을 경험하고자.

FACE API와 아두이노의 심박센서, 라즈베리를 사용하여 사람들 사이의 새로운 대화 방식을 시도해본 프로젝트입니다.이 프로젝트의 참가자 2명은 분리된 각각의 방에서 모니터를 통해 서로의 감정 값 8가지와 심박수를 확인 서로 대화를 진행합니다. 에이조는 이를 아카이빙 하여 컴퓨터와 인공지능을 통해 사람 사이의 대화가 어떻게 새롭게 진행되는지, 소통하는 상황에서 어떠한 감정들이 오고가며 이를 측정할 수 있는지를 분석하는 과정을 거쳤습니다.

Stap 1: Wat je nodig hebt

*Raspberry Pi x 2

*framboos pi cam X 2

*Arduino X2

*polssensor * 2

*monitor X2

*hoofdtelefoon X 2

*microfoon X 2

*verlichting X 2

*Versterker

*bureau

*partitie

*zwarte stof

Stap 2: Installatie

1.책상을 다른 책상 위에 올리고 네 면을 검은 천으로 막아 시야를 차단할 수 있는 작은 방을 만듭니다.

Plaats uw bureau op een ander bureau en blokkeer de vier zijden met een zwarte doek om een kleine kamer te creëren die het zicht van de deelnemers kan blokkeren

2.가운데에 나무 판자로 만든 칸막이를 설치하여 상대방이 서로의 얼굴을 볼 수 없도록 합니다.

Installeer in het midden een partitie om te voorkomen dat de andere partij elkaars gezichten kan zien

3.라즈베리파이를 연결할 모니터를 각각 설치하고 뒷면에 라즈베리 파이와 카메라를 부착합니다.

** 라즈베리 파이와 카메라는 모니터와 서로 반대가 되도록 붙입니다! 데이터값을 볼 수 있도록!

Op elke monitor sluit je de frambozentaart aan en bevestig je de frambozentaart en de camera aan de achterkant

** Bevestig nu de frambozentaart en de camera aan de andere kant van de monitor! Om deelnemers in staat te stellen de gegevenswaarden van de andere persoon te bekijken

4.카메라가 표정을 잘 측정할 수 있도록 조명을 설치합니다

Installeer de lichten zodat de camera de gezichtsuitdrukkingen van de deelnemers kan meten

5.대화 시 사용할 헤드셋과 마이크를 각각 설치하고, 앰프와 연결합니다.

Installeer elke headset en microfoon die u in het gesprek wilt gebruiken en maak verbinding met de versterker

Stap 3: De code: FACE API

microsoft azure 제공하는 face api를 사용하여 8가지 감정값을 추출해냅니다.

(체험판 계정을 통해 무료로 이용할 수 있습니다)

감정값에 따라 변화하는 그래프를 만듭니다

Extraheer acht emotionele waarden met behulp van de gezichts-API van Microsoft Azure. (microsoft azuurblauw)

(gratis beschikbaar via uw proefaccount)

Creëert een grafiek die varieert volgens de geëxtraheerde waarden

Stap 4: De code: pulssensor

라즈베리파이와.

심박센서를 아두이노에 연결합니다 검은 전선은 GND에 빨간 선은 5V 핀에 보라색 선은 A0 핀에 심박수를 측정하기 위해서 라이브러리를 설치해야 합니다. 링크를 통해 다운받을 수 있습니다. vnc에 접속하여 아두이노IDE를 설치하고, 'Getting_BPM_to_Monitor'예제를 실행하여 프로세싱과 아두이노를 시리얼통신합니다. 받아온 심박수 값에 따라 사이즈가 변화하는 이미지를 출력합니다.

Sluit de arduino aan op de Raspberry Pi

Sluit de hartslagsensor aan op Arduino

De zwarte lijn is voor de GND.

De rode lijn is 5V.

De paarse lijn is in A0

Installeer de bibliotheek om de hartslag te meten. Je kunt het downloaden (pulse_library)

Maak verbinding met vnc, installeer arduino IDE, voer voorbeeld 'Getting_BPM_to_Monitor' uit en verbind de verwerking met de Arduino via seriële communicatie

Maak afbeeldingen die in grootte veranderen met hartslagwaarden tijdens de verwerking

Stap 5: Spraakmodulatie

1.텍스트 입력 - 변화 - 다운로드 (tekst-naar-spraak-vertaler)

2. 참가자들의 대화를 끊어줄 신호음 준비 (삡!)

3.로직을 이용한 트랙만들기 (1번, 2번, 안내맨트, 삡 소리 - 최소 4개트랙)

audio FX - toonhoogte - toonhoogte Shifter - mono (1, 2번 트랙 음성 변조)

1, 2번 트랙 녹음 버튼 활성화

화면녹화와 함께 시작.

1. Voer tekst in - Wijzigen - Downloaden

2. Bereid een toon voor om het gesprek van de deelnemers te onderbreken (PIP!)

3. Een spoor maken met behulp van logica (Nr. 1, 2, gidsmarkering, PIP - minimaal 4 sporen)

audio FX - pitch shift - mono (track 1, 2 stemmodulatie)

Activeer track opname knoppen 1 en 2

Begin met het opnemen van het beeldscherm

Stap 6: Testen

것이 준비되면, 경험할 수 있습니다.

1.커뮤니케이션 박스 안에 직접 들어가서 새로운 소통방식을 경험해볼 수 있습니다.

2.노트북으로 vnc접속하여 연결된 모니터를 관찰하며 두 사람이 소통하는 과정을 관찰할 수 있습니다.

Als alles klaar is, kun je twee dingen beleven

1. U kunt de communicatiebox betreden en nieuwe communicatie ervaren door een koptelefoon te dragen en met anderen te praten

2. Het scherm op de monitor kan worden bekeken via de Vnc-verbinding op de laptop om te zien hoe de twee deelnemers praten

ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ ㅡ

Ons team heeft drie experimenten uitgevoerd, waarbij gevoelige vragen werden gesteld die meestal niet gemakkelijk zijn om over te praten en hoe de deelnemers erover praten. Door deze experimenten konden we zien hoe de deelnemers met elkaar sympathiseerden tijdens het praten, en hoe ze spraken anders dan hun verstand. De oorspronkelijke bedoeling was om ons te helpen elkaar beter te begrijpen als we praten door de emoties en hartslagen die in het communicatieproces verschijnen te digitaliseren en beter te visualiseren. Hoewel dit interessant was, leek het geen directe invloed te hebben op het gesprek van mensen met mensen zoals gedacht, omdat het resultaat van het experiment was dat je moeilijk waarneembare emoties, zoals gevoelens en aarzeling kunt begrijpen direct.

우리 팀은 3번의 실험을 진행했는데, 평소에는 쉽게 이야기할 수 없는 민감한 질문들을 주고 참여자들이 이에 대해 대화하는 모습을 관찰했습니다.

이러한 실험을 통해 우리는 대화를 하는 과정에서 공감하는 모습, 다르게 말하는 모습 등을 관찰할 수 있었습니다.

계획했던 의도는 소통하는 과정에서 나타나는 감정과 심박수를 데이터화하여 잘 알아볼 수 있도록 시각화하여 대화를 할 때 서로 이해하고 소통하는 데에 도움을 주는 것이었습니다. 직접 실험을 진행해본 결과 가시적으로 공감, 망설임 등 여러 감정들이 나타나는 모습을 파악할 수 있어 이 점은 흥미로웠으나 생각했던 것 만큼 사람과 사람이 대화를 하는 상황에 직접적인 영향을 주지는 못했던 것 같기도 합니다.