Fluid : a living planet
Kinetic Installation, 남산예술센터 심재순관 2층
06.15 ~ 06.16, 2019
유체, 열, 관성에 기반한 살아있는 행성 창조, 9개 채널의 스피커를 통한 가상 항성계와 행성 사운드 생성
Rheoscopic Fluid, Acryl, Aluminum, Mortor, Speaker, Webcam, 1300 * 1500
Ableton Live, Max
Credit
theTeam presents
Director, Materials Research, Hardware
김성백
Physical Computing, Hardware
최혜정
Interactive Sound Generation 김유화
Sound Design
박제호
Sound Engineering
권혁빈
description is under preparation.description is under preparation.description is under preparation.description is under preparation.description is under preparation.
Description
'Fluid : A living planet'은 이름 그대로 액체로 제작된 살아있는 행성이다.
이 행성은 오직 열과 회전 두 개의 힘만을 가지지만 표면에는 창발적인 패턴들이 나타며 이 패턴은 행성이 만들어내는 소리의 근원이 된다.
주위에선 함께 공전하며 다가오는 행성들의 소리가 행성의 것과 조화를 이루며 연주된다.
우리는 실제 행성이 가진 생명력에 집중한다.
행성이 끊임없이 만드는 복잡한 현상들은 의지를 가진 듯 창발적이며 유의미하다.
이것은 기본적으로 인간에게 감각될 수 없으나 'Fluid : A living planet'은 인간이 이를 직접 감각할 수 있는 행성이다.
물리적인 틀에 인위적으로 생명력을 부여받은 행성을 통해 관객으로 하여금 행성이 가진 생명력을 감각하고 실제 천체에도 같은 맥락의 관점을 확장시키는 데 목적이 있다.
'Fluid : A living planet'에서 사운드는 두 가지로 나뉜다.
작품에서 시각적으로 존재하는 행성과, 그것이 속해있는 가상 항성계의 사운드이다.
행성의 사운드는 자체적으로 발생되는 데이터를 사운드로 전환하여 행성이 스스로 소리 내는 구조를 갖는 것에 목표를 두었다.
행성이 속해 있는 공간을 사운드로 디자인하기 위해 항성계의 공전 개념이 도입되었다.
행성을 중심으로 가상 행성들의 벡터를 사운드로 전환, 8개의 스피커로 확장하여 전달한다.
사운드에 항성계의 개념이 들어감으로서 작품 배경음의 역할에 그치지 않고, 항성계를 구성하는 객체들의 움직임이 반영된 사운드스케이프를 구성하였다.
동주 : 찰나와 억겁
( Dongju : An Eternal Moment )
인터렉티브 낭송음악극, 2019
한 손의 움직임에 따른 영상 생성, 머리 자세에 따른 HRTF 소리 제어 시연
인터렉티브 비주얼 초안
기술 순서도
모션 캡쳐 환경 개발 초안
모션 캡쳐 리허설
1/5
2/5
3/5
4/5
5/5
동주 : 찰나와 억겁
( Dongju : An Eternal Moment )
인터렉티브 낭송음악극, 대학로 SH 아트홀
01.26 ~ 02.03, 2019
9-DOF IMU 센서를 이용한 실시간 모션캡쳐, 2CH HRTF/8CH 오디오 시스템, 오디오비주얼 생성
9-DOF IMU Sensor, Projector, Speaker, Headphone
Ableton Live, Max, Unity, Arduino IDE, Resolume Arena, Syphon
지원사업 선정작 - 융복합 무대기술을 활용한 공연예술 Art , Technology
사업 주최 - 한국문화예술위원회 (ARKO)
사업 주관 - 한양대학교 산학협력단
Credit
Seoul Factory presents
만든 사람들
시 - 윤동주
작가 - 윤현서
연출 - 임형택
협력 연출 - 손유진
음악 - 윤경로
안무 - 김소이
의상 - 장혜숙
무대 - 임민
조명 - 박성희
촬영 - 김민 (두리미디어)
음향 자문 - 안찬용
연출 팀 - 조세연, 박진성
사진 - 정지원
무대 어시스턴트 - 남유민
조명 어시스턴트 - 문영현
조명 프로그래머 - 문동민
조명 팀장 - 한종엽
조명 팀 - 박지선
소리 지도 - 김지현
그래픽 디자인 - 이택희, 고정민, 박영주
기획 팀장 - 박재연
홍보 팀장 - 권미강
기획 팀 - 이수연, 윤채연, 백유진, 김정호
기획 자문 - 박소현, 김병애
나오는 사람들
윤동주 - 추헌엽
우물의 여인 - 이선
어른아이 1 - 김충근
어른아이 2 - 이미숙
아이 1 - 구정은
아이 2 - 김단아
아이 3 - 김예은
기타 - 윤경로
피아노 - 이성영
인터렉티브 기술을 구현한 사람들
인터렉티브 기술 자문 - 김호동
인터렉션 디렉터 - 김유화
인터렉션 어시스턴트 - 이호빈, 허정호
영상시스템 디렉터 - 이현우
영상시스템 어시스턴트 - 이종호
3D 디자이너 - 최준홍
3D 디자인 어시스턴트 - 임규희, 김민경
2D 디자이너 - 정현희
사운드 디자이너 - 권혁빈
description is under preparation.description is under preparation.description is under preparation.description is under preparation.description is under preparation.
Description
시인 윤동주와 시인의 상상 속 인물이 시대를 직면하면서 겪는 희로애락과 시의 창작 과정을 관객과 배우, 그리고 무대를 연결하는 인터랙션 환경에서 표현한다.
오늘의 나(이 시대의 모든 동주들)와 과거의 나(시인 윤동주)를 연결하는 물의 여인(낭독자), 그리고 아이들의 시간여행을 매개하는 것은 상상력이다.
이 상상력의 체험이 무대 공간에 머무르지 않고 객석을 넘나들며 관객들의 상상력과 마주하는 공동 체험의 경험을 위해 인터렉션 환경을 구성하였다.
윤동주의 팔과 물의 여인의 전신을 실시간 모션캡처하여, 이 데이터를 오디오와 비주얼의 상호작용에 활용하였다.
Visual Interaction
시인의 상상 세계, 시인의 또 다른 한 몸일 수도 있는 물의 여인의 상상이 아이들을 매개로 연결된다.
시인이 고통과 번민, 그리고 시 창작의 세계로 확장되는 과정에서 시인과 물의 여인의 움직임은 무대의 영상과 상호작용하며 함께 호흡한다.
Audio Interaction
HRTF Binaural 환경에서 재생되는 사운드는 일부 관객의 머리 자세를 반영하여 헤드폰을 통해 전달하고, 동시에 8CH 스피커로 확장한다.
이는 ‘Synesthesia’ 에서 연구하였던 사운드 VR을 확장하여 공연 예술에 접목하는 시도이다.
또한 물의 여인의 손짓에 따라 방향성을 가진 소리가 객석의 8CH 스피커를 통해 관객에게 전달된다.
기술이 인간을 앞서는 것이 아닌, 기술과 예술이 인간의 삶을 기반으로 함께 어울리는 예술적 체험에 집중하였다.
Trace
Generative Audiovisual, 2018
Visual Sample
Visual Sample
기술 순서도
1/3
2/3
3/3
Trace
Generative Audiovisual
12, 2018
인터렉티브 오디오비주얼 프로젝션
Webcam, Projector, Speaker
Ableton Live, Max
Credit
Kim Yuhwa
description is under preparation.description is under preparation.description is under preparation.description is under preparation.description is under preparation.
Description
움직임에 따른 Audio, Visual 의 생성과 합성을 통하여, 움직임이 남기는 흔적들의 데이터가
인터랙션 구조를 흐르며 생기는 Feedback, Reverberation 현상을 시청각화 한 시도이다.
주로 공연 음향 시스템에서 스피커로 출력되는 소리가 다시 마이크로 입력되면서 발생하는 Feedback 현상에서 착안하여, 인터렉션 시스템에서 동일한 현상을 재현하였다.
관객의 움직임으로부터 시작된 'Data' 가 'Visual' 을 생성, 'Visual' 로 인하여 'Audio' 가 출력,
또다시 'Audio' 가 'Visual' 에 영향을 주며 유기적으로 루프 된다.
울림 : 마음으로 보는 소리
( An Echo : Sound seen through Heart )
Modern Dance, 2018
피에조 센서로 제작된 발판을 활용하여 무용수 발동작을 사운드 출력으로 전환
7개의 피에조 센서 발판과 오퍼레이팅 시스템을 이어주는 폰 커넥터 인터페이스
1/4
2/4
3/4
4/4
울림 : 마음으로 보는 소리
( An Echo : Sound seen through Heart )
Modern Dance, 아르코예술극장
08.04, 2018
오브제를 이용한 사운드 인터렉션
Arduino, Piezo Sensor, UTP Cable, Speaker
Ableton Live, Max, Arduino IDE
description is under preparation.description is under preparation.description is under preparation.description is under preparation.description is under preparation.
Description
Production Note
엄마의 뱃속에서 막 나온 아기가 가장 처음으로 보는 것.
그것은 세상을 비추는 빛이다.
빛은 우리를 자유롭게 만들어 준다.
그러나 그 빛을 볼 수 없는 사람들은 보이지 않는 거미줄에 묶여 있는 듯 자유롭지 않다.
겁에 질린 걸음, 공포에 찬 손짓, 내면에 내재되어 있는 답답함이 소리에 의해 조금씩 자유로워진다.
소리에 반응하여 되돌아오는 울림은 시각장애를 가진 이들에게 자유를 선사한다.
울림은 귀로 듣는 빛이다.
Interaction
무용수의 발동작이 소리의 출력으로 전환되는 환경을 구성하였다.
발동작의 센싱은 피에조 센서를 활용하였으며, 시각장애 무용수를 고려하여 나무 발판과 스펀지를 이용하여 센싱의 범위를 넓히고 안전사고를 예방하였다.
피에조 센서 발판은 UTP 케이블을 이용하여 무대에서 오퍼레이팅 시스템까지 연장하였다.
셋업의 효율성을 위하여 솔더링 작업 된 다채널 폰 커넥터 인터페이스로 각 발판과 오퍼레이팅 시스템의 연결 구조를 모듈화하였다.
###
Media Perfomance Showcase, 2018
포스터
웹 페이지를 이용한 인터렉션
웹 페이지를 이용한 인터렉션
리허설
1/4
2/4
3/4
4/4
###
Media Perfomance Showcase
12.15, 2018
오디오 반응형 LED 조명, 인터렉티브 웹 페이지를 통한 실시간 프로젝션, 생성 영상
LED, DMX Decoder, DMX USB, UTP Cable, Webcam, Projector, Speaker
Ableton Live, Max, VDMX, HTML, JavaScript, Syphon
Credit
연출
김수민
안무
박래영
퍼포머
한석희
인터렉션 디자이너 김유화
프로젝션 맵핑, 인터렉션 디자인 어시스턴트
김준우
2D 디자이너
권영민
description is under preparation.description is under preparation.description is under preparation.description is under preparation.description is under preparation.
Description
암전 속에서 타인의 시선과 접촉을 온전히 회피하려 해도 항상 공유된 세상에 있는 우리는 그럴 수 없다.
공유된 세상에 대한 부정을 미디어 퍼포먼스를 통해 표현하고자 한다.
관객들은 타인과 회피하려는 그를 디지털 네트워크를 매개로 간섭하게 되고, 그는 공유된 세상의 거미줄에서 몸부림친다.
관객을 위해 준비된 모바일 웹 페이지는 TCP/IP 를 통해 무대 위 스크린까지 연계된다.
웹 페이지는 퍼포먼스 상황에 따라 실시간으로 인터페이스가 전환되어, 관객에게 퍼포먼스에 대한 정보 전달의 역할과 퍼포먼스 중 무대를 넘어 배우와 소통 가능한 다리의 역할을 한다.
실시간으로 인터페이스 전환 가능한 웹 페이지를 구성하기 위해, 오퍼레이팅 PC를 서버로 활용하여 여기에 웹 페이지를 호스팅 하였다.
관객들이 웹 페이지 접속을 위해, 공연 장소인 서울예술대학교 Atec의 네트워크를 관리하는 전산실의 협조를 받았다.
외부 접속 가능한 네트워크 DNS와 ‘sharp3.seoularts.ac.kr’라는 이름을 가진 도메인을 할당받아, 오퍼레이팅 PC를 서버화 하였다.
8개의 LED 조명은 음악의 박자에 맞추어 DMX 신호를 받아 점멸한다.
음악의 Verse, Bar, Beat 마다 조명의 밝기, 반복 규칙, 점멸 위치를 달리하여 극의 흐름과 조명을 동기화하였다.
퍼포머의 정면에는 웹캠을 설치하여 퍼포머의 움직임을 입력받았다.
이를 활용하여 퍼포먼스의 한 장면에서 퍼포머와 인터렉션 되는 영상을 프로젝션 하였다.
Synesthesia
Sound Collage / Soundscape VR, 2018
포스터
전시 체험 형태
체험 공간 규격
머리 자세 추적을 위하여 헤드폰에 부착된 자세 추정 장치
참고 자료 및 사운드 콜라주를 위한 Youtube 푸티지
푸티지를 기반으로 한 사운드 디자인
Max, Ableton Live 를 연동하여 사운드 VR 환경 구성
1/7
2/7
3/7
4/7
5/7
6/7
7/7
Synesthesia
Sound Collage / Soundscape VR, 서울 숲 갤러리아 포레 - 더 서울라이티움
06.16 ~ 06.17, 2018
콜라주 기법으로 디자인된 사운드 스케이프, 머리 자세 추적을 기반한 사운드 VR 환경 구성
Arduino, Bluetooth module HC-06, 9-DOF IMU Sensor, Headphone, Webcam, Aluminum
Ableton Live, Max, Arduino IDE, Pro Tools
Credit
C’est La Vie presents
Director
최지원
Sound Programming, Physical Computing
허정호
Sound Programming, Sound Design 김유화
description is under preparation.description is under preparation.description is under preparation.description is under preparation.description is under preparation.
Description
시각 가상현실화의 발전으로 많은 VR 콘텐츠가 창작되고 있지만, 청각 가상현실화는 한정적으로 활용되고 있다.
이것을 계기로 가상현실에서 사용자의 청각적 경험을 개선하기 위한 연구가 이루어졌고 'Synesthesia'의 기술적 기반으로 이어졌다.
2채널 Binaural 오디오와 머리 자세 추적에 기반하여, 헤드폰의 소리만으로 현실적인 공감각을 사용자에게 전달하는 것에 목적을 두었다.
9.11 테러 현장의 현실적인 청각 이미지를 재구성하여, 테러의 참혹함과 희생자의 추모를 기리고자 하는 의도를 가지고 창작되었다.
테러를 다룬 여러 대중매체에서, 당시의 실제 촬영 영상을 활용하여 진정성 있는 스토리텔링을 형성하고 있었다.
이를 참고하여 'Synesthesia'는 테러 당시의 소리를 기반하여 사운드 디자인 진행되었다.
Youtube 등의 미디어 플랫폼에 업로드된 수많은 테러 현장의 푸티지를 활용하였다.
우리는 그 소리들을 모아 콜라주 기법의 재가공 과정을 거쳐 사운드스케이프를 디자인하였다.
사운드스케이프를 구성하는 각각의 소리는 가상공간에 배치되어 시간의 흐름에 따라 움직이고, 머리전달함수(HRTF)를 기반으로 한 2채널 Binaural 오디오로 전환된다.
전환된 Binaural 오디오는 관객의 머리 자세 데이터와 연계되어, 현실에서 듣는 소리처럼 머리 회전에 따라 소리의 방향 전환이 적용되어 헤드폰으로 출력된다.
etudes
nabi
Image to Particle, Fluid - Practice, 2020
nabi
Image to Particle, Fluid - Practice
01, 2020
이미지의 파티클, 유체 전환 시도
Max, TouchDesigner
Credit
김유화
Image : Fringe - Glyph Code 'Butterfly'
description is under preparation.description is under preparation.description is under preparation.description is under preparation.description is under preparation.
Description
이미지가 가지고 있는 Color Matrix 정보를 기반으로, 자체적인 Attractor 를 가지는 파티클, Feedback 이 중첩된 유체 형상을 생성하는 시도이다.
Transcen
Granular Synthesis Audio Visualizer - Practice
11.01, 2019
실시간 그래뉼러 신디시스(Granular Synthesis) 오디오와 이에 반응하여 생성되는 비주얼
Ableton Live, Max, TouchDesigner
Credit
김유화
description is under preparation.description is under preparation.description is under preparation.description is under preparation.description is under preparation.
Description
오디오의 비선형적 합성을 통하여 오디오가 가지는 음향적 특징을 시각적 움직임으로 전환하는 시도이다.
오디오에서 상상할 수 있는 시각적 움직임을 춤추는 무용수의 추상적 형태로 표현하는 것에 목적을 두었다.
오디오는 Transcen, 2015 의 음악을 그래뉼러 신디시스를 통해 변조하였다.
그래뉼러 신디시스는 실시간 변조 가능한 프로그래밍으로 구성되었고,
향후 무용수의 모션 캡처와 접목하여 사람의 움직임과 연계되는 오디오비주얼 작품으로 확장을 고려하였다.
그래뉼러 신디시스에서 출력되는 오디오와 그 과정에서 생성되는 데이터를 기반으로 비주얼이 생성된다.
비주얼은 오디오에 반응하는 스펙트럼과 파티클로 구성된다.
스펙트럼은 2D 기반으로 오디오의 높낮이와 크기에 따라 평면 위에서 움직이고 배경의 역할을 한다.
파티클은 3D 기반으로 오디오의 높낮이와 크기, 그래뉼러 신디시스 과정에서 생성되는 파편화된 데이터에 따라
3D 공간에서 파티클 객체 간의 장력과 인력, 난기류의 정도, 카메라의 초점과 빛 번짐의 정도를 결정한다.
regeneration
Visualization of regeneration
06, 2019
인터렉티브 웹 페이지
HTML, p5.js
Credit
김유화
description is under preparation.description is under preparation.description is under preparation.description is under preparation.description is under preparation.
Description
단순한 움직임을 가진 객체들의 집합으로 세포 재생, 손상, 결합 과정의 추상적 시각화를 목적에 두었다.
감염과 회복의 개념의 교차되며 각 객체들이 남긴 흔적은 나이테가 된다.
상처받고 아물고 흉터가 생기고 성장한다.
웹 페이지에서 마우스를 클릭을 유지하면 랜덤 워크의 움직임을 가진 검정 입자가 기존의 배경을 지워내고, 마우스 클릭을 놓으면 배경이 되는 입자가 검정 입자로 인해 생긴 빈 공간을 채워낸다.
Dots : Pixel Mickey Mousing
Audio from Visual, 2019
Dots : Pixel Mickey Mousing
Audio from Visual
06, 2019
픽셀로 부터 Mickey Mousing 기법의 오디오 생성
Ableton Live, Max
description is under preparation.description is under preparation.description is under preparation.description is under preparation.description is under preparation.
Description
픽셀의 움직임을 소리 출력으로 전환.
영상 음악의 Mickey Mousing 기법에서 음악과 화면을 일치 시키는 것에 기안하여, 픽셀 움직임을 기반으로 소리가 생성되는 'Visual Reactive Audio'의 시도이다.
영상에서 변화하는 컬러 픽셀의 움직임 좌표를 추적하여 이를 가상악기의 출력으로 전환하였다.