Making Audio-Reactive Graphic Scores for Max

오디오 반응형 그래픽 스코어를 위한 지터

강사 : 원우리
난이도 ★★

Six Pacmen by Tacit Group. Feb. 8th 2014 @Samsung ECC Hall, Seoul

▶ 강의 개요
본 강의는 Max/MSP/Jitter 통합 환경 내에서 동적 반응형 그래픽 스코어 창작을 위한 방법론의 탐구와 체득을 목표로 합니다. 단순한 오디오-리액티브 시각 효과를 넘어, 시각 요소를 음악적 구조와 이벤트에 대한 체계적이고 상징적인 기보법으로 기능하도록 하는 데 중점을 둡니다.

수강생은 Max 환경에서의 음악 파라미터의 알고리즘적 생산, MSP를 활용한 실시간 전자음 생성, 그리고 이를 Jitter를 통해 정교한 시각 시스템으로 매핑하고 재현하는 전 과정을 심도 있게 다루게 됩니다. 핵심은 데이터 생성의 초기 단계부터 청각 및 시각 요소 간의 밀접한 연동 전략과 그 구체적인 구현 방안을 탐구하여, 고도의 시청각적 일치성과 상호작용성을 성취하는 데 있습니다.

궁극적으로, 본 과정을 통해 참가자들은 복잡한 음악적 아이디어를 정밀하게 제어되는 제너러티브 시각 형태로 명료하게 표현할 수 있는, 독자적인 그래픽 스코어링 시스템을 구축하는 역량을 배양하게 될 것입니다.

Max 프로그램이 생소하시더라도 걱정하지 마세요. 매 시간 제공되는 템플릿을 통해 프로그래밍적 난도를 낮추고, 시각-청각적 구성력을 키우는 데에 집중할 수 있도록 도와드립니다.

▶ 강의 대상
-Max 프로그램에 입문하고 싶은 분
-Max 프로그램을 기반으로 오디오 비주얼 설치, 공연을 하고 싶은 분

▶ 필요한 준비

• Max9을 권장합니다. (cycling74.com 가입 후 1개월 무료. Max8의 경우 일부 기능 제한되거나 작동이 다를 수 있습니다.)
• 맥북 프로를 권장합니다. 맥북 에어의 경우 냉각팬이 없습니다. 따라서 그래픽 처리에 쓰로틀링이 걸려 정상 작동되지 않을 수 있습니다.
• 윈도우 랩탑의 경우, 3D그래픽 카드가 내장되어있는지 확인 해주세요.

▶ 강의 계획

Day 1 : 이벤트 기반 2D 그래픽스 생성의 원리
- 불연속적인 음향 이벤트의 발생과 2D 시각 프리미티브의 실시간 생성 및 속성 변조 간의 동기화 원리를 정립합니다.
- Jitter 렌더링 파이프라인의 기초와 매트릭스 데이터의 근본적 특성을 이해하며, RGBA 색상 모델을 활용한 시각적 표현의 기본을 다집니다.

Day 2 : 음고 정보 기반 3D 지오메트리 파라미터 제어
- 단일 음성 오디오 신호의 실시간 음고 분석 및 해당 데이터를 활용한 3D 시각 객체의 공간적, 기하학적, 색채적 속성의 파라메트릭 제어 기법을 심층적으로 다룹니다.
- Jitter 내 3차원 공간의 기본 개녀믕ㄹ 정립하고, jit.gl.gridshape를 이용한 다양한 3D 프리미티브 (예 : 구, 정육면체, 토러스)의 생성 및 동적 변형을 실습합니다. 주파수 영역의 음고 정보를 3D 객체의 위치(X.Y.Z), 회전 (3축), 크기 및 표면 텍스처 특성에 매핑하는 정교한 전략을 탐구하며 3D객체에 텍스처를 적용하여 시각적 복잡성을 증대시키는 방법을 익힙니다.

Day 3 : 음량 정보를 이용한 시각 시스템 동역학 구현
- 오디오 신호의 진폭 정보 (피크, RMS 등)을 실시간으로 추출 및 분석하고, 이를 시각적 요소의 강도, 밀도, 투명도 등 인지적 속성에 직접적으로 연동하여 그래픽 시스템의 동역학을 제어합니다. 
- jit.gl.gridshape와 jit.gl.multiple 오브젝트를 결합하여 시각적 밀도를 효율적으로 다루는 실습을 합니다.

Day 4  : 스펙트럼 데이터 기반 지오메트리 변형 및 공간화
- 복합 오디오 신호의 스펙트럼 분석을 수행하고, 추출된 주파수 도메인 데이터를 2D/3D 지오메트리 객체의 구조적 및 미학적 속성에 매핑하는 고급 기법을 탐구합니다.
- jit.gl.mesh의 정점(Vertex)을 실시간으로 변형시키고, 스펙트럼 특성에 기반하여 객체 계층을 동적으로 제어하며, 기초적인 3D 공간화 개념을 적용합니다.

Day 5  : 시각-청각적 FX의 통합적 물성 구현 및 상호작용 
- 오디오 이펙트(딜레이, 리버브, 디스토션 등)와 실시간 시각 후처리 기법 간의 관계를 심층적으로 탐구합니다.
- 공유된 시간적 특성 또는 질적 특성을 반영하는 통합된 시청각적 질감 및 행태를 구현하기 ㅜ이해 피드백 시스템과 셰이더 기반 시각 효과를 적극적으로 활용합니다.

Day 6 : 그래픽 스코어의 시공간적 조직화 및 시스템 완성
- 이전 과정에서 습득한 기법들을 종합적으로 활용하여, 시청각 이벤트의 체계적인 시공간적 배치를 통해 기능적 그래픽 스코어를 설계하고 구현합니다.
- 이벤트 시퀀싱, 스코어 데이터의 구조적 표현. 플레이헤드의 동기화된 구현, 그리고 기본적인 인터랙티브 제어 구조에 중점을 둡니다.
- PBR(물리 기반 렌더링) 개념을 도입하여 시각적 표현의 사실성을 한층 높입니다. 

▶ 강사 소개
작곡가 원우리 WONWOORI(a.k.a. 이원우)에게 컴퓨터 음악은 우리를 둘러싼 세계, 그리고 인간을 이해하기 위한 매체입니다. 우리가 사는 세계, 그리고 인간은 너무나 복잡해서 이해하기 어려울 때가 많습니다. 작곡가 WONWOORI는 해석하고자 하는 대상의 데이터를 음악에서의 최소 성분인 정현파에 대입하고 분석합니다. 이 과정에서 작곡의 영감을 얻으며, 분석된 대상을 예술 매체의 중심에 세우기 위해 노력합니다. 특히 예술에서 소외되기 쉬운 대상을 조망하며 음악과 테크놀로지로 인간의 가능성을 확장하고 있습니다. 2019년부터는 인공와우 사용자의 기계적 청감을 연구하며, 생리적-기계적 청감의 교류 속에서 음악의 본질은 무엇인지 탐구하고 있습니다. 2020년 WeSA Festival에 참가하여 공연하였으며, 제로원데이 2021-2022, 2023 파라다이스 아트랩 페스티벌에서 작품을 발표하며 전자음악가로서 활발히 활동하고 있습니다. 


▶ 수강료
600,000원


▶ 수강인원
3~8명