우리 연구실 이름은 ‘AIRIS^{Applied and Innovative Research for Immersive Sound}’로, 몰입형 음향과 공간음향, 그리고 이를 활용해 사람들에게 실질적인 도움을 줄 수 있는 융합기술을 전반적으로 다루고 있습니다. 카이스트 문화기술대학원 소속인 만큼 문화와 기술을 결합하는 데 초점을 맞추며, 가상이든 실제든 공간을 제어해 사용자가 원하는 대로 직접 소리 환경을 제어할 수 있도록 돕는 연구에 중점을 두고 있습니다.

가장 쉽게 이해할 수 있는 공간은 ‘공연장’이나 최근 각광받는 ‘이머시브(몰입형) 미디어아트 전시회’입니다. 미디어 전시에서 시각적 연출이 아무리 뛰어나도 주변 소음이 제어되지 않거나 청각적 정보가 조화를 이루지 못하면 관람객의 몰입감이 깨지기 쉽습니다. 공간음향은 공간 전체를 정밀하게 제어해 연출가가 의도한 소리를 정확히 들려줌으로써 완전한 몰입 환경을 완성합니다. 일상적으로는 좁은 아파트 안에서도 마치 사방이 트인 바닷가나 산속, 혹은 거대한 콘서트홀 한가운데 있는 듯한 ‘청각적 공간 이전’의 경험을 선사할 수 있습니다. 최근에는 이러한 개념을 확장해 대전예술의전당과 협업하여 오직 음향적 정보만으로 극을 이끌어가는 작품을 무대에 올리기도 했습니다.

대학생 때는 유망할 거라는 막연한 기대감으로 컴퓨터공학을 선택했습니다. 하지만 천공 카드^{Punched Card}에 일일이 구멍을 뚫어 코딩하던 방식은 제 성향과 잘 맞지 않았습니다(웃음). 대신 어릴 때부터 교회 생활을 하며 악기를 다루고 소리를 연결하는 과정에 큰 흥미를 느꼈습니다. 대학 시절에는 공부 대신 낙원상가에서 살다시피 했죠. 당시 4트랙 녹음기가 국내에 처음 출시되었을 때, 각 악기와 목소리를 따로 녹음해 음향 밸런스를 맞출 수 있다는 사실은 제게 거대한 혁신이었습니다.

소리에 눈을 뜨게 되면서 KBS 음향직으로 입사해 본격적으로 현장 실무를 시작했고, 더 깊은 학문적 호기심을 채우기 위해 캐나다 맥길대학교로 유학을 떠났습니다. 그곳에서 콘서트홀과 가상 콘서트홀을 설계하는 음향 연구를 접하며 공간음향이라는 분야에 본격적으로 뛰어들었습니다.

실감 미디어 경험이 보편화될 겁니다. 앞으로 플렉서블, 비정형 디스플레이가 보편화되면 집 안의 어떤 벽면이든 사용자가 원하는 대로 스크린을 붙일 수 있는 시대가 올 겁니다. 이때 시청각 불일치 현상이 발생할 가능성이 크고, 그러면 몰입감이 크게 떨어질 수 있습니다. 기존의 2채널 스테레오 시스템은 소리가 맺히는 ‘스위트 존^{Sweet Zone}’이 매우 좁습니다. 특히 공연 같은 경우는 불일치가 더 심한데, 공연장 좌석이 한쪽으로 조금만 치우쳐도 균형 깨진 소리를 듣게 됩니다.
반면 22.2채널이나 그 이상의 다채널 기술을 활용하면 스위트 존 문제를 획기적으로 개선할 수 있습니다. 어느 위치에서나 시청각 일치를 통한 고충실도^Fidelity의 가상공간을 재현할 수 있게 됩니다. 물론 다채널 장비를 가정에 보급하는 것은 현실적으로 어렵습니다. 그래서 다채널의 물리적 이점을 깊이 연구한 뒤, 이를 다시 5~6개의 스피커 개수로 줄이면서도 동일한 입체감을 내는 가상 최적화 연구를 동시에 병행하고 있습니다.

시장은 일부 얼리어답터를 제외하면 보수적입니다. 새로운 기술에 비용을 투자할 때 안전한 리턴이 올 때까지 검증을 기다리죠. 수많은 우수한 기술이 이 기다림의 페이즈를 넘지 못하고 사라집니다. 과거 일본 야마하연구소에서 근무할 때, 현재 전 세계 극장 음향을 차지하고 있는 ‘돌비 애트모스’와 유사한 포맷을 저희 팀이 먼저 개발하고 있었습니다. 그러나 마케팅팀에서 가망이 없다는 결론을 내리면서 사업을 접을 수밖에 없었는데, 5년 뒤 다른 회사가 이를 세계적인 표준으로 성공시키는 것을 보며 엔지니어로서 속앓이를 하기도 했습니다.

소비자 및 기업 마케팅의 보수성과 장벽을 겪어본 입장에서, 대학은 훨씬 더 열린 공간입니다. 특히 카이스트는 창업을 적극적으로 장려하기 때문에, 혁신적인 아이디어를 대규모 조직의 결재 라인 없이 벤처 창업 등을 통해 시장에 빠르게 테스트베드해볼 수 있습니다.

오랜 외국 생활 후 한국에 돌아왔을 때, 한국 특유의 압축적이고 빠른 생체리듬에 적응하는 것이 꽤 힘들었습니다. 마감 직전에 과제가 공고되고 밤을 새워 제안서를 쓰는 게 쉽지 않았습니다. 시행착오 끝에 현재는 오전 시간을 온전히 제 개인 시간으로 비워둡니다. 일찍 일어나 논문을 읽고 개인 업무를 처리한 뒤, 아내와 함께 식사하고 운동을 마친 다음 10시에서 11시 사이 사무실에 출근합니다.

오후에는 연구실 내 12명의 학생과 주간 단위로 쪼개어 연구 미팅을 진행하고, 수업을 소화합니다. 저녁에는 특별한 이벤트가 없으면 악기 연습을 하고, 9시쯤 퇴근하는 루틴을 지키려 노력합니다.

공간음향은 공학과 예술, 양쪽 역량이 필요한 융합 학문입니다. 실제로 저희 연구실에는 피아노 연주자 과정을 밟다가 들어와 AI로 음악적 센스를 기술에 녹여내는 친구도 있고, 반대의 경우도 있습니다. 하지만 제가 생각하는 가장 필요한 자질은 자기가 좋아하는 걸 끝까지 밀고 나가는 끈기입니다. 연구는 결국 데이터의 신뢰성을 증명하기 위해 수많은 반복을 견뎌내는 성실함의 싸움이기 때문입니다. 특정 역량이 조금 부족하더라도 열린 마음과 끈기만 있다면 그런 부분은 얼마든지 채워나갈 수 있습니다.

공간음향을 활용한 디지털 치료제입니다. 미국에서 오랜 기간 교직 생활을 하던 중, 한 이비인후과 의사 선생님이 던진 질문이 있습니다. “김 교수가 하는 연구는 귀가 좋은 엔지니어들을 더 좋게 만드는 것 같은데, 그걸 반대로 적용해 귀가 안 좋은 환자들의 청력을 좋아지게 할 수는 없느냐”는 질문이었죠. 평생 청력이 좋은 뮤지션이나 엔지니어들과만 일해왔던 제게는 신선한 충격이었습니다.

그때부터 청각훈련 방법론을 난청 환자에게 적용하는 연구를 시작했고, 실제로 유의미한 개선 효과가 있음을 발견했습니다. 이 연구의 궁극적 목표는 증강 관점의 ‘스마트 보청기’ 원천기술을 개발하는 것입니다. AI를 결합해 사용자의 뇌파·호흡·심장박동·피부 전도도 등의 생체 신호를 실시간으로 모니터링하고, 주변 소음 속에서 사용자가 지금 듣고 싶어 하는 특정 목소리만 선택적으로 분류하고 증강하는 기술입니다.

이를 학계에서는 ‘칵테일파티 효과^{Cocktail Party Effect}’라고 부릅니다. 이 기술이 중요한 이유 중에 치매 예방도 있습니다. 의학계 보고에 따르면 노인성 난청으로 인해 주변 소리를 분리해내지 못하면 대화가 어려워지고 사회적으로 고립되는데, 이 소통의 부재가 단일 치매 발병 요인 중 무려 15~20%의 연관성을 가집니다. 즉 소리를 스마트하게 분리해내는 공간음향 기술이 치매라는 사회적 난제를 해결하는 데 크게 기여할 수 있는 셈입니다.

제 연구 철학은 ‘기술을 통해 사람의 일상이 행복해지는 것’입니다. 논문만 쓰고 끝나는 학문이 아니라 실제 사람들의 삶에 도움을 줄 수 있어야 합니다. 스마트 보청기에 이어 현재 저희가 깊은 관심을 두고 연구비를 두드리고 있는 영역은 시각장애인을 위한 포용적 문화 기술입니다. AI 기술을 활용해 시각장애인의 인지 특성에 맞게 대본을 재해석하고, 문맥에 맞는 입체적인 공간음향 효과를 자동으로 펼쳐주는 시스템을 구축하고자 합니다. 다행히 이전에 몸담았던 KBS의 제3라디오(장애인 전용 채널)와 연이 닿아, 올해나 내년 초쯤 공간음향을 적용한 파일럿 라디오 드라마를 함께 제작해 테스트 방송을 해보기로 뜻을 모았습니다. 기술의 온기가 소외된 곳까지 골고루 스며들 수 있도록, 이런 연구를 끝까지 이어나가는 것이 제 작은 꿈입니다.