뮤지컬 의자

뮤지컬 의자 프로젝트 및 팀 리더 Tamar Sella, Jason Wang, Suvin Sundararajan, Peggy Yin 및 Yiting Huang(Matt Goisman/SEAS)

우리가 의자에 앉을 때 아무것도 남기지 않습니까? 우리가 사물과 상호작용할 때 사물이 우리를 기억하는가? 그리고 그 물체가 자신의 기억을 우리에게 다시 전달할 수 있다면 어떤 소리가 날까요?

이것은 Peggy Yin과 그녀의 학생 단체인 Conflux가 ARTS FIRST Week 동안 Harvard Yard에 설치된 오디오 신호를 녹음하고 재전송할 수 있는 나무 의자 3개인 "Musical Chairs"에서 탐구한 아이디어 중 일부입니다. 이 프로젝트는 기계 학습과 컴퓨터 과학, 음악 공연, 목공의 요소를 결합하여 예술과 기술의 융합을 만들어냈습니다.

"저의 궁극적인 목표는 사람들이 자연스러운 대화를 나눌 수 있는 공간을 만드는 것입니다. 또한 나중에는 자신의 말과 표현이 다른 사람에게 어떤 영향을 미칠 수 있는지 생각해 보고, 사람들에게 자신을 진정성 있고 정직하게 표현할 수 있는 시간과 공간을 제공하는 것입니다."라고 Yin은 말했습니다. Conflux의 공동 창립자이자 전산 신경 과학과 예술 및 건축의 역사를 공부하는 2학년 학생입니다. "저는 항상 기술, 특히 미디어 기술이 사람들 간의 공감과 이해를 구축하는 데 어떻게 도움이 될 수 있는지, 그리고 그것이 어떻게 다른 사람의 의사소통 신호를 전달하고 해석하는 능력을 향상시킬 수 있는지에 관심을 가져왔습니다."

뮤지컬 의자의 사운드스케이프는 Harvard Yard 방문객이 앉는 것처럼 보입니다. (합류점)

각 의자는 특수 센서가 누군가 앉아 있음을 감지하면 하프 음악을 연주합니다. 마이크가 대화를 포착하면 컴퓨터는 기계 학습 알고리즘을 사용하여 사람 목소리의 빈도 및 템포와 같은 오디오 데이터를 추출합니다. 미리 녹음된 하버드 학생들의 목소리 샘플은 해당 데이터를 바탕으로 음악을 작곡하는 데 사용되며, 이 음악은 의자 팔걸이에 있는 변환기로 다시 전송됩니다. 팔걸이에 팔꿈치를 올리고 손에 귀를 대면 골전도를 통해 과거 대화의 음악적 소리 풍경을 들을 수 있다.

Yin은 "이전에 찾아온 몇몇 사람들이 앉아서 대화를 나누었는데, 그들이 소리의 풍경을 그대로 연출할 수 있다는 점이 정말 마음에 들었습니다"라고 말했습니다. "결국 그들 중 한 명은 정말 편안했고 집에도 하나 있었으면 좋겠다고 말했습니다. 음악을 들으면서 완전히 평범한 대화를 나누다가 나중에는 정말 허용하고 있다는 것을 보여줬다고 하더군요. 대화를 방해하지 않고 긍정적인 방식으로 지원하는 음악입니다."

뮤지컬 의자 프로젝트 리더인 Peggy Yin(가운데)이 Harvard Yard에서 팀 리더인 Tamar Sella와 Jason Wang 앞에서 골전도 기술을 시연하고 있습니다. (맷 고이스먼/SEAS)

의자가 제작되는 동안 Harvard John A. Paulson School of Engineering and Applied Sciences(SEAS)의 학생들이 하드웨어와 소프트웨어를 작동시키는 데 앞장섰습니다. 생명공학 집중자인 Suvin Sundararajan은 센서를 3D 프린팅하고 하드웨어 책임자로 활동했으며, 컴퓨터 과학 및 수학 학생인 Jason Wang은 실시간으로 오디오 데이터를 추출할 수 있을 만큼 강력한 기계 학습 알고리즘과 분산 컴퓨팅 네트워크를 설계했습니다.

Wang은 "저는 기계 학습 전문가이기 때문에 이런 종류의 작업을 정말 좋아합니다."라고 말했습니다. "가장 어려운 부분은 오디오 기능을 실시간으로 처리하는 방법을 알아내는 것이었습니다. 일반적으로 오디오 기능은 많은 컴퓨팅 작업을 필요로 하기 때문입니다. 실시간으로 실행하고 이러한 기능을 사용자에게 전달하는 방법을 알아내기 위해 우리는 세 대의 MacBook Pro를 배치해야 했습니다. 음악을 만드는 소프트웨어죠."

Yin의 프로젝트는 Harvard Office of the Arts의 공공 예술 보조금으로 선정되었습니다. SEAS는 또한 교육 및 학습 그룹을 통해 SEAS 관련 학생 조직에 배정된 자금을 통해 프로젝트가 결실을 맺도록 도왔습니다. 센서와 전자 장치도 SEAS에서 설계되었습니다. 한편 목공 및 목공 작업은 예술, 영화 및 시각 연구 목재 상점에서 완료되었습니다.

뮤지컬 의자의 사운드스케이프를 가능하게 하는 중앙 마이크 박스, 하드웨어 및 배선을 살펴보세요. (맷 고이스먼/SEAS)