차량용 마이크는 자율주행차의 안전성을 향상시킵니다.

자율주행차에는 카메라, 라이더, 레이더 등의 눈이 있습니다. 그런데 귀? 독일 프라운호퍼 디지털 미디어 기술 연구소(Fraunhofer Institute for Digital Media Technology)의 청각, 음성 및 오디오 기술을 담당하는 올덴부르크 지점의 연구원들이 Hearing Car를 사용하여 구축하고 있는 것이 바로 이것입니다. 자동차가 볼 수 없는 위험에 대응할 수 있도록 돕기 위해 차량에 외부 마이크와 AI를 장착하여 환경 소리를 감지, 위치 파악 및 분류하는 것이 아이디어입니다. 현재로서는 이는 긴급 차량에 접근하는 것을 의미하며 결국에는 보행자, 타이어 펑크 또는 브레이크 고장이 발생합니다.

Hearing Car의 프로젝트 관리자인 Moritz Brandes는 “자동차에 또 다른 감각을 부여하여 주변의 음향 세계를 이해할 수 있도록 하는 것입니다.”라고 말합니다.

2025년 3월, Fraunhofer IDMT 연구원들은 Oldenburg에서 스웨덴 북부의 시험장까지 1,500km 떨어진 Hearing Car 프로토타입을 운전했습니다. Brandes는 여행을 통해 먼지, 눈, 진창, 도로 염분 및 영하의 온도에서 시스템을 테스트했다고 말했습니다.

듣는 자동차를 만드는 방법

팀은 대답해야 할 몇 가지 주요 질문이 있었습니다. 마이크 하우징이 더러워지거나 서리가 낀다면 어떻게 될까요? 이것이 지역화 및 분류에 어떤 영향을 미치나요? 테스트에서는 모듈을 청소하고 건조시킨 후 성능이 예상보다 덜 저하되는 것으로 나타났습니다. 팀은 또한 마이크가 세차 후에도 견딜 수 있음을 확인했습니다.

각 외부 마이크 모듈(EMM)에는 15cm 너비 패키지에 마이크 3개가 포함되어 있습니다. 바람 소리가 가장 적은 자동차 뒤쪽에 장착된 이 장치는 소리를 캡처하여 디지털화하고 스펙트로그램으로 변환한 후 오디오 이벤트 감지를 위해 훈련된 지역 기반 RCNN(컨볼루션 신경망)에 전달합니다.

RCNN이 오디오 신호를 사이렌으로 분류하면 그 결과는 차량 카메라와 대조 확인됩니다. 파란색으로 깜박이는 불빛이 보이는가? 이와 같은 “감지”를 결합하면 오탐 가능성이 낮아져 차량의 신뢰성이 향상됩니다. 오디오 신호는 빔포밍을 통해 위치를 파악하지만 Fraunhofer는 이 기술에 대한 구체적인 내용을 제공하기를 거부했습니다.

모든 처리는 대기 시간을 최소화하기 위해 온보드에서 이루어집니다. 이는 또한 “인터넷 연결이 좋지 않거나 외부로부터의 간섭이 많은 지역에서 어떤 일이 일어날지에 대한 우려를 없애줍니다. [radio-frequency] Brandes는 말합니다. 그는 작업 부하를 최신 Raspberry Pi로 처리할 수 있다고 덧붙였습니다.

Brandes에 따르면 Hearing Car 시스템의 초기 벤치마크에는 조용한 저속 조건에서 최대 400m 떨어진 사이렌을 감지하는 것이 포함됩니다. 그는 바람과 도로 소음으로 인해 고속도로 속도에서 이 수치가 100미터 미만으로 줄어든다고 말합니다. 경고는 약 2초 안에 실행됩니다. 이는 운전자나 자율 시스템이 반응하기에 충분한 시간입니다.

이 디스플레이는 운전자가 차량의 “청각”을 활성화할 수 있도록 하는 제어판 및 대시보드의 역할도 합니다.프라운호퍼 IDMT

경청 자동차의 역사

Hearing Car의 뿌리는 10년 이상으로 거슬러 올라갑니다. “우리는 2014년부터 자동차의 소리를 들려주기 위해 노력해 왔습니다.”라고 Brandes는 말합니다. 초기 실험은 미미했습니다. 도로를 리드미컬하게 두드려 타이어의 못을 감지하거나 음성 명령을 통해 트렁크를 여는 방식이었습니다.

몇 년 후 Tier 1 공급업체(변속기, 제동 시스템, 배터리 또는 첨단 운전자 보조 시스템(ADAS) 등 전체 시스템 또는 주요 구성 요소를 자동차 제조업체에 직접 제공하는 회사)의 지원 이 작업을 자동차 등급 개발로 추진했으며 곧 주요 자동차 제조업체가 합류했습니다. EV 채택이 증가하면서 자동차 제조업체는 귀가 눈만큼 중요한 이유를 깨닫기 시작했습니다.

“인간은 사이렌 소리를 듣고 반응합니다. 심지어 소리가 어디서 나는지 알기도 전에 말이죠. 자율주행차도 우리와 안전하게 공존하려면 동일한 작업을 수행해야 합니다.” —Eoin King, 골웨이 대학교 사운드 연구소

Brandes는 한 가지 감동적인 순간을 회상합니다. 도로 소음으로부터 잘 차단된 전기 자동차 내부의 테스트 트랙에 앉아 있던 그는 차량이 자신에게 거의 다가올 때까지 비상 사이렌 소리를 듣지 못했습니다. “그건 정말 ‘아하!’였습니다. EV 채택이 증가함에 따라 청각 차량이 얼마나 중요해질 것인지를 보여준 순간이었습니다.”라고 그는 말합니다.

아일랜드 골웨이 대학의 기계공학 교수인 에오인 킹(Eoin King)은 물리학에서 AI로의 도약이 혁신적이라고 생각합니다.

그는 코네티컷주 하트퍼드대학교에서 이 연구 분야에서 2020년에 수행한 작업을 회상하며 “저희 팀은 매우 물리학에 기반한 접근 방식을 취했습니다.”라고 말합니다. “소리가 있는 위치를 삼각 측량하기 위해 마이크 사이의 지연을 측정하여 도착 방향을 살펴보았습니다. 이는 타당성을 입증했습니다. 그러나 오늘날 AI는 이보다 훨씬 더 발전할 수 있습니다. 기계 청취는 실제로 게임 체인저입니다.”

King은 “물리학 기반 AI와 거의 같습니다. 전통적인 접근 방식은 무엇이 가능한지 보여줍니다. 이제 기계 학습 시스템은 환경 전반에 걸쳐 훨씬 더 잘 일반화할 수 있습니다.”라고 King은 덧붙입니다.

자율주행차 오디오의 미래

진전에도 불구하고 Galway Sound Lab의 음향, 소음 및 진동 연구를 지휘하는 King은 조심스럽습니다.

“5년 안에 틈새 시장이 될 것으로 보입니다.”라고 그는 말합니다. “기술이 표준이 되려면 시간이 걸립니다. 차선 이탈 경고도 한때는 틈새 시장이었지만 지금은 어디에나 있습니다. 청각 기술이 그 목표에 도달할 것이지만, 차근차근 따라가겠습니다.” 단기 배치는 프리미엄 차량이나 자율 차량에 나타날 가능성이 높으며 대량 채택은 더 늦어질 것입니다.

King은 오디오 인식이 중요한 이유에 대해 말을 아끼지 않습니다. 자율 주행 차량은 인간과 공존해야 합니다. “인간은 사이렌 소리를 듣고 반응합니다. 심지어 소리가 어디서 나는지 알기도 전에 말이죠. 자율주행차도 우리와 안전하게 공존하려면 동일한 작업을 수행해야 합니다.”라고 그는 말합니다.

King의 비전은 시각을 위한 카메라와 LiDAR, 청각을 위한 마이크, 심지어 도로 표면 모니터링을 위한 진동 센서 등 다감각 인식 기능을 갖춘 차량입니다. “냄새는 너무 먼 것 같아요.”라고 그는 농담합니다.

Fraunhofer의 스웨덴 도로 테스트에서는 내구성이 큰 장애물이 아닌 것으로 나타났습니다. King은 또 다른 우려 사항인 허위 경보를 지적합니다.

“누군가가 ‘도와주세요’라고 소리치는 소리가 들리면 자동차가 멈추도록 훈련시키는 경우, 아이들이 장난으로 그렇게 하면 어떻게 될까요?” 그는 묻습니다. “우리는 이러한 시스템을 도로에 배치하기 전에 철저하게 테스트해야 합니다. 이것은 가전제품이 아닙니다. ChatGPT가 잘못된 대답을 제공하면 질문을 다시 말하면 됩니다. 사람들의 생명이 위험에 처해 있습니다.”

비용은 문제가 되지 않습니다. 마이크는 저렴하고 견고합니다. 진짜 과제는 알고리즘이 경적, 쓰레기 수거차, 건설 현장으로 가득 찬 시끄러운 도시의 소리 풍경을 이해할 수 있도록 하는 것입니다.

Fraunhofer는 현재 미국, 독일, 덴마크의 사이렌을 포함하여 더 광범위한 데이터 세트를 사용하여 알고리즘을 개선하고 있습니다. 한편, King의 연구실에서는 자동차용으로 재사용할 수 있는 실내 환경에서의 소리 감지 기능을 개선하고 있습니다.

청각 차량이 신호등을 켜는 사람의 엔진이 눈에 보이기 전에 회전하는 것을 감지하는 것과 같은 일부 시나리오는 수년이 걸릴 수 있지만 King은 “올바른 데이터가 있으면 이론상으로는 가능합니다. 문제는 해당 데이터를 얻고 이에 대한 교육을 받는 것입니다.”라고 주장합니다.

Brandes와 King은 단 하나의 감각만으로는 충분하지 않다는 데 동의합니다. 카메라, 레이더, LiDAR는 물론 이제는 마이크까지 함께 작동해야 합니다. King은 “시각에만 의존하는 자율주행차는 시야에 제한이 있습니다.”라고 말합니다. “음향을 추가하면 또 다른 수준의 안전성이 추가됩니다.”

귀하의 사이트 기사에서

웹상의 관련 기사