Speech Perception(음성 인지)-1

다시 Speech Chain에서 시작한다...

The Speech Chain

 

Speech chain의 청자 부분을 보자. 음성이 음파(소리)를 통해 귀로 전달되면 귀 내의 음압 변화를 통해 소리가 신경 자극으로 바뀌게 되고(physiological level), 이 신경 자극은 뇌에서 linguistic form으로 변환(linguistic level)되게 된다. Speech production과 유사하게, linguistic level에 대해서는 아직 연구할 부분들이 많다고 하며, 음성처리 분야에서는 physiological level을 주로 다루게 된다. 즉, 본 포스트는 speech perception 중 음성이 신경 자극으로 연결되는 과정까지만 다루고 있다.

 

귀의 기능

소리를 처리하는 기관인 귀는 소리를 처리하는 과정에서 어떻게 기여하는지에 따라 outer ear, middle ear, inner ear, 크게 세 부분으로 나눌 수 있다.

The human ear

각 부분에서 중요한 역할을 맡고 있는 기관들은 다음과 같다. 

Outer ear(외이): Pinna(귓바퀴), Auditory canal(외이도)

Middle ear(중이): Tympanic membrane(eardrum, 고막), malleus(hammer, 망치뼈), incus(anvil, 모루뼈), Stirrup(stapes, 등자뼈)

Inner ear(내이): Cochlea(달팽이관)

 

각 부분에서 소리를 어떻게 처리하게 되는지 알아보자.

 

Outer ear

넓게 퍼진 소리의 에너지를 (일종의 깔때기 모양인) pinna(귓바퀴)를 이용하여 모은 후, auditory canal(외이도)을 통해 middle ear로 보내준다. 특별히 유의미한 역할을 하지는 않는다...

Outer ear

 

Middle ear

Auditory canal을 통해 middle ear까지 온 소리는 진동판 역할을 하는 Tympanic membrane(고막)에서 기계적인 진동으로 변환된다. 고막이 진동함에 따라 고막에 연결된 세 개의 귓속뼈(망치뼈, 모루뼈, 등자뼈)들도 함께 진동하게 되며, 이 뼈들은 고막의 진동을 약 3배에서 15배까지 증폭시킨다. 또 큰 소리로 인해 과도한 진동이 발생하는 경우, 이 뼈들에 연결된 근육들이 수축하면서 귀를 보호한다고도 한다.

Middle ear

 

Inner ear

여러모로 음성처리에서 핵심적으로 고려되는 부분이다. 우선 Middle ear의 Stirrup(stapes, 등자뼈)는 진동을 통해 Inner ear의 Cochlea(달팽이관)으로 진동을 전달해 주게 된다.

Inner ear, Semicircular Canals는 반고리관으로, 몸의 균형을 잡아주는 기관이다.

 

달팽이관은 이름 그대로 원통 모양이 말려 들어가 있는 형태이며, 이 원통은 안쪽으로 들어갈수록 얇아지는 구조로 되어 있다. 내부는 유체(림프액)로 채워져 있으며, 원통 중앙에는 basilar membrane(기저막)이라는 얆은 막이 존재한다. 기저막에는 약 3,500개의 inner hair cells(IHCs)가 존재하며, 이 세포들은 일종의 센서 역할을 하여 진동을 신경 자극으로 바꾸게 된다.

 

Cochlea

 

주목해야 할 부분은, 각 IHCs들은 해당 세포가 달팽이관의 어디에 위치하는가에 따라 잘 반응하는(신경 자극을 잘 만들어내는) frequency가 다르다. 바깥쪽의, 즉 등자뼈와 가까운 부분의 IHCs들은 높은 주파수에 잘 반응하며, 안쪽의 IHCs들은 낮은 주파수에 잘 반응한다. 따라서, 사람이 소리를 들었을 때 어떤 IHC가 반응했는지에 따라 그 소리의 주파수를 판단할 수 있게 된다.

 

Cochlea와 IHCs

 

이것저것 찾아보니 Cochlea의 원리는 이것보다 복잡한 것도 같지만... 더 깊게는 의사 선생님들께 여쭈어보자. :)

---

Reference

Peter B. Denes et al., "The Speech Chain"

Lawrence R. Rabiner, "Theory and Applications of Digital Speech Processing"