Cantamos con la voz y con la cara
La música es mucho más que hertzios en el aire que llegan hasta nuestros oídos. De acuerdo a la tesis de Tejaswinee Kelkar, lo que vemos y cómo nos movemos afecta a lo que oímos.
Al escuchar a Michael Jackson, Elvis Presley o Raphael, ¿cuanto tiempo tardamos en asociar su música a los movimientos que los hicieron eternos sobre el escenario? Al escuchar a Camarón, ¿nos los podemos imaginar sin cerrar los ojos y poner cara de quejido? Un solo de guitarra de Jimi Hendrix, ¿tiene sentido imaginárnoslo sentado con la guitarra en las rodillas? Y es que la música es mucho más que una buena letra y melodía, es una interacción entre todo lo que sentimos.
Tejaswinee Kelkar es una cantante e investigadora del Departamento de Musicología de la Universidad de Oslo que presentó su tesis en 2019, bajo el sugerente título Análisis computacional del contorno melódico y el movimiento corporal. Como dice la propia Kelkar, “piensa en cómo te sientes cuando alguien canta notas realmente altas […], lo que notamos es el esfuerzo que está haciendo el cantante”. Somos capaces de reconocer el patrón porque es una cuestión fisiológica, no hace falta ver al cantante. La investigadora ha estudiado los gestos que hacen las personas al escuchar música. Entre estos gestos están las expresiones faciales y la posición de las piernas, pero hay más elementos que afectan a la experiencia auditiva. De alguna manera guardamos una auténtica biblioteca de gestos que dan un valor único a la música de cada intérprete. Si tiene cierta edad, piense en Lola Flores e intente imaginarla cantando sentada en una silla. Es imposible.
Dibujando la música
Autora
La propia Tejaswinee Kelkar es cantante y el origen de su investigación está en la experiencia propia. Notó cómo usamos las manos de diferente forma al cantar música occidental o india. Cuando era pequeña aprendió a cantar música del norte de india. Allí usaban gestos con las manos para que los niños aprendiesen a cantar y, cuando subían al escenario, seguían haciéndolo. Pero al estudiar canto clásico occidental y mover las manos le dijeron que no era así como se hacía. Kelkar pensaba que los movimientos de las manos le brindaban algún tipo de asistencia anatómica para poder dar uso a su voz y, por eso, algunos gestos eran adecuados para un tipo de música y no para otro.
La música se reproduce en todos nuestros sentidos porque es multimodal, afirma Kelkar. Tanto el espacio como el tiempo son muy importantes en música. Para poder comprender mejor cómo se percibe espacialmente la música, Kelkar ha realizado varios experimentos. En uno de estos experimentos le pidió a los participantes que dibujaran o explicaran lo que estaban visualizando en sus mentes mientras escuchaban varias veces una pieza musical. “Varios participantes describieron o dibujaron la música como una onda que pasaba por su lado”, explica Kelkar. Otros participantes, si notaban que la melodía se repetía, dibujaron círculos.
En otro de los experimentos se les pidió a los participantes que movieran los brazos de acuerdo a lo que escuchaban. La metodología seguida por la investigadora fue grabar cada participación y complementarlo con tecnología de captura de movimiento para así detectar patrones.
No es nueva la relación entre lo que vemos y lo que escuchamos. Los investigadores del lenguaje llevan tiempo estudiando esta conexión y es algo común es las escuelas infantiles. “Se ha observado como un fenómeno lingüístico, incluido el llamado efecto McGurk”, explica Kelkar. Este efecto fue descrito por primera vez por McGurk y MacDonald en un artículo de Nature, en 1976, con un título que lo dice todo: Escuchar los labios y leer las voces. El efecto trata de cómo podemos escuchar un sonido mientras observamos una cara que expresa un sonido diferente. En este caso escuchamos un tercer sonido, que puede ser intermedio. Por ejejmplo, si las sílabas “ba-ba” se emiten sobre los movimientos de los labios de “ga-ga”, la percepción es de “da-da”. Kelkar se preguntó si ocurre lo mismo cuando cantamos, por lo que su tesis se amplió a una investigación junto a sus colegas Bruno Laeng y Sarjo Kuyateh.
“De hecho, encontramos señales que indican que lo que cantante hace con su rostro afecta la forma en que la gente percibe una melodía. El intervalo entre dos tonos puede sonar diferente si la gesticulación del cantante varía”.
El shazam de la gesticulación
Articulo
Con los datos obtenidos y la inteligencia artificial, se puede pensar en una tecnología futura que reconozca la música a través de los movimientos del cantante:
La idea de Kelkar no es nueva del todo, pues tiene cierta similitud al código Parsons, que es una método de identificación de música basada en contornos melódicos. Fue Denys Parsons quien puso atención en 1975 sobre este aspecto, con un libro titulado Directorio de melodías y temas musicales. Analizó en su obra nada menos que 15000 piezas y las agrupó por contornos melódicos. Un contorno melódico es un trazado estructural de las alturas y posiciones de la melodía de una obra musical. Para ello se tiene en cuenta las notas más relevantes de una melodía: a nota inicial y final de una frase, la nota más grave y aguda de una frase, las notas que se encuentran en tiempos fuertes de un compás, las notas acentuadas con dinámicas, síncopas pronunciadas o notas anticipadas y las notas más largas en comparación a las notas que la rodean.
La propia investigadora ha informado en su cuenta de twitter que los datos y vídeos están disponibles on line con acceso libre.
La ventana a un mundo en constante cambio
Muy Interesante
Recibe nuestra revista en tu casa desde 39 euros al año
Suscríbete