Audio basado en objetos: ¿Qué es y cómo se usa en videojuegos?

Dentro de todo lo que se ha hablado sobre la próxima consola de Nintendo hay un detalle que se puede encontrar en cierta patente y que es inédito el actual Nintendo Switch que nos sorprende que nadie haya hablado con de ello y que tiene cierta relación con la VR a formas de jugar convencionales. Y que podría significar ver a la venta auriculares especiales para aprovechar el audio basado en objetos, el cual cambia por completo la forma inmersiva de disfrutar del sonido. Sin embargo, esto no es una novedad y ya se encuentra disponible en otros sistemas.

¿Qué es el audio basado en objetos?

Se trata de una técnica para crear entornos de audio donde cada una de las fuentes de sonido se almacenan en su propio archivo de forma individual que se acompaña de metadatos que definen diferentes valores y parámetros de cada uno de estos. Lo cual permite una manipulación de dichos sonidos de forma individual para crear una experiencia más inmersiva

Se le llama audio basado en objetos por el hecho que cada objeto en la escena se trata como una fuente de sonido independiente a procesar, la cual no solo incluye la pista de sonido, sino también metadatos para la construcción acústica de la escena. Dichos metadatos pueden incluir información como la posición del objeto en un espacio 3D y que pueden manipularse para así generar variantes del sonido según la posición del espectador respecto a la escena.

Las soluciones al estilo Dolby Atmos, MPEG-H o el formato propietario de PlayStation 5, Tempest Engine, se basan en el estándar ADM que define como se han de almacenar las pistas de audio y los metadatos para su posterior procesamiento.

Dolby Atmos

El sistema más popular de este tipo es Dolby Atmos, el cual se utiliza tanto en videojuegos como en medios continuos. Sin embargo, se trata de una tecnología que es más marketing que otra cosa, desde el momento en que tecnologías como Aureal ya permitían hacer esto. No obstante, hemos de tener en cuenta los avances en procesamiento en estos últimos 25 años que permiten aplicar el audio basado en objetos sin apenas ningún hardware extra.

Por ejemplo, Dolby Atmos, que es el más popular, puede manejar hasta 128 canales de sonido distintos, de los cuales 118 se definen como objetos y otros 10 como altavoces físicos. La idea aquí es que dependiendo de tu setup todos los sistemas de audio basado en objetos han de procesar y deducir la forma más adecuada de reproducir el sonido según cuál sea tu configuración de altavoces, desde unos simples auriculares hasta una sala de cine con docenas de altavoces.

Esto significa que los que crean los entornos de sonido no tienen por qué crearlos para una solución concreta, y no fuerza al usuario a renovar su home cinema o tener que conformarse con una solución de sonido peor.

Aplicación en los videojuegos

Su uso en medios continuos como la radio, el cine o la televisión, donde todo está controlado, lleva años produciéndose, pero en videojuegos su aplicación es mucho más compleja. Esto se debe a que los cambios continuos de la cámara obligan a recalcular por completo todo el audio de la escena y las características de los cientos, por no decir, miles de sonidos que la componen. Lo cual a dia de hoy acaba en manos de la CPU por la falta de hardware especializado para el audio.

El motivo de ello es que procesar la mezcla de sonidos para generar el audio final de la escena tienen un coste computacional muy bajo y, aun así, el microprocesador central se ha de encargar de calcular la posición y los parámetros de cada una de estas fuentes que no son pocas precisamente. Es decir, a día de hoy, el problema del audio basado en objetos es decidir como se genera el audio y no generarlo. Por lo que al final es mucho más eficiente asignarle un núcleo entero de la CPU al procesamiento del sonido que tener un hardware especializado para ello.

En el caso del Tempest Engine de PS5, su aplicación es que permite usar una de las Compute Units de la GPU de la consola para llevar a cabo dicho trabajo y liberar a la CPU, mientras que Microsoft ideo coprocesador de audio propietario para la misma funcionalidad bajo el mismo concepto. Y todo apunta a que Nintendo y NVIDIA han hecho lo mismo de cara a Switch 2.

Audio basado en objetos en los videojuegos

No se trata de un concepto revolucionario en el sentido que no es una novedad, pero se ha usado poco y normalmente en entornos de realidad virtual, como por ejemplo Steam Audio. El concepto del audio por objeto es sencillo hacer que cada objeto que genere un sonido en la escena del juego lo haga de acuerdo a su posición respecto al jugador y a la distancia, así como de los diferentes objetos y la disposición del escenario.

Así pues, el audio basado en objetos puede hacer cosas como:

• Representar la reflexión y refracción del sonido, la cual sirve para emular como el audio se refleja y refracta en diferentes superficies, teniendo en cuenta la naturaleza cada una de ellos.
• Otra función es que tiene en cuenta las pares al escenario y los diferentes objetos para poder bloquear o atenuar el sonido.
• También utiliza audio binaural para crear una sensación de espacio tridimensional para que los sonidos parezcan venir de diferentes direcciones específicas.
• Sin olvidarnos de las funciones HRTF, las cuales permiten ajustar el audio según la posición del usuario, de la cabeza del usuario y también de la forma de su canal auditivo, aunque para ello necesita el uso de auriculares especiales.

Todas estas funcionalidades del audio para objeto no son una novedad, ya que se encuentran disponibles en el hardware dentro de PlayStation 5 y Xbox Series, pero se trata de algo poco utilizado, por desgracia, y que fuera de algunas experiencias como el recién lanzado Hellblade 2 para PC y Xbox, pues en general casi no se han visto.