I TEST DE AUDIO DIGITAL: WAV VS OGG ¿QUÉ NOS ESTAMOS PERDIENDO?

Os propongo participar en un experimento colectivo. El objetivo es analizar la calidad de audio que podemos conseguir utilizando el codec OGG/Vorbis de modo comparado con la de muestras de audio almacenadas sin compresión de ningún tipo, en formato WAV, a 16 bits y 44 Khz.

OGG/Vorbis (simplemente OGG en adelante) es un veterano codec de audio digital desarrollado por la Fundación Xiph.Org. Pertenece a la familia de codecs llamados perceptivos. Esto quiere decir que utiliza un modelo psicoacústico para reducir el tamaño del archivo resultante del proceso de codificación por lo que cuando se emplea se produce una pérdida en la fidelidad del audio de las muestras originales que se recodifican. Dicho de otro modo, su funcionamiento no es transparente puesto que opera bajo la premisa de descartar información que teóricamente no es audible, del mismo modo que los archiconocidos MP3 y AAC.

Lo que vamos a tratar de determinar precisamente es en qué medida esa pérdida es audible o no, y bajo qué condiciones.

Aunque es posible que existan otros codecs más eficientes, he escogido OGG por el hecho de ser de código abierto, por su popularidad (es el empleado por Spotify) y su buen rendimiento contrastado. En cualquier caso, OGG ofrece mejores resultados que MP3 a igual tasa de bits

La sistemática de la prueba es la siguiente:

1. He seleccionado 5 pistas de audio a partir de mis propios CDs y las he extraído en formato WAV.
   
2. A continuación, he escogido un fragmento de entre 30 y 50 segundos de cada una de ellas y he generado 5 archivos en formato WAV.
   
3. Estos 5 archivos se han recodificado en formato OGG. En este punto se ha producido una pérdida en la fidelidad del audio de las muestras originales.
   
4. Para evitar que el tamaño del archivo delatara el codec empleado en cada caso, las muestras en formato OGG se han re-empaquetado nuevamente como archivos WAV.
   
5. Los 5 pares de archivos resultantes (versión en WAV / versión en OGG, pero ambos conjuntos presentados en contenedores WAV) han sido renombrados de modo uniforme: Pista 1-A, Pista 1-B, Pista 2-A, Pista 2-B… asignando aleatoriamente los sufijos A y B a cada par de pistas.
   
6. Se ha construido una página web en la que se han publicado todos los archivos, así como un cuestionario que contiene una serie de preguntas.
   
7. El test estará abierto durante un periodo de tiempo que, en principio, voy a establecer en 30 días. Además, se publicará en diferentes foros y en mi cuenta de Twitter, Facebook y blog personal.
   
8. Pasado ese periodo de tiempo, que espero sea suficiente para conseguir un cierto número de ensayos (idealmente del orden de cientos), el cuestionario se cerrará y procederé a analizar las respuestas enviadas.
   
9. Tanto la hoja de cálculo con los datos recogidos como las distintas tablas dinámicas y gráficos resultantes del análisis serán publicados y quedarán a disposición de cualquiera que quiera revisarlos.

El cuestionario a responder tras la audición tiene 3 secciones. En la primera hay que marcar qué versión de cada uno de los pares de pistas nos suena mejor. Existe también una tercera respuesta posible si no se aprecian diferencias. Del mismo modo, hay que indicar qué grado de confianza se tiene en las elecciones realizadas. Las siguientes dos secciones contienen preguntas que son opcionales, pero se incluyen para recoger datos que permitan segmentar los resultados y tratar de interpretarlos.

Hay alguna cuestión más que comentar al respecto de la prueba y del formulario de respuesta, no obstante he incluido la información que me parece más relevante en la propia página web del experimento.

Así que, sin más, aquí tenéis la web de la prueba:


Muchas gracias a todos los participantes por adelantado.

Nota: Este mensaje ha sido publicado en varios foros dedicados al audio con el objetivo de darle la mayor difusión posible, mis disculpas si eso contraviene la política de uso de este espacio.

Y AQUÍ TENEMOS LOS RESULTADOS

A continuación os muestro una serie de gráficos interactivos (es posible mover el ratón sobre ellos para que se destaquen los valores representados) que detallan los resultados obtenidos. Si alguien desea analizar los datos en bruto, respuesta por respuesta, así como revisar detenidamente todas las tablas dinámicas y gráficos generados a partir de ellos, puede hacerlo en esta hoja de cálculo de Google:

Test audio comprimido (publicado)

Este documento es de solo lectura. No obstante podéis hacer una copia (es necesario para ello disponer de una cuenta de Google) haciendo Archivo > Crear una copia para disponer de una versión propia, ya editable, en la que se pueden ver las fórmulas empleadas, editar los gráficos o realizar nuevos análisis. Por ejemplo, quizás sería interesante estudiar en qué modo las variables (tipo de escucha, perfil, nivel del equipo, etc.) determinan el número de aciertos en cada una de las pistas de modo específico e independiente. Yo he hecho el análisis que os presento de modo global, puesto que de lo contrario el trabajo se hubiera alargado mucho, y solo he descendido a este nivel de detalle para relacionar aciertos con confianza en la elección, que sí podréis encontrar más abajo representados pista a pista.

Esta es por tanto una prueba de código abierto :-), así que os animo a utilizar la hoja de cálculo con las respuestas para obtener más información y a compartir los resultados.

Vamos con los gráficos. Hay muchos y su carga puede demorarse, paciencia.


1. Información estadística de los participantes

1.1 Participantes


1.2 Edad Media


1.3 Sexo


1.4 Escucha con auriculares / altavoces


1.5 Nivel del equipo


1.6 Perfil de usuario


1.7 Modo de realización de la prueba


1.8 Uso de mejoras eléctricas


1.9 Sala acondicionada


1.10 Uso de corrección digital / EQ




2. Resultados generales

La secuencia de pistas que se corresponde con los archivos wav era:

BAAAB

No había ninguna pista “trampa” (ambos archivos idénticos).

2.1 Porcentaje de aciertos generales


2.2 Respuestas por pista


2.3 Confianza por pista

• Solo 4 personas de los 83 participantes han identificado correctamente las pistas WAV (4,8%). Si calculamos la probabilidad de que esto ocurra  (4 personas de 83 participantes identifican las 5 pistas WAV) utilizando una distribución binomial B(83,4) en la que la probabilidad de acierto de cada ensayo es p= 0,004115  (1/3⁵), nos resulta un 0,038% ¿Algún matemático en la sala para corroborar esto?
  
• Por último, aunque solo un pequeño porcentaje de usuarios ha identificado las pistas WAV, lo que podríamos denominar la inteligencia audiófila colectiva ha optado claramente por las versiones WAV de las 5 pistas, lo que no deja de parecerme intrigante.
  

3. Aciertos en función del tipo de escucha

3.1 Aciertos por tipo de escucha


3.2 Porcentaje aciertos altavoces


3.3 Porcentaje aciertos auriculares


Contrariamente a la creencia popular los resultados apuntan a que resulta más fácil identificar las pistas WAV (4 o 5 pistas correctamente identificadas como WAV) con altavoces que con auriculares (37,5% frente a 12,2%).


4. Aciertos en función del perfil del usuario

4.1 Aciertos por perfil


4.2 Porcentaje aciertos novatos


4.3 Porcentaje aciertos aficionados


4.4 Porcentaje aciertos usuarios con experiencia


4.5 Porcentaje aciertos profesionales


4.6 Porcentaje aciertos músicos

• El bajo número de muestras pertenecientes a determinados colectivos no permite extraer, en mi opinión, conclusiones claras (3 músicos, 3 usuarios que se consideran profesionales del sector) en determinados casos.
  
• El porcentaje de usuarios que se consideran aficionados o usuarios con experiencia e identifican 4 o 5 de las pistas WAV es prácticamente idéntico (24,4% frente a 23,1%). Este factor por tanto no parece ser relevante.
  

5. Aciertos en función del nivel del equipo

5.1 Aciertos por nivel del equipo


5.2. Porcentaje aciertos equipos nivel bajo


5.3. Porcentaje aciertos equipos nivel medio


5.4. Porcentaje aciertos equipos nivel alto

• Los participantes con equipos de nivel medio - alto han obtenido un porcentaje mayor de aciertos que los que empleaban equipos de nivel bajo. La calidad del equipo sí contribuye, aparentemente, a facilitar la detección de diferencias.
  
• Ningún usuario con equipo de nivel bajo ha identificado las 5 pistas WAV.
  

6. Aciertos en función del modo en que se ha realizado la prueba

6.1 Aciertos por modo de realización de la prueba


6.2. Porcentaje aciertos archivos descargados


6.3 Porcentaje aciertos escucha desde el navegador


Las gráficas sugieren que los usuarios que han descargado los archivos para realizar la prueba han tenido más éxito a la hora de identificar las versiones WAV (29,4% frente a 15,6% a la hora de obtener 4 o 5 aciertos).


7. Aciertos en función del uso de mejoras en alimentación

7.1 Aciertos por uso de mejoras en alimentación


7.2. Porcentaje aciertos usuarios sin mejoras


7.3. Porcentaje aciertos usuarios con mejoras


Los resultados obtenidos no permiten vincular un mayor porcentaje de éxito a la hora de identificar los archivos WAV con el uso de mejoras en la alimentación eléctrica del equipo empleado (25,9% frente a 25% a la hora de obtener 4 o 5 aciertos).


8. Aciertos en función del acondicionamiento de la sala

8.1 Aciertos por uso de acondicionamiento pasivo


8.2. Porcentaje aciertos usuarios sin acondicionamiento


8.3. Porcentaje aciertos usuarios con acondicionamiento

• 2 usuarios han indicado que utilizaron auriculares para realizar la prueba pero también respondieron afirmativamente a  la pregunta correspondiente al acondicionamiento acústico. Ambos no han sido tenidos en cuenta en las gráficas de (únicamente) este apartado.
  
• En este caso, y paradójicamente, los usuarios que han realizado la prueba sin contar con una sala acondicionada han obtenido mejores resultados a la hora de identificar correctamente 4 o 5 de los archivos WAV que los que sí disponían de esta mejora (42,3% frente a 30%). Este resultado incongruente me hace pensar que el tamaño escaso de la muestra (solo 10 usuarios participantes que disfrutan de acondicionamiento pasivo) impide obtener conclusiones concluyentes.
  

9. Aciertos en función del uso de ecualización

9.1 Aciertos por uso de ecualización


9.2. Porcentaje aciertos usuarios sin ecualización


9.3. Porcentaje aciertos usuarios con ecualización


El uso de EQ y/o corrección digital de sala parece tener un impacto positivo en el índice de aciertos (45,5% frente a un 20,9% en el caso de los participantes que no disponían de esta mejora). No obstante, y nuevamente, el relativamente reducido número de usuarios que han indicado que empleaban EQ obliga a ser muy prudente a la hora de correlacionar estos factores.


10. Confianza en la elección: Pistas 1

10.1 Confianza personas que NO identifican el archivo WAV


10.2 Confianza personas que SÍ identifican el archivo WAV


En este caso los participantes que no identifican correctamente el archivo WAV demuestran más confianza en su elección que los que sí lo identifican (39,5% frente a 22,5%).


11. Confianza en la elección: Pista 2

11.1 Confianza personas que NO identifican el archivo WAV


11.2 Confianza personas que SÍ identifican el archivo WAV


En la pista 2, como podemos ver, el grado de confianza es similar en ambos grupos.


12. Confianza en la elección: Pista 3

12.1 Confianza personas que NO identifican el archivo WAV


12.2 Confianza personas que SÍ identifican el archivo WAV


En la pista 3 se obtienen resultados en lineas similares a los de la pista 2. La cosa está igualada, con una pequeña ventaja para los usuarios que no identifican correctamente el archivo WAV.


13. Confianza en la elección: Pista 4

13.1 Confianza personas que NO identifican el archivo WAV


13.2 Confianza personas que SÍ identifican el archivo WAV


En la pista 4 las tornas se invierten: los usuarios que identifican correctamente la versión WAV lo hacen con mayor confianza (37,5% frente a 25,6%).


14. Confianza en la elección: Pista 5

14.1 Confianza personas que NO  identifican el archivo WAV


14.2 Confianza personas que SÍ identifican el archivo WAV


Finalmente, en la pista 5 se repite un resultado similar al evidenciado en la pista 3: porcentajes similares en ambos grupos, con una cierta ventaja para los usuarios que no identifican correctamente el archivo WAV.


Conclusiones personales

Y llegamos por fin al final de este análisis, pero antes de concluir me gustaría agradecer nuevamente a los participantes su colaboración en este estudio informal.

Personalmente extraigo varias conclusiones:

La primera y principal  es que el tamaño de la muestra me parece demasiado pequeño como para tomarse esto muy en serio. Mis expectativas iniciales eran, quizás, demasiado altas (cientos de muestras). Esto es especialmente cierto si tenemos en cuenta el reducido número de participantes pertenecientes a determinados colectivos:

• Usuarios que identifican las 5 versiones WAV (4).
  
• Participantes que se consideran novatos (6).
  
• Músicos (3).
  
• Usuarios profesionales (3).
  
• Usuarios que disponen de salas acondicionadas (12).
  
• Usuarios que emplean ecualización (11).
  

Esto invalida en gran medida cualquier análisis que pretenda correlacionar la influencia de estas variables entre ellas o con otras de las manejadas por esta prueba.

Por otro lado, me ha sorprendido enormemente que la respuesta colectiva a la hora de determinar qué pistas sonaban mejor ha convergido de un modo claro hacia los archivos WAV (BAAAB), a pesar de que solo 4 usuarios (4,8%) los han identificado correctamente a título individual.

Además, durante el tiempo en que la prueba ha estado abierta he podido comprobar en tiempo real cómo este comportamiento colectivo se iba perfilando y tendía progresivamente hacia esos 5 aciertos. De hecho, la tendencia ha sido muy clara desde los 20 - 30 primeros participantes en el caso de las pistas 1, 4 y 5, no tanto en las número 2 y 3. Especialmente la 3ª pista no ha tendido a su valor final (A) hasta prácticamente los últimos 10 días. Ha sido francamente curioso ver cómo, poco a poco, también en este caso las respuestas iban decantando la balanza por la versión WAV.

Tampoco debemos perder de vista que, aunque 10 participantes (12%), casi todos utilizando auriculares, no han identificado correctamente ninguna de las pistas WAV, esto no debe interpretarse como que han preferido de un modo consistente las versiones OGG, puesto que existía una 3ª respuesta posible (suenan igual). De hecho, tan solo se ha registrado 1 respuesta en la que el usuario ha preferido las 5 versiones OGG. (ABBBA).

Con respecto a las pistas de prueba, los espectrogramas de las versiones codificadas en OGG muestran una (muy sutil en algunos casos) disminución en su densidad espectral en la parte alta, quedando ligeramente desmochados, como se puede ver en estas imágenes. Creo que es innegable que el codec OGG hace un gran trabajo, al menos desde el punto de vista del análisis espectral.

Espectros de las pistas de muestra, versión WAV a la izquierda, OGG a la derecha (archivos para descarga aquí).







Por último, y tras pensar detenidamente en los resultados que arroja esta prueba, me inclino a pensar que sí existen diferencias audibles, hablando en términos absolutos y bajo determinadas condiciones, perceptibles por ciertas personas, entre un archivo WAV y su homólogo codificado en OGG utilizando una compresión con pérdidas.

Ahora bien, creo que es procedente cuestionarse si en condiciones normales de escucha esto resulta relevante o no. Al fin y al cabo nadie se sienta en el sofá a disfrutar de su música preferida en estado de alerta mental permanente, repitiendo una y otra vez determinados fragmentos de cada pieza, para detectar deficiencias en lo que está oyendo. O al menos no debería hacerlo si en algo aprecia su cordura. Las diferencias, de ser significativas, deberían ser evidentes y aflorar per se en lugar de requerir una escucha activa y analítica.

Y me temo que la respuesta a esta pregunta es, en última instancia, personal e intransferible.

Hola Pablo:

El archivo Pista 5-A está dañado, no se puede descargar ni reproducir.

Un saludo.

Javier

Hola, Javier.

He probado a reproducirlo / descargarlo ahora mismo y lo he conseguido sin problemas.

Probablemente sea un error transitorio. Reinicia el navegador y prueba de nuevo en unos minutos. También puedes utilizar el botón con una flechita a la derecha del reproductor.

Si no lo consigues dímelo y te lo hago llegar por otros medios.

Parece que ha sido algo temporal, ya lo tengo pero, no está igual que los demás archivos, de hecho en la web no se ve el reproductor flash como en los demás archivos.

Probado con Vivaldi y con PaleMoon (Mozilla)

Gracias.

Me apunto si veo que tengo un poquito de tiempo

Gul escribió:Parece que ha sido algo temporal, ya lo tengo pero, no está igual que los demás archivos, de hecho en la web no se ve el reproductor flash como en los demás archivos.Probado con Vivaldi y con PaleMoon (Mozilla)

Javier:

Esto es lo que veo yo ahora mismo con Vivaldi:



Justo cuando debías estar en la web y te fallaba el 5-A andaba yo tocando cosas en los DNS del dominio de la página... no debería haber afectado al reproductor de audio, pero vete a saber.

Hecho. Puedo haber no dado ni una...

En los próximos días intentaré hacerlo en diferentes equipos.

Saludos!

Test realizado y enviado.
A ver qué nos depara los resultados finales.

Saludos

Test realizado, muchas gracias Pablopi, estas pruebas a ciegas son estupendas para ser conscientes de nuestros propios conocimientos. Estoy deseando comprobar los resultados!

Muchas gracias, Hugo, Madrededios y Javier, por vuestra participación.

Por el momento están llegando respuestas a buen ritmo .

Como explicaba en el mensaje que inicia el hilo, publicaré los resultados dentro de unos días, en cuanto se cierre el cuestionario. Viendo como van las cosas, todo apunta a que habrá cosas interesantes que comentar al presentarlos, más allá de blancos o negros. El primer sorprendido soy yo de ciertos resultados parciales

Otro que ha pasado el "test", enhorabuena por la iniciativa y el trabajo de preparación Pablo!
A ver si habré acertado alguna

Una muy buena iniciativa.

Test realizado y enviado. Creo que acertaré la mitad como mucho.

320...? renuncio....

Pero Pablo.... la prueba desde el momento que puedes bajar los archivos, están en el pc, y con herramientas que tu conoces, puedes mirar cual es cual.... si haces la prueba basada en la buena fe, pues.... siento aportillar pero se pierde el objetivo que buscas que es ser objetivo, valga la redundancia.

La recogida de datos debería ser desde la pagina y en modo test ABX, donde X cambia aleatoriamente y el usuario elige si X es A o B... emho

Lamento hacer la critica porque el curro que haces no es menor(como siempre), pero te quedan flecos abiertos que pueden atentar con el objetivo que te planteas. Nuevamente emho.

Un saludo

Prueba realizada en otro equipo, de diferente nivel, y con resultado completamente opuesto!!!!

Vamos, que esta prueba además de evidenciar que en mi caso el equipo es parte importante del resultado, me va a ayudar claramente a evaluar el nivel de TOC que tengo con esta afición... o continuo con ella, o lo vendo todo, incluidas mis orejas de madera!!!

Pablo, otra de tus geniales iniciativas.

Hecho y enviado.

Deseando ver los resultados finales.

Un abrazo

Jaime2010 escribió:
Pero Pablo.... la prueba desde el momento que puedes bajar los archivos, están en el pc, y con herramientas que tu conoces, puedes mirar cual es cual.... si haces la prueba basada en la buena fe, pues.... siento aportillar pero se pierde el objetivo que buscas que es ser objetivo, valga la redundancia. La recogida de datos debería ser desde la pagina y en modo test ABX, donde X cambia aleatoriamente y el usuario elige si X es A o B... emho

Jaime, tienes toda la razón del mundo. El test se basa, en última instancia, en la buena voluntad de los participantes.

He tomado medidas para que la simple comparación de los tamaños de los archivos no permita identificar el codec utilizado. Cada una de las versiones de cada pista tiene exactamente el mismo tamaño, al byte.

No obstante, como sugieres, una representación espectral de los archivos podría revelar cuál es cuál (aunque en algunos casos la cosa no está tan clara aún disponiendo de esta información).

Cuando pensé en el diseño de la prueba le di bastantes vueltas a esta cuestión.

Por un lado, limitar las posibilidades de escucha al streaming directo desde el navegador hace que la reproducción pase por el mezclador del sistema operativo. Esto, como todos sabemos, reduce la fidelidad de la reproducción y, por otro lado, limita las posibilidades a la hora de emplear el equipo HIFI habitual, que no tiene por qué utilizar un ordenador como transporte digital. Por estas razones he preferido proporcionar también los archivos de audio, de modo que cada cual pueda reproducirlos en las mejores condiciones posibles.

Por otro lado, hubiera podido ofuscar el análisis espectral inyectando una señal aleatoria de alta frecuencia, que es donde podrían apreciarse diferencias visuales entre las versiones WAV y OGG. No obstante esto perjudicaría también la integridad de la señal original, por lo que no me ha parecido apropiado.

Afortunadamente, hasta el momento no tengo indicios de que alguien haya hecho trampas. En cualquier caso, y a tenor de lo comentado, prefiero confiar en la buena voluntad de los probadores porque lo contrario hubiera supuesto, hasta donde yo sé, tomar medidas que hubieran comprometido también la validez de los resultados.

Javiervitorero escribió:o continuo con ella, o lo vendo todo, incluidas mis orejas de madera!!!

Bueno, Javier, si vendes ese pedazo de equipo ponme en la cola .

Ante toddo, me sumo a las felicitaciones de Alex: eres un auténtico ejemplo de forero Pablopi

Pues eso, test realizado y que sea lo que Dios quiera

PD: Pablopi, cuando publiques los resultados, me comprometo publicamente a dar mis elecciones. Total..., ya se que estoy sordo

Buena iniciativa, esto si que es una prueba a ciegas. Yo he participado con mi equipo del estudio con altavoces y auriculares.

Gracias a todos ¡¡esto se mueve!!

Algunos resultados son de lo más curioso...

Prueba realizada pero ¿confianza en haber acertado? ninguna

Mandado resultados, esta claro que nos damos demasiado mal con las calidades, si hay que esforzarse para notar diferencias...
Y seguro fallamos más de lo que pensamos.
En fin buena idea que posiblemente me ayude a recapacitar y me dedique a disfrutar de la música más que del sonido.
Espero con ansias esos resultados.
Saludos

sergio75 escribió:Mandado resultados, esta claro que nos damos demasiado mal con las calidades, si hay que esforzarse para notar diferencias...
Y seguro fallamos más de lo que pensamos.
En fin buena idea que posiblemente me ayude a recapacitar y me dedique a disfrutar de la música más que del sonido.
Espero con ansias esos resultados.
Saludos

Seguro que fallaremos mucho.

Lo importante es la música, no el equipo. En nuestras ansias por tener un equipo "Cuasi perfecto", nos olvidamos de lo más importante. Por suerte yo ya estoy en la fase de "Buda feliz", disfrutando de lo que tengo, sin importarme ninguna otra cosa.

MONOLITO escribió:

sergio75 escribió:Mandado resultados, esta claro que nos damos demasiado mal con las calidades, si hay que esforzarse para notar diferencias...
Y seguro fallamos más de lo que pensamos.
En fin buena idea que posiblemente me ayude a recapacitar y me dedique a disfrutar de la música más que del sonido.
Espero con ansias esos resultados.
Saludos

Seguro que fallaremos mucho.

Lo importante es la música, no el equipo. En nuestras ansias por tener un equipo "Cuasi perfecto", nos olvidamos de lo más importante. Por suerte yo ya estoy en la fase de "Buda feliz", disfrutando de lo que tengo, sin importarme ninguna otra cosa.

Lo triste es que mi equipo actual suena de fabula, pero siempre buscamos la puntilla.
Como bien dices a disfrutar de lo que tengo, que ya solo sea por aprovechar el sacrificio que me supone el tener ese lujo en casa que no todo el mundo puede.
Muchas veces me acuerdo de ser mas feliz que nadie escuchando musica en una cadena amstrad.... sonaba todo bien jeje, escuchabas la musica que te gustaba, ahora escucho lo que me gusta y suena bien, sino se queda con suerte a escuchar en el coche.
En fin bendita aficion...