Las pruebas de desempeño de cualquier tipo deben mirarse con sumo cuidado. Y también los titulares que anuncian los resultados. Por ejemplo, el de este artículo que dice "Android es 50% más veloz que iOS en la web" es una verdad a medias. Para ser precisos, el titular debería ser algo como esto:
"Luego de 9.000 pruebas de desempeño repetidas 5 veces cada una por motivos estadísticos (45.000 en total) se establece que el navegador web incluido en Android 2.3 (basado en el motor de renderizado WebKit y el motor JavaScript V8) sobre un Google Nexus S es 52% más rápido que el navegador web Safari (con WebKit para renderizar y Nitro para procesar JavaScript) incluido en iOS 4.3 de iPhone 4.
Un titular improbable para un post, pero que le hace más honor a la verdad.
Sucede que la empresa Blaze publicó lo que considera una prueba sin precedentes. ¿En qué sentido? Ellos dicen haber diseñado una aplicación que reproduce los patrones de navegación de un usuario para generar resultados, al menos en principio, más representativos o válidos que los de las pruebas de desempeño habituales --como Sunspider y Peacekeeper--. Además de lo dicho, encontraron lo siguiente.
Chrome en Android 2.3 es más veloz que Safari en iOS 4.3 en el 84% de los sitios visitados; es decir, 4 de 5 veces. Esos sitios por cierto, pertenecen todos de la lista Fortune 1000 de las empresas más importantes en los EE. UU.
Chrome en Android 2.3 es 52% más veloz que Safari en iOS 4.3. En promedio, desde Android una página carga en 2.144 segundos, mientras que en iOS lo hace en 3.254 segundos.
Esa situación cambió completamente cuando se trataba de sitios con versión móvil. En este caso, Chrome en Android sólo fue 3% más rápido que Safari en iOS, algo que, evidentemente, no es significativo.
Aceptar sin más un resultado no es una actitud científica. Por lo menos es necesario revisar la metodología del estudio en cuestión. En este caso:
1.000 sitios web probados, cada uno 3 veces en 3 días distintos para un total de 9.000 pruebas. 5 veces se siguió este proceso para terminar con 45.000 pruebas.
Pruebas realizadas sobre redes WiFi y 3G muy veloces para minimizar los efectos de otros factores: resolución de nombres, pérdida de paquetes, tiempo de respuesta de los servidores, entre otros.
- El instrumento de medición fue una aplicación diseñada expresamente para calcular el tiempo de carga de cada página.
Chrome en Android 2.3 sobre un Google Nexus S.
Safari en iOS sobre un iPhone 4.
Estudio de desempeño que no presenta metodología no es estudio. Y aún con metodología, no es una verdad indiscutible, en todo caso una versión parcial de la historia, donde la velocidad es uno de tantos factores a considerar para la experiencia de uso de una navegador web sobre un dispositivo móvil... ¿Ustedes qué dicen?
Imagen: Reddit
