Hace unos meses leí, creo que en hackernews, que varios webmasters habían detectado un web crawler que visitaba y recogían información de sus webs. Lo peculiar de las IP visitantes es que todas empezaban por 17, un bloque de IPs que pertenece en su totalidad a Apple. Hoy ha confirmado en una página de soporte que Applebot, su web crawler, está funcionando en producción.
Applebot está siendo usado en productos que incluyen Siri y Spotlight, respetando las reglas de los robots.txt y sus meta tags. La pregunta es clara: ¿Por qué Apple usa su propio crawler si usa Bing y Wolfram Alpha para sus búsquedas web en Siri y Spotlight?
La web de soporte de Apple da una información que invita a la especulación al decir "productos incluyendo Siri y Spotlight", dejando abierta la posibilidad a que haya algo más.
Pero creo que es más simple. Apple no es una empresa de servicios como lo es Google, pero su software y servicios tienen sentido cuando crean un ecosistema superior al de la competencia y dan una razón de compra al usuario del hardware que venden. Si vamos más allá podemos ver en el web crawler una forma clara de mejorar Siri evitando que realice una búsqueda web en el navegador, pudiendo rescatar más información que Bing o Wolfram Alpha. El objetivo es que al preguntar a Siri obtengas respuesta, no que realices una búsqueda web.
¿Podría ser un futuro buscador?
Apple no vive de la publicidad, sino de vender hardware. Por eso es difícil ver el sentido a un buscador propio en Apple. Pero ese mismo razonamiento fue válido en relación a Apple Maps: no tenía sentido un servicio de mapas cuando Google tenía el suyo y Apple no iba a generar beneficios sustanciales con él. Aún así se lanzó, aunque fue un pequeño desastre las primeras semanas.
Además del beneficio directo encontramos más factores: Apple dejaría de depender de terceros en algo tan importante como la obtención de información en la web. No sé si llegará culminado en forma de buscador, pero al menos Siri y Spotlight estarán menos ligados a los servicios de Internet de terceros y obtendrían una mejor comprensión de la información. Tal vez la privacidad y la no inclusión de publicidad sea un argumento para Apple a la hora de crear su buscador, pero sin incluir publicidad ¿cómo se justificaría el gran costo de su desarrollo e implementación?
De momento me quedaría con que Apple, pese a ser una compañía de hardware está muy enfocada en mejorar sus servicios.
- Aquí más información sobre qué es un web crawler.
- John Gruber sobre la gran mejora de Apple en servicios web. Por ejemplo, en los tiempos de respuesta de Siri.
- En Hackernews indican que el crawler está escrito en el lenguaje Go.
- El desastre de Apple Maps en iOS 6 resumido por TechCrunch.
- Hablando de buscadores, os recomiendo que uséis DuckDuckGo.