Agregadores inteligentes

Hay muchos sectores donde los agregadores - webs que presentan datos recogidos de webs y fuentes de información de terceros - existen desde hace mucho tiempo. Los ejemplos más conocidos son Kayak.com y otros cientos de agregadores / metabuscadores de vuelos, o, en España, trovit y unos cuantos agregadores del sector de clasificados.

Por el éxito que tienen estos proyectos, está claro que la agregación de información de múltiples fuentes genera valor para el usuario final. También está claro que mera agregación no genera suficiente barrera de entrada, y cada uno de los proyectos de éxito también provoca el desarrollo de unos cuantos "clónicos" idénticos o casi idénticos, sin una diferenciación importante.

Por eso, algunos agregadores van más allá de la agregación, añadiendo algunas funcionalidades que se basan en aplicar datamining adicional (en otras palabras, en entendimiento mayor de los datos procesados) para sacar valor adicional de los datos agregados. Para dar un ejemplo concreto: los filtros dinámicos de casas.trovit.es permiten filtrar los anuncios según los criterios específicos del usuario mucho mejor que algunas de las webs originales, cuya mayoría carece de este tipo búsqueda avanzada. Para implementarlo, trovit tiene que tratar de entender los datos que parsea, los estructura mejor, los homogeniza para poder aplicar sus reglas sobre estos datos mejorados.

Otro ejemplo es la capa de funcionalidades que permite atrapalo.com con los datos que agrega de las webs de lineas aereas de bajo coste: a diferencia de las webs originales, permite a sus usuarios combinar los vuelos de distintas lineas aereas (tanto de bajo coste como tradicionales) en ún único proceso de reserva. La agregación en este caso es sólo una necesidad básica para generar un servicio de alto valor para el usuario.

En los últimos meses van saliendo proyectos tipo agregador, donde este procesamiento adicional de datos cobra aún más importancia y forma el core del proyecto. Dos ejemplos que tengo muy cerca son masterbranch y recomendar.com.

Masterbranch ejerce su labor de agregación inteligente sobre los datos de repositorios de todos los proyectos de código abierto (repositorios son sitios donde se almacena el código fuente y donde mantiene el histórico de contribuciones de cada programador que participa en el proyecto).

En base de los metadatos de cada repositorio, masterbranch crea los perfiles profesionales de todos los participantes: las tecnologías que dominan, los proyectos y el grado de involucración, la calidad de su trabajo... El resultado es una base de datos de (posiblemente) alto valor para los departamentos de recursos humanos de grandes empresas tecnológicas, que rastrean constantemente el mercado para conseguir nuevos talentos.

Recomendar en el fondo también es un agregador: esta vez de todos los mensajes publicados en redes sociales (twitter, facebook etc.) donde la gente valora, opina o recomienda algún producto o servicio. Por ahora la gente tiene que poner un hashtag específico (#recomendar) para que el sistema de recomendar.com entienda que se trata de una opinión/valoración, pero veo factible que en el futuro pueda reconocer valoraciones de manera automática. Cuando hablé con Javier, el fundador del proyecto, vi que el equipo del proyecto tiene una visión bastante clara de todo que se le puede añadir a la agregación inicial. Por ejemplo, dar prioridad más alta a las recomendaciones de amigos o de amigos de amigos (y menos a las recomendaciones de desconocidos o de spammers). #recomendar podría en un futuro no tan lejano, aplicar también los algoritmos de collaborative filtering (estilo netflix) para generar recomendaciones muy personalizadas (yo alucino siempre con lo bueno que es el servicio de netflix para recomendarme peliculas que me van a gustar!)

Si se nota que me entusiasma el tema, así es. Supongo que vayan saliendo muchos más proyectos de este tipo, y eso es bueno, porque creo que ha llegado hora de dar más sentido a todos los petabytes de información que se vuelcan diariamente a internet.

Si tienes un proyecto de agregador inteligente, me encantaría conocerlo para hacerlo más conocido, por ejemplo a través de otro post, convirtiendo este post en una serie.