Nueva versión 2.0 de Screaming Frog Log File Analyser

Desde hace un tiempo vengo utilizando Screaming Frog Log File Analyser,una herramienta super potente  y que por precio y por velocidad de procesamiento de los ficheros es muy recomendable.Este software permite analizar los logs de los servidores y los accesos de determinados bots, eventos, URLs con más accesos, códigos de respuesta…incluso nos permite cruzar los datos con listados de URLs de nuestra web y que hemos obtenido con otra herramienta….por ejemplo, Screaming Frog SEO Spider 🙂

Pues bien, después de varias actualizaciones durante los últimos meses, por fin han publicado la versión 2.0 y viene cargada de muchos cambios. Vamos a comentar las más importantes:

Verificación del bot de los buscadores

El problema de partida era que muchos softwares de Crawling de webs “emulaban” al bot de Googlebot, BingBot, GoogleBot Mobile… modificando el User-Agent a la hora de hacer la petición a la web. Por lo tanto, estos tipos de software asumían que siempre que el User-Agent fuera, por ejemplo, GoogleBot era el bot de Google quién estaba haciendo una petición de página a nuestro servidor.

Ahora, con esta actualización podemos verificar que el acceso a sido realmente desde el buscador que deseemos filtrar. Y, ¿como lo hacen? Utilizando reverse DNS lookup.

Lo más destacable, es que no hace falta que vuelvas a cargar los logs que ya tenías en la aplicación Screaming Frog Log File Analyser, ya que es capaz de chequear los .logs ya cargados.

Vamos a nuestro proyecto y Project –> Verify Bots

Y una vez cliquemos empezará la verificación.

En estos momentos, ya tenemos la verificación realizada y podremos filtrarlo con un filtro nuevo que ha aparecido en la última actualización , justo al lado del filtro de bots

Id con cuidado, ya que los filtros aplicados se mantendrán en todas las pestañas de la aplicación.

Nuevas Pestañas – ¡Más información!

En esta nueva versión se han añadido las pestañas de:

• User-Agents
• Referers
• Directories
• IPs

User-Agents: Donde nos mostrará un resumen de los accesos por cada uno de los Spiders que han realizado una petición a una página de nuestro site.

Referers: En esta pestaña veremos el referral desde el cual esta accediendo el bot, es decir, nos dará los detalles desde la URL desde la que se ha generado la petición originariamente. Si como vemos en la primera línea, no existe referral, es que el bot esta accediendo directamente a la URL (puede existir alguna otra razón):

Directories: si como a mi te pasa, que estas analizando un site con una buena estructura de URLs, estas de suerte, Screaming Frog Log File Analyser a introducido el análisis por directorios. Esta información nos aporta mucho valor sobre  qué directorios considera el botX más importante o rastrea más veces.

Tenemos que tener en cuenta, que aunque se estén mostrando las URLs por niveles, esto NO implica que sea la distancia real a la que se encuentran los contenidos de la página principal. Para poder ver estos datos por niveles deberemos utilizar la pestaña Import URL Data.

IPs: Nos proporciona la IP del Host Remoto que esta haciendo la solicitud de una URL. Esta información nos puede ser útil si vemos algún acceso desde alguna IP “sospechosa” y poder actuar en consecuencia.

Otros pequeños cambios

Lo más destacado de la nueva versión es lo que hemos comentado, pero sí que es cierto que han añadido algunas pequeñas funcionalidades que solucionan algunas limitaciones que tenia el software:

• Soporte para los logs generados en Amazon Elastic Load Balancing
• Filtro para agrupar todos los filtros de Google.
• No hace falta instalar Java para poder arrancar el software
• Soporte para cargar .log comprimidos en Bz2 y RAR.

Y esto ha sido todo en esta actualización, esperemos que durante los próximos meses los chicos de Screaming nos sorprendan con nuevas herramientas..