Extraer todas las URL indexadas por google de una página web

Hoy vamos a aprender a crear un listado con las url que google tiene indexadas de nuestra web, o de la competencia o de la web que nos interese de una manera muy rápido y sin conocimientos avanzados.

Hola amig@s de gastre!
Que tal va todo, espero que bien; ya ves, yo aquí en pleno Halloween preparando este artículo para no tener calabazas ;-)

Ya sabes que mi estilo no es enrollarme, así que vamos a lo que nos importa y a lo que has venido aquí.

Cómo preparar un listado de las páginas que google indexa sobre una web

Lo primero que tienes que hacer es entrar en google.com, google.es o el google.loquesea, donde suelas buscar y poner la siguiente búsqueda.

site:www.tupaginaweb.com

Obviamente, tienes que cambiar "tupaginaweb.com" por el sitio web sobre el que quieras ver la información.

Vamos a ver un ejemplo, he puesto el blog de mi amigo Dean Romero que tiene muchos artículos para que veas el ejemplo a gran escala.

Cómo ves, tiene 407 resultados, que pensando en plan rápido, 10 resultados por página son 41 paginas.

Para evitar esto, lo que hacemos es ir a los ajustes de google chrome (también se puede hacer con firefox u otro, pero yo lo hago con chrome) y en ajustes le ponemos que muestre los resultados de 100 en 100.

Simplemente hay que ir a ajustes o herramientas (arriba a la derecha) y pulsamos sobre configuración de búsqueda.

Una vez en la nueva pantalla, dónde pone "Prediciciones de Google Instant" marcamos la última opción.

No mostrar nunca los resultados de Google Instant

y acto seguido se habilita abajo la barra de "resultados por página", y la llevamos hasta la derecha (100 más lento).

De esta manera ya sólo nos mostrará 5 páginas.

Para un blog o sitio web medio nos sería suficiente, pero en este caso y unos pocos más, no vamos a sacar 5 listados ¿no? así que vamos con otro truquito para hacerlo directo.

Vamos a las extensiones e instalamos la siguiente extensión en chrome: ScrollSearch

Lo que hace esta extensión, es poner un scroll infinito, es decir, que cuando llegas abajo del todo vuelve a cargar los siguientes 100 resultados, así que si le damos 5 veces a la tecla "Fin" ya tenemos cargados todos los resultados en una página.

Si por el contrario hay muchos más páginas y no te apetece estar todo el rato dándole al botoncito de las narices o hacer scroll hacía abajo, siempre puedes utilizar el truco que te enseñe en el artículo de cómo conseguir seguidores reales en twitter.

Pulsas "Ctrl+Shift+J" pones el siguiente código y le das a enter:

Hacer Scroll Hasta Abajo Del Todo

var scrollInterval = window.setInterval(function () {
window.scrollTo(0,document.body.scrollHeight)
}, 1500);

De esta manera, bajará el sólo hasta el final en un momento, aunque creo que no será necesario, pero por si te interesa ahí te lo dejo.

Una vez que ya tienes cargados todos los resultados hay que utilizar una nueva extensión.
linkklipper

Esta extensión es para exportar todas las url que hay en una web (las que aparecen en la pantalla) y se pueden exportar en formato csv o txt.

Así que la instalamos y cuando esté activa le damos al icono de la extensión y nos aparecerá la siguiente pantalla:

Le damos a options, y dentro del campo "Regex" ponemos la url que queremos ver, sino nos mostrará todas las url que aparezcan y se mezclan valores, también decimos si queremos un csv o txt (eso al gusto) y le damos a guardar.

Importante:

La url ponerlo bien, porque no es lo mismo con las www que sin ellas, sino te puede dar "0" resultados.

Bien, cerramos esa pestaña y le volvemos a dar al icono de linkKlipper y ahora pulsamos ya sobre "Extract All Links" y descargará el archivo en nuestro ordenador.

Ya está, si lo abres vas a ver como tienes todas las url que te ha indexado google de tu web o de la web que estés observando, puedes ver una captura de mi prueba aquí, aunque son muchas más las que he sacado.

Espero que te haya gustado este tutorial para saber cuales son las url que google ha indexado de una web, ahora, si tú pasas de hacer estas historias y prefieres algo más cómodo, ya sabes que gastre tiene para todos, te paso una url para hacerlo todo directo.

Cómo extraer las URL indexadas por google de una página web

Hay una web que simplemente poniendo la url de la página web de la que quieres sacar todas las url indexadas por google, te muestra un listado en 5 o 10 segundos de todos los resultados.

Bueno, te cambio la url por una acción social 😱😱😱

Que no, ya sabes que soy muy bueno, aquí la tienes, pero si quieres dar un tweet bienvenido sea 😋

http://intavant.com/tools/google-indexed-pages-extractor/

Es tan simple como poner en la caja de texto "Enter URL to check" la url que quieras ver sus resultados de indexación en google y pulsar sobre Continue.

Vamos a seguir con el mismo ejemplo del amigo DR10 (Dean Romero 10) jejeje, es que cómo es muy crack ya le he puesto mote a lo CR7.

En unos 5 o 10 segundos te aparece abajo un listado con todas las url indexadas y con un enlace sobre cada una (una pasada la verdad).

Si ahora vas hasta abajo del todo, te aparece también una caja de texto con una línea por cada url, para poder seleccionarlas todas y copiarlas en un documento de texto.

Conclusión

Personalmente para hacer una búsqueda rápida sobre las url indexadas por google me quedo con esta última opción, mucho más rápida y sencilla y sin tener que hacer nada, pero no está de más saber la otra opción, más que nada por si algún día deja de funcionar esta url.

Además, siempre digo que me gusta mucho hacer como Arguiñano, yo os doy mi receta, pero siempre se puede aplicar para otras cosas, es decir, el truco del scroll infinito y el extraer todas las url nos puede servir para muchas más cosas que para saber cuantas url nos ha indexado google.

¿Ejemplos? para buscar urls de una temática en especial, para buscar url de foros, url de webs .edu, etc.... para conseguir un listado de la url que se te ocurra en la búsqueda de google.

Bueno, esto es todo amig@s!
Espero que te haya gustado el post y ya sabes, no me importa que compartas, pero comenta que soy fan de los comentarios.