Archivo diario: octubre 26, 2006


Crea tu archivo robots.txt 3

motores de busquedaLos buscadores tipo google se sirven de robots, programas con algoritmos más o menos complejos, que les permiten leer una página web, recuperar y guardar su contenido -o partes relevantes del mismo- en una base de datos y seguir los enlaces que tenga a otras páginas web

Estos programas navegan incansablemente saltando de enlace a enlace. Su labor es utilisima, ya que permite que estos buscadores tengan resultados que ofrecernos. Pero también puede ser perjudicial. Los propietarios de una página pueden desear que parte de su contenido no sea indexado.

Esto se soluciona con el archivo robots.txt, en … Seguir Leyendo