Crea tu archivo robots.txt 3
Los buscadores tipo google se sirven de robots, programas con algoritmos más o menos complejos, que les permiten leer una página web, recuperar y guardar su contenido -o partes relevantes del mismo- en una base de datos y seguir los enlaces que tenga a otras páginas web Estos programas navegan incansablemente saltando de enlace a […]