Que Es El Archivo robots.txt ?? Como Crearlo??
Que Es El Archivo robots.txt ? Es un fichero de texto que mediante una determinada sintaxis recomienda a los buscadores que deben y que no deben indexar. En todo sitio web existen URLs que por determinadas razones no son convenientes de indexar, mediante este fichero no indexarlas es posible. Lo primero que hacen las arañas de …