El fichero robots.txt es un herramienta fundamental para la página web que pretende estar bien posicionada por los motores de búsqueda como Google . Sirve como una mapa para los rastreadores , indicándoles qué áreas de tu plataforma pueden deben rastreadas y cuáles se deben excluir . La óptima confi