El archivo robots.txt es el elemento fundamental para la sitio que pretende ser bien posicionada por los buscadores como Google . Sirve como un mapa para los crawlers , indicándoles qué áreas de tu Ver Pá