Guía completa de robots.txt y por qué es importante
¿Qué es robots.txt? Robots.txt es un archivo de texto con instrucciones para los robots de los motores de búsqueda que les indica qué páginas pueden y no pueden rastrear. Estas instrucciones se especifican “permitiendo” o “desautorizando” el comportamiento de ciertos (o todos) los bots. Este es el aspecto de un Leer más…









