Layún Estrategias & Marketing

¿Qué es robots.txt?

Robots.txt es un archivo de texto con instrucciones para los robots de los motores de búsqueda que les indica qué páginas pueden y no pueden rastrear. 

Estas instrucciones se especifican “permitiendo” o “desautorizando” el comportamiento de ciertos (o todos) los bots.

Este es el aspecto de un archivo robots.txt:

semrush robots.txt

Para leer la nota completa visita el siguiente enlace https://es.semrush.com/blog/guia-completa-robots-txt/

Categorías: Blog

0 Comentarios

Deja un comentario

Marcador de posición del avatar

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *