Respuesta corta: Un archivo robots.txt es un archivo de texto sin formato en la raíz de tu sitio, como example.com/robots.txt, que indica a los rastreadores a qué URLs pueden acceder. Según Google, su propósito principal es evitar la sobrecarga de solicitudes en tu sitio. No sirve para dejar una página fuera de Google: para eso, usa noindex o una contraseña.
Las reglas de un archivo robots.txt
| Regla | Qué hace | Ejemplo |
|---|---|---|
| user-agent | Nombra el rastreador al que se aplica un grupo de reglas; cada grupo empieza por ella | User-agent: Googlebot |
| disallow | Una ruta que ese rastreador no debe rastrear | Disallow: /nogooglebot/ |
| allow | Una ruta que puede rastrear, aunque esté dentro de una carpeta bloqueada | Allow: /wp-admin/admin-ajax.php |
| sitemap | La dirección completa de un sitemap; es opcional | Sitemap: https://www.example.com/sitemap.xml |
| # | Empieza un comentario, que los rastreadores ignoran | # Block only Googlebot |
Las reglas distinguen mayúsculas de minúsculas, así que Disallow: /file.asp cubre /file.asp pero no /FILE.asp. Todas las reglas, excepto sitemap, admiten el comodín *. User-agent: * cubre todos los rastreadores excepto los AdsBot de Google, que hay que nombrar. Google no admite otros campos, como crawl-delay.
De Google Search Central, «Cómo crear y enviar un archivo robots.txt» e «Interpretación de Google de la especificación de robots.txt», consultados el 2 de noviembre de 2026.
Lo que robots.txt no puede hacer
Una página bloqueada puede salir igual en Google. Si otras páginas enlazan a ella, Google puede indexar la URL sin visitar la página, y el resultado aparece sin descripción.
No todos los buscadores admiten sus reglas, y ningún rastreador está obligado a cumplirlas: Googlebot y otros rastreadores confiables lo hacen, pero otros podrían no hacerlo.
Dónde va el archivo y cómo lo lee Google
El archivo debe llamarse robots.txt, y un sitio solo puede tener uno. Va en la raíz del host, como https://www.example.com/robots.txt, y no cubre subdominios como m.example.com.
Debe ser un archivo de texto con codificación UTF-8. Escríbelo en un editor de texto, no en un procesador de texto, que puede agregar caracteres como comillas curvas y dar problemas a los rastreadores.
Google lee hasta 500 KiB e ignora lo que pase de ahí. Por lo general guarda el archivo en caché hasta 24 horas, así que un cambio puede tardar un día en aplicarse.
Robots.txt y los rastreadores de IA
Google-Extended es el token que decide si el contenido que Google rastrea se puede usar para entrenar futuros modelos de Gemini y para la fundamentación en las Apps con Gemini. Google dice que no afecta a la inclusión ni a la clasificación en la Búsqueda de Google.
OpenAI ofrece dos etiquetas de robots.txt. OAI-SearchBot muestra sitios en las respuestas de búsqueda de ChatGPT, y GPTBot rastrea contenido que se puede usar para entrenar sus modelos. Cada ajuste es independiente, así que un sitio puede permitir OAI-SearchBot y bloquear GPTBot.
OpenAI dice que un cambio puede tardar unas 24 horas en llegar a sus resultados de búsqueda. Su agente ChatGPT-User visita páginas cuando una persona le pregunta algo a ChatGPT, y puede que las reglas de robots.txt no se le apliquen.
De la lista de rastreadores comunes de Google y de «Overview of OpenAI Crawlers», de OpenAI, en inglés.
Cómo escribir tu robots.txt
- Revisa si tu proveedor gestiona el archivo por ti: Wix y Blogger, por ejemplo, usan ajustes de búsqueda.
- Crea un archivo de texto sin formato llamado robots.txt en un editor de texto.
- Empieza cada grupo con una línea User-agent que nombre el rastreador, como User-agent: Googlebot.
- Agrega líneas Disallow y Allow con rutas que empiecen por una barra.
- Agrega una línea Sitemap con la dirección completa de tu sitemap.
- Sube el archivo a la raíz de tu sitio, para que se abra en tusitio.com/robots.txt.
- Ábrelo en una ventana de navegación privada y revisa después el informe de robots.txt de Search Console.
Nuestro checklist de SEO cubre el resto de lo que Google necesita para llegar a una página e indexarla.
Lo que dice nuestro robots.txt
El nuestro tiene cuatro líneas. Bloquea la carpeta de administración de WordPress y permite un archivo dentro de ella, admin-ajax.php. También da la dirección de nuestro índice de sitemaps, que incluye un sitemap de entradas y otro de páginas.
No nombra ningún rastreador de IA, así que GPTBot, OAI-SearchBot y Google-Extended siguen las mismas reglas que los demás: solo tienen cerrada la carpeta de administración. Queremos que los asistentes de IA puedan leer nuestras guías y citarlas.
Antes de subir tu robots.txt
- El archivo se llama robots.txt y está en la raíz.
- Es texto sin formato en UTF-8, guardado desde un editor de texto.
- Cada grupo empieza con una línea User-agent.
- No bloquea ninguna página que quieras en Google.
- Las páginas que quieres fuera de Google usan noindex, no robots.txt.
- La línea Sitemap tiene la dirección completa.
RecuerdaRobots.txt gestiona el rastreo, no la indexación. Mantenlo corto, pruébalo en una ventana privada y en Search Console, y decide qué rastreadores de IA permites.
Si quieres que revisemos cómo rastrea Google tu sitio, mira nuestro servicio de SEO técnico.
Respuestas rápidas sobre robots.txt
¿Toda web necesita un archivo robots.txt?
No. Sin él, los rastreadores pueden rastrear todo el sitio, que es el comportamiento predeterminado que describe Google. Si el archivo responde con un error 4xx distinto del 429, Google trata el sitio como si no tuviera restricciones de rastreo.
¿Puede robots.txt quitar una página de Google?
No. Si otras páginas enlazan a una página bloqueada, Google puede mostrar igual su URL en los resultados, sin descripción. Para dejar una página fuera de Google, bloquea la indexación con noindex o protégela con una contraseña.
¿Dónde va el archivo robots.txt?
En la raíz del host al que se aplica, como https://www.example.com/robots.txt. Sus reglas solo cubren ese protocolo, host y puerto, así que un subdominio como m.example.com necesita su propio archivo.
¿Cómo bloqueo rastreadores de IA como GPTBot?
Agrega un grupo para cada rastreador, como User-agent: GPTBot seguido de Disallow: /. Para el entrenamiento y la fundamentación de Gemini, el token de Google es Google-Extended, que según Google no afecta a la Búsqueda. OAI-SearchBot, de OpenAI, va aparte y decide si apareces en las respuestas de búsqueda de ChatGPT.
¿Google admite crawl-delay?
No. Google lee los campos user-agent, allow, disallow y sitemap, y no admite otros campos como crawl-delay. Google añade que los códigos 4xx distintos del 429 no tienen efecto en la frecuencia de rastreo.
Fuentes
Consultadas el 2 de noviembre de 2026. Google Search Central: Introducción a robots.txt, Cómo crear y enviar un archivo robots.txt, Interpretación de Google de la especificación de robots.txt y rastreadores comunes de Google. OpenAI: Overview of OpenAI Crawlers, en inglés. Nuestro caso: nuestro robots.txt, el 2 de noviembre de 2026.