Cómo crear un archivo robots.txt: guía paso a paso

Cómo crear un archivo robots.txt: guía paso a paso
Contenido
  1. Qué es un archivo robots.txt y para qué sirve
  2. Cómo crear un archivo robots.txt paso a paso
  3. Directivas de robots.txt: User-agent, Disallow, Allow y Sitemap
  4. Cómo lee Google el archivo: tamaño, caché y errores del servidor
  5. Lo que robots.txt no hace: sacar páginas del índice ni proteger datos
  6. Errores comunes al crear un robots.txt y cómo evitarlos
  7. Preguntas frecuentes sobre cómo crear un archivo robots.txt

Para crear un archivo robots.txt, escribe tus reglas en un archivo de texto plano llamado robots.txt, guárdalo en UTF-8 y súbelo a la raíz de tu sitio. Después, comprueba que abre en la dirección tusitio.com/robots.txt. Además, recuerda que, según Google, este archivo gestiona el rastreo y no sirve para sacar páginas del buscador.

Contenido elaborado por Centria Group, agencia de SEO, GEO y AEO. Actualizado en octubre de 2026.

Qué es un archivo robots.txt y para qué sirve

Un archivo robots.txt es un archivo de texto con reglas que indican a los rastreadores qué partes del sitio pueden rastrear. Los buscadores lo leen antes de recorrer tus páginas. Por eso es una de las primeras piezas del SEO técnico de un sitio web.

Según la introducción a los archivos robots.txt de Google, el archivo se usa sobre todo para evitar que las solicitudes de los rastreadores sobrecarguen el servidor. También permite dejar fuera del rastreo zonas sin valor para el buscador, como un carrito de compras o un área de administración.

El protocolo detrás del archivo tiene una norma pública. En concreto, la RFC 9309, Robots Exclusion Protocol, se publicó en septiembre de 2022. Sus autores son Martijn Koster, Gary Illyes, Henner Zeller y Lizzi Sassman.

Cómo crear un archivo robots.txt paso a paso

La guía de Google para escribir y enviar un archivo robots.txt resume el proceso en cuatro pasos. Primero se crea el archivo, luego se añaden las reglas, después se sube a la raíz y, por último, se prueba.

Pasos para crear un archivo robots.txtCon estos cuatro pasos, Google encuentra y usa el archivo sin que tengas que enviarlo.
  1. Crea el archivo. Usa un editor de texto plano, llámalo robots.txt y guárdalo en UTF-8.
  2. Añade las reglas. Empieza cada grupo con User-agent y escribe una directiva por línea.
  3. Súbelo a la raíz. Colócalo en el nivel superior del host, nunca en una subcarpeta.
  4. Pruébalo. Ábrelo en una ventana privada del navegador y revisa el informe de robots.txt de Search Console.

Fuente: Google, Cómo escribir y enviar un archivo robots.txt; consulta: 21 de octubre de 2026.

Nombre, ubicación y formato

El archivo debe llamarse exactamente robots.txt, y solo puede haber un archivo por sitio. Además, Google exige codificación UTF-8, que incluye ASCII. El archivo va en la raíz del host: no funciona dentro de un subdirectorio.

Las reglas solo valen para el host, el protocolo y el puerto donde está publicado el archivo. Así, la especificación de Google explica que un robots.txt en https://example.com/ no vale para http://example.com/. Tampoco vale para un subdominio como https://other.example.com/. Por lo tanto, cada subdominio necesita su propio archivo.

Cómo subirlo y si hay que enviarlo

El archivo se puede subir por FTP o desde el administrador de archivos del alojamiento, según cómo esté montado tu sitio. Después de subirlo, Google lo busca y lo usa de forma automática, así que no es necesario enviarlo a mano.

PageRank: qué es y qué importancia tiene hoy en Google

Directivas de robots.txt: User-agent, Disallow, Allow y Sitemap

Google solo reconoce cuatro campos en el archivo. Según la especificación de robots.txt de Google, otros campos, como crawl-delay, no se admiten. En cambio, otros buscadores pueden interpretar la sintaxis de otra forma.

Directivas de robots.txt que admite Google
Directiva Para qué sirve Detalle importante
User-agent Indica a qué rastreador se aplica el grupo de reglas Es obligatoria al inicio de cada grupo; el asterisco abarca a todos, salvo AdsBot, que se nombra aparte
Disallow Indica una página o un directorio que no se debe rastrear Empieza por una barra; si es un directorio, también termina en barra
Allow Permite rastrear una página o subdirectorio dentro de una ruta bloqueada Sirve para anular una regla Disallow más general
Sitemap Indica dónde está el sitemap del sitio Es opcional, puede repetirse y debe usar una URL completa

Este es un ejemplo de archivo para una tienda en línea. Las líneas que empiezan por # son comentarios.

# robots.txt de ejemplo para www.tusitio.com.co
User-agent: *
Disallow: /carrito/
Disallow: /fotos/
Allow: /fotos/acceso-publico/

User-agent: Googlebot
Disallow: /pruebas/

Sitemap: https://www.tusitio.com.co/sitemap.xml

En este ejemplo, ningún rastreador entra en /carrito/ ni en /fotos/, salvo en la carpeta de fotos de acceso público. Además, Googlebot sigue su propio grupo, que bloquea la carpeta /pruebas/. La última línea apunta al sitemap; si todavía no tienes uno, revisa esta guía para crear un sitemap.

Mayúsculas, comodines y reglas en conflicto

Las rutas distinguen entre mayúsculas y minúsculas, de modo que /Fotos/ y /fotos/ son rutas distintas. También puedes usar dos comodines. El asterisco equivale a cero o más caracteres, y el signo $ marca el final de la URL.

Cuando dos reglas chocan, Google aplica la más específica según la longitud de la ruta. Por ejemplo, Allow: /fotos/acceso-publico/ gana a Disallow: /fotos/ porque la ruta es más larga. Si el empate persiste, Google usa la regla menos restrictiva.

Cómo lee Google el archivo: tamaño, caché y errores del servidor

Google aplica un límite de 500 kibibytes (KiB) al archivo robots.txt. Según su especificación, el contenido que supera ese tamaño se ignora. Por eso conviene mantener el archivo corto y agrupar reglas con directorios en lugar de listar URL una a una.

Google también guarda el archivo en caché, por lo general durante un máximo de 24 horas. En consecuencia, un cambio no se aplica al instante. Si corriges un error grave, el informe de robots.txt de Search Console permite solicitar un nuevo rastreo del archivo.

Qué es AMP y cómo implementarlo: guía y situación en Google

La respuesta del servidor también cuenta. En concreto, Google trata los errores 4xx, salvo el 429, como si no existiera el archivo, es decir, sin restricciones. En cambio, ante un error 5xx deja de rastrear el sitio durante las primeras 12 horas. Asimismo, Google sigue al menos cinco redirecciones y, después, trata el archivo como un 404.

Lo que robots.txt no hace: sacar páginas del índice ni proteger datos

El error más común es usar robots.txt para ocultar páginas. Sin embargo, Google aclara en su introducción que el archivo no es un mecanismo para impedir que una página aparezca en Google. De hecho, una URL bloqueada puede indexarse si otros sitios enlazan a ella.

Para sacar una página del buscador, Google recomienda la directiva noindex o una contraseña. Además, la guía de Google sobre noindex advierte que la página no debe estar bloqueada en robots.txt. Si el rastreador no puede acceder, no verá la regla noindex.

Tampoco es una medida de seguridad. La RFC 9309 indica que estas reglas no son una forma de autorización de acceso. Por lo tanto, nunca listes en robots.txt rutas con información sensible, porque cualquier persona puede leer el archivo.

Errores comunes al crear un robots.txt y cómo evitarlos

  • Bloquear CSS y JavaScript necesarios. Google advierte que, si bloqueas recursos que necesita para entender la página, su rastreador no podrá analizarla bien.
  • Dejar un Disallow: / heredado. Esa regla bloquea el rastreo de todo el sitio, así que conviene revisarla antes de publicar una web nueva.
  • Olvidar los subdominios. Cada host necesita su propio archivo, porque las reglas no se heredan.
  • Esperar que todos los robots obedezcan. Algunos buscadores pueden no seguir ciertas reglas, según Google.

Además, revisa el archivo cada vez que cambie la estructura del sitio. Un robots.txt desactualizado puede frenar la optimización técnica para mejorar la posición en buscadores. Si prefieres que un equipo revise el rastreo y la indexación de tu web, consulta nuestro servicio de posicionamiento SEO en Colombia.

Preguntas frecuentes sobre cómo crear un archivo robots.txt

¿Dónde se pone el archivo robots.txt?

En la raíz del host, es decir, en la dirección tusitio.com/robots.txt. Google no lo lee si está dentro de una subcarpeta. Además, las reglas solo valen para el protocolo, el host y el puerto donde está publicado, así que cada subdominio necesita su propio archivo robots.txt con sus propias reglas.

¿Hay que enviar el robots.txt a Google?

No. Google busca y usa el archivo de forma automática cuando ya está en la raíz del sitio. Solo conviene pedir un nuevo rastreo desde el informe de robots.txt de Search Console cuando corriges un error o haces un cambio importante, porque Google suele guardar el archivo en caché hasta 24 horas.

¿Sirve robots.txt para que una página no salga en Google?

No. Google aclara que robots.txt no es un mecanismo para impedir que una página aparezca en sus resultados. Una URL bloqueada puede indexarse si otros sitios enlazan a ella. Para sacarla del buscador hay que usar noindex o una contraseña, y la página no debe estar bloqueada para que el rastreador vea la regla.

¿Qué tamaño máximo puede tener un archivo robots.txt?

Quinientos kibibytes (500 KiB) en el caso de Google. Todo lo que supere ese tamaño se ignora. La norma RFC 9309 también pide a los rastreadores un límite de lectura de al menos 500 kibibytes. Por eso es mejor agrupar reglas por directorios y no listar cada URL por separado.

¿Google respeta la directiva crawl-delay?

No. Google solo admite cuatro campos en robots.txt: user-agent, allow, disallow y sitemap. Cualquier otro campo, como crawl-delay, no tiene efecto en sus rastreadores. Otros buscadores pueden interpretar la sintaxis de otra forma, así que conviene revisar la documentación de cada uno antes de usar campos adicionales en el archivo.

¿Qué pasa si el servidor no puede entregar el robots.txt?

Depende del error. Con un error 4xx, salvo el 429, Google actúa como si no hubiera archivo y rastrea sin restricciones. Con un error 5xx, Google deja de rastrear el sitio durante las primeras 12 horas y sigue intentando obtener el archivo. Por eso conviene vigilar que robots.txt responda siempre con un código 200.