Puntos clave

• El archivo robots.txt es un pequeño fichero de texto que le dice a los robots de los buscadores por dónde pueden pasar en su web y por dónde no.
• Se coloca en la raíz de su dominio (sudominio.com/robots.txt) y usa comandos muy sencillos: básicamente User-agent, Disallow, Allow y Sitemap.
• Ojo: es una indicación de buena educación, no una puerta con llave. Los robots buenos lo respetan; no sirve para esconder información sensible.
• Un robots.txt mal configurado puede bloquear sin querer páginas importantes y hundir su posicionamiento, así que hay que tratarlo con cuidado.
• En 2026 tiene un uso nuevo y estratégico: decidir qué rastreadores de inteligencia artificial pueden acceder a su contenido, lo que afecta a si las IAs le citan o no.

Seguramente ha oído hablar del famoso archivo robots.txt más de una vez, y quizá lo tenga catalogado como «una cosa técnica de programadores» que no va con usted. Le voy a quitar ese miedo desde el principio: es uno de los ficheros más sencillos que existen en una web, y entenderlo le da un control valioso sobre cómo le ven los buscadores.

Pero le aviso de algo, porque es un arma de doble filo. He visto webs enteras desaparecer de Google de la noche a la mañana por una sola línea mal puesta en este archivo. Una línea. Es así de sensible: bien usado, es un aliado; mal usado, un desastre silencioso. Por ello merece la pena entenderlo.

En este artículo le voy a explicar qué es el robots.txt, para qué sirve, cómo se compone y, sobre todo, el uso nuevo y estratégico que ha cobrado en 2026 con la llegada de la inteligencia artificial. Comencemos.

Prólogo del artículo: el cartel de la entrada

Para entenderlo bien, sin juntar churras con merinas, tenemos que diferenciar entre pedir y obligar. ¿Cómo? ¿No sirve el robots.txt para impedir que entren donde no quiero? Pues no exactamente, y este matiz es la clave de todo.

El robots.txt pide, no obliga.

Imagine la entrada de un edificio de oficinas con un cartel bien visible: «Recepción a la derecha, almacén y zona de personal, prohibido el paso». Ese cartel es su robots.txt. Cuando un robot de un buscador (como el de Google) llega a su web, lo primero que hace es leer ese cartel para saber por dónde puede circular y qué zonas debe respetar.

Me explico 🙂

Aquí está el detalle que casi nadie entiende: es un cartel, no una puerta blindada. Un visitante educado (los robots buenos, como Google o Bing) lee el cartel y lo respeta. Pero un visitante maleducado puede ignorarlo y colarse igual, porque el cartel no cierra nada con llave. Por ello, el robots.txt NO sirve para proteger información confidencial: si de verdad quiere que algo no se vea, no basta con pedir por favor que no lo miren; hay que cerrarlo con llave por otros medios. ¿Ve la diferencia entre pedir y obligar?

Vamos a ver cómo se escribe ese cartel.

Comencemos:

1. Qué es y para qué sirve el archivo robots.txt

El robots.txt es un archivo de texto plano que se coloca en la raíz de un sitio web y que da instrucciones a los robots de rastreo (los programas que recorren la web, como el de Google) sobre a qué partes del sitio pueden acceder y a cuáles no.

¿Y para qué quiere usted eso? Principalmente, para dos cosas. La primera, para evitar que Google pierda el tiempo rastreando zonas de su web que no aportan nada (páginas de administración, carritos de la compra, resultados de búsqueda internos), de modo que dedique su energía a lo que de verdad importa. La segunda, para orientar a los buscadores hacia su mapa del sitio. Está claro que no es un archivo que vaya a disparar su tráfico por sí solo, pero un buen robots.txt es parte de una web técnicamente sana.

2. Los comandos que forman un robots.txt

La buena noticia es que su «idioma» es de los más sencillos que hay. Con cuatro instrucciones se entiende prácticamente todo lo que verá en un robots.txt.

• User-agent. Indica a qué robot se dirige la instrucción. Un asterisco (User-agent: *) significa «esto va para todos los robots». También puede dirigirse a uno concreto, como Googlebot.
• Disallow. Es el «prohibido el paso». Le dice al robot qué carpeta o página no debe rastrear. Por ejemplo, «Disallow: /wp-admin/» le pide que no entre en la zona de administración.
• Allow. Es la excepción al Disallow: permite el paso a algo concreto dentro de una zona bloqueada. Sirve para afinar.
• Sitemap. Le indica al robot dónde está su mapa del sitio (el listado de todas sus páginas), para que las encuentre más fácilmente. Es de lo más recomendable incluirlo.

Con estas cuatro piezas se construye la inmensa mayoría de los archivos robots.txt del mundo. Por ello, no se deje intimidar: leer uno es más fácil de lo que parece.

3. Cómo se crea y dónde se coloca

Crear un robots.txt es tan simple como abrir un bloc de notas, escribir las instrucciones y guardarlo con el nombre exacto «robots.txt». Después se sube a la raíz del dominio, es decir, debe quedar accesible en sudominio.com/robots.txt. Si usa un gestor como WordPress, hay plugins de SEO que le permiten editarlo sin tocar archivos a mano.

Un consejo importante antes de tocar nada: cualquiera puede ver el robots.txt de cualquier web (el suyo incluido) simplemente añadiendo /robots.txt a la dirección. Le recomiendo echar un vistazo al de alguna web grande para ver ejemplos reales. Y otro consejo aún más importante: revise siempre dos veces lo que bloquea, porque un «Disallow: /» suelto (con esa barra sola) le está pidiendo a Google que no rastree absolutamente nada de su web. Ese es, precisamente, el error de una línea que hunde webs enteras.

4. Errores comunes que debe evitar

Como este archivo es sensible, conviene conocer los tropiezos más habituales para no caer en ellos.

El más grave ya lo hemos visto: bloquear de más y dejar a Google sin acceso a páginas que sí quiere posicionar. El segundo error clásico es confundir bloquear con desindexar. Que usted le pida a Google por robots.txt que no rastree una página no garantiza que esa página desaparezca de los resultados; para eso existen otras herramientas específicas. Y el tercer error es usar el robots.txt para ocultar contenido sensible, cuando (como decíamos con el cartel) es un archivo público que cualquiera puede leer, así que estaría señalando con el dedo justo lo que quiere esconder. ¿Recuerda cuando le dije que es un cartel y no una puerta con llave? Pues estos errores nacen de olvidar esa diferencia.

5. El robots.txt en la era de la inteligencia artificial

No podía cerrar sin hablar del elefante en la habitación, porque aquí este humilde archivo ha pasado a ser una pieza estratégica de primer orden.

Hasta hace poco, el robots.txt gestionaba el acceso de los buscadores tradicionales. Hoy también gestiona el de los rastreadores de inteligencia artificial, y ahí se abre una decisión importante. Porque las empresas de IA han separado sus robots en dos tipos, y entender esa diferencia lo cambia todo:

• Rastreadores de entrenamiento. Recogen su contenido para entrenar los modelos de IA (por ejemplo, GPTBot de OpenAI, ClaudeBot de Anthropic o Google-Extended). Le «aprenden», pero no le devuelven visitas.
• Rastreadores de búsqueda. Recogen su contenido para citarlo en las respuestas de la IA cuando alguien pregunta (por ejemplo, OAI-SearchBot, Claude-SearchBot o PerplexityBot). Estos sí pueden mandarle tráfico y visibilidad.

¿Y por qué le importa? Porque aquí está el error que cometen muchas webs hoy. En 2023, con el miedo inicial a la IA, mucha gente bloqueó de golpe todos los robots de inteligencia artificial. El problema es que, al hacerlo, se borraron a sí mismas de las respuestas de ChatGPT, Perplexity o Gemini, que es justo el canal que más está creciendo. Bloquear a ciegas hoy es dispararse en el pie.

La estrategia sensata, por ello, es más fina: puede bloquear los rastreadores de entrenamiento (si quiere proteger su contenido de que entrene a las IAs) y a la vez permitir los de búsqueda (para seguir apareciendo citado en las respuestas). Un detalle útil: bloquear estos robots de IA no afecta en absoluto a su posición en la Búsqueda de Google, porque son distintos del robot de Google de toda la vida. Esta es, precisamente, una de las decisiones clave de la nueva disciplina del posicionamiento en IA, el GEO, que explicamos a fondo en SEO vs GEO. Existe además un archivo emergente y complementario, el llms.txt, pensado para guiar a las IAs hacia su mejor contenido, aunque su adopción todavía es incipiente.

Eso sí, recuerde el cartel: todo esto funciona con los robots que juegan limpio. Para los que ignoran las normas hacen falta medidas más contundentes a nivel de servidor. Y para dominar todo esto, la base sigue siendo entender qué es el SEO y auditar bien su web con herramientas como Screaming Frog, que precisamente le muestra qué páginas está bloqueando.

Resumiendo: ¿qué hago con mi robots.txt?

Básicamente, lo que hemos visto es que el robots.txt es el cartel de la entrada de su web: le dice a cada robot por dónde puede pasar, con un idioma sencillo de cuatro comandos, pero con la trampa de que una línea mal puesta puede dejarle fuera de Google.

Pero seamos prácticos. Si usted quisiera ponerse con esto mañana, no reescribiría el archivo a lo loco. Haría tres cosas antes del café.

Primero, iría a sudominio.com/robots.txt para ver qué dice el suyo ahora mismo, porque mucha gente ni sabe que lo tiene ni qué pone. Segundo, comprobaría con lupa que no está bloqueando por error ninguna página importante, empezando por asegurarse de que no hay ningún «Disallow: /» suelto y de que su sitemap está incluido. Y tercero, y esto es lo más actual e importante, tomaría una decisión consciente sobre los robots de IA: permitir los de búsqueda para seguir siendo citado, y decidir con criterio qué hacer con los de entrenamiento, en lugar de bloquearlo todo por miedo.

Por ejemplo, en lugar de copiar un robots.txt de internet sin entenderlo (que es lo que hace mucha gente, y así heredan bloqueos que les perjudican), dedique diez minutos a entender qué bloquea cada línea. ¿Ve la diferencia entre copiar y comprender?

El resto es mantenimiento. Un archivo pequeño, pero que conviene revisar de vez en cuando.

Recuerde, al final todo va de decirle a cada robot por dónde puede pasar, sin cerrarle por error la puerta a quien le trae visitas 😉

Preguntas frecuentes sobre el archivo robots.txt