¿Qué es el robots.txt? Qué bloquear y qué permitir

Hay un archivo de texto diminuto, de apenas unas líneas, con el poder de sacar todo tu sitio de Google. Es el robots.txt. Está en la raíz de tu sitio, es lo primero que visita el robot de Google al llegar, y una sola línea equivocada puede bloquear todo tu contenido en los resultados de búsqueda. Al mismo tiempo, bien configurado, es una herramienta útil para orientar el rastreo. Pocos archivos combinan tanto poder con tanto riesgo.

Esta guía explica qué es el robots.txt, qué hace y qué no hace, qué directivas funcionan de verdad, la diferencia crucial entre bloquear y desindexar y cómo probarlo antes de publicar. Con plantillas que puedes adaptar a tu sitio.

¿Qué es el robots.txt?

El robots.txt es un archivo de texto plano situado en la raíz de tu sitio que da a los robots de los buscadores instrucciones sobre lo que pueden o no pueden rastrear. Cuando el robot de Google llega a tu sitio, este archivo es lo primero que consulta, antes que cualquier página.

Su función es orientar el rastreo, no la indexación. Esa distinción parece sutil, pero es el origen de casi todos los errores graves con el robots.txt, y volveremos a ella con detalle. Por ahora, recuerda que el robots.txt dice adónde puede ir el robot, no qué debe o no debe mostrar en los resultados.

Es una pieza central del SEO técnico y trabaja junto al crawler, el robot que recorre la web. Si el crawler es el visitante, el robots.txt es el cartel de la entrada que indica qué pasillos están abiertos y cuáles cerrados.

Cómo funciona el robots.txt

El archivo funciona con reglas sencillas que combinan tres elementos principales.

El primero es el user agent, que identifica a qué robot se aplica una regla. Puedes crear reglas para todos los robots a la vez o para uno concreto, como el de Google. En la mayoría de los casos, las reglas se aplican a todos.

El segundo es la directiva disallow, que indica qué rutas no debe rastrear el robot. Así evitas que pierda tiempo en zonas irrelevantes del sitio, como las carpetas del sistema o las páginas de funciones internas.

El tercero es la directiva allow, que abre excepciones dentro de una zona bloqueada. Se usa para decir “no entres en esta carpeta, salvo en este archivo concreto”.

Además, el robots.txt suele incluir la dirección de tu sitemap XML, que ayuda al robot a encontrar la lista completa de tus páginas nada más llegar. Es una buena práctica que conecta los dos archivos con inteligencia.

Una plantilla sencilla y segura para la mayoría de los sitios es esta:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.tusitio.com/sitemap.xml

La diferencia entre bloquear y desindexar

Este es el punto más importante de la guía y el que provoca la confusión más peligrosa. Bloquear en el robots.txt no es lo mismo que eliminar de Google.

Cuando bloqueas una página en el robots.txt, impides que el robot la rastree, es decir, que lea su contenido. Pero eso no la elimina necesariamente de los resultados. Si otros sitios enlazan a esa página, Google puede seguir mostrando su dirección en los resultados sin poder leer el contenido, con un resultado vacío y sin descripción. Es lo peor de ambos mundos: la página aparece con aspecto roto y Google no sabe qué contiene.

Para eliminar de verdad una página de los resultados, el camino es otro: una etiqueta noindex concreta dentro de la propia página, que solo funciona si el robot puede rastrearla. Y aquí está la trampa: si bloqueas la página en el robots.txt, el robot nunca lee la etiqueta noindex y la eliminación no se produce. Los dos métodos se anulan entre sí cuando se usan juntos por error.

La regla práctica: usa el robots.txt para ahorrar rastreo en zonas sin valor y usa la etiqueta noindex para sacar páginas concretas de los resultados. Nunca confíes en el robots.txt para ocultar algo de los resultados de búsqueda.

El error que borra un sitio entero

Hay una configuración que, añadida por error, bloquea todo tu sitio de golpe. Es una directiva que impide a todos los robots rastrear todas las páginas:

User-agent: *
Disallow: /

Ocurre más de lo que parece, por un motivo concreto: muchos sitios en desarrollo usan este bloqueo total a propósito para no aparecer en Google mientras se construyen. El problema es olvidarse de quitarlo cuando el sitio se publica. El sitio se lanza, todo parece correcto, y semanas después se descubre que nunca apareció en Google porque el bloqueo de desarrollo seguía ahí.

Por eso lo primero que hay que revisar en un sitio recién lanzado, o en uno que ha sufrido una caída de tráfico sin explicación, es el robots.txt. Es una comprobación de treinta segundos que puede explicar un desastre. Es un punto obligatorio de toda auditoría SEO, precisamente porque es un error común, grave y fácil de pasar por alto.

Qué incluir y qué no incluir

Un buen robots.txt es escueto. Cuantas menos reglas, menor es la probabilidad de error.

Conviene bloquear las zonas sin valor de búsqueda que solo desperdiciarían rastreo, como las carpetas de administración del sistema, las páginas de funciones internas y las zonas que generan contenido duplicado inútil. Eso ayuda a dirigir la atención de Google a lo que importa.

No conviene bloquear las páginas que quieres eliminar de los resultados porque, como hemos visto, el robots.txt no lo hace. Tampoco debes bloquear recursos que Google necesita para entender la página, como ciertos archivos de estilos y scripts, porque sin ellos el robot puede ver una versión rota de tu sitio y evaluarla mal.

Y, sobre todo, nunca uses el robots.txt como herramienta de seguridad. Bloquear una carpeta ahí no la oculta a quien quiera acceder; solo pide a los robots bien educados que no entren. La información sensible necesita una protección real, no una línea en el robots.txt.

Cómo probarlo antes de publicar

Dado el poder del archivo, probarlo antes de aplicarlo no es opcional. Un error aquí sale caro.

Google Search Console ofrece herramientas para comprobar cómo interpreta el robot tu robots.txt y para probar si una URL concreta está bloqueada o permitida. Antes de subir cualquier cambio, simula ahí el comportamiento y confirma que las páginas importantes siguen siendo accesibles para el robot.

Después de publicar, vuelve a comprobarlo. Abre directamente en el navegador la dirección de tu robots.txt, que siempre está en el mismo lugar, en la raíz del sitio seguida de robots.txt, y lee el contenido con calma. Confirma que ninguna regla bloquea lo que debería estar abierto. Esa lectura final de treinta segundos evita la mayoría de los desastres.

Preguntas frecuentes sobre el robots.txt

¿Todos los sitios necesitan un robots.txt?

No es obligatorio, pero sí muy recomendable. Sin él, el robot rastrea todo lo que encuentra, lo que suele funcionar en sitios pequeños. Un robots.txt bien hecho te da control sobre el rastreo y evita desperdicios, algo que marca la diferencia a medida que el sitio crece.

¿Bloquear una página en el robots.txt la elimina de Google?

No, y esa es la confusión más peligrosa. Bloquear impide que el robot lea el contenido, pero la página puede seguir apareciendo en los resultados si hay enlaces hacia ella, solo que sin descripción. Para eliminarla de verdad, usa una etiqueta noindex en la propia página, sin bloquearla en el robots.txt.

¿Dónde va el archivo robots.txt?

Siempre en la raíz del sitio, accesible añadiendo robots.txt después de tu dominio. Esa ubicación es fija: el robot de Google siempre lo busca ahí y en ningún otro sitio. Un robots.txt en cualquier otra carpeta sencillamente no se lee.

¿Puedo tener un robots.txt en WordPress sin tocar código?

Sí. Los principales plugins de SEO permiten editar el robots.txt directamente desde el panel de WordPress, sin acceder a los archivos del servidor. Es el camino más seguro para la mayoría de los usuarios, porque reduce el riesgo de errores de manipulación.

¿Qué pasa si no tengo un robots.txt?

El robot da por hecho que puede rastrearlo todo. En sitios pequeños y bien estructurados, rara vez es un problema. En sitios grandes, la ausencia de robots.txt puede provocar un rastreo desperdiciado en páginas irrelevantes y dejar menos atención para el contenido que importa.

¿Debo incluir el sitemap en el robots.txt?

Sí, es una buena práctica. Indicar tu sitemap XML dentro del robots.txt ayuda al robot a encontrar la lista completa de páginas nada más llegar y refuerza lo que ya enviaste a través de Search Console. Es una sola línea sencilla que mejora el descubrimiento.

No dejes que una línea de texto tumbe tu sitio

El robots.txt es pequeño, pero el daño que causa cuando está mal configurado es enorme. Un sitio entero puede volverse invisible en Google por una sola regla olvidada, y la causa a menudo pasa desapercibida durante semanas.

Solicita una auditoría SEO a Malamute Digital y confirma que tu robots.txt permite lo que importa y bloquea solo lo que debe, con el cuidado de un equipo que trata el SEO técnico como la base de todo lo demás.