Crea un robots.txt sin memorizar la sintaxis
Elige un punto de partida, añade bloques de user-agent con chips de acceso rápido para rastreadores y rutas comunes, y copia o descarga el archivo final.
User-agent: * Disallow:
Qué cubre esta herramienta
Las directivas que realmente controlan el rastreo.
Control de rastreadores de IA
Chips de acceso rápido para GPTBot, ClaudeBot y PerplexityBot junto a Googlebot y Bingbot, para permitir o bloquear rastreadores de IA con la misma intención que a los de búsqueda.
Optimización del presupuesto de rastreo
Mantén a los rastreadores fuera de paneles de administración, carritos de compra y búsqueda interna para que dediquen más tiempo a las páginas que realmente quieres indexadas.
Descubrimiento del sitemap
Añade una directiva Sitemap: para que los rastreadores encuentren tu sitemap.xml sin que tengas que enviarlo por separado.
Cómo funciona
Sin cuenta, sin llamadas a una API: todo se ejecuta en tu navegador.
Elige un punto de partida
Permitir todo, bloquear todo o empezar desde un conjunto de reglas en blanco.
Añade reglas por rastreador
Define un user-agent y luego añade rutas Disallow/Allow; los chips de acceso rápido cubren las más comunes.
Copia o descarga
Toma el texto directamente o descárgalo como robots.txt listo para subir a la raíz de tu sitio.
Preguntas frecuentes
En la raíz de tu dominio: https://ejemplo.com/robots.txt. No se leerá en ningún otro lugar, incluidos los subdirectorios.
No. Disallow indica a los rastreadores bien comportados que no obtengan una página, pero si otros sitios enlazan a ella, Google puede indexar la URL igualmente sin visitarla. Usa una etiqueta meta noindex en la propia página si necesitas una garantía.
Es una decisión real y actual, sin una única respuesta correcta: bloquearlos mantiene tu contenido fuera de los datos de entrenamiento de esa empresa, pero también fuera de las superficies de búsqueda/respuesta con IA que cada vez envían más tráfico de referencia. Decide por bot, no bloquees por defecto.
Un Disallow: vacío sin ruta significa "no prohibir nada"; equivale a permitir todo para ese user-agent, y es una sintaxis válida e intencional para un bloque de "permitir todo".
Otras herramientas gratuitas
Generador de meta etiquetas
Crea título, descripción y etiquetas sociales
Vista previa de fragmento SERP
Previsualiza cómo se ve una página en Google
Generador de marcado Schema
Añade datos estructurados para resultados enriquecidos, listos en JSON-LD
Probador de imagen OG
Comprueba tus etiquetas open graph y prueba la imagen og
Lecturas relacionadas
A Practical Guide to robots.txt and Sitemap.xml for SEO and AI Crawlers
What each file actually controls, the mistakes that accidentally block crawlers (human search engines and AI ones alike), and how to verify both are configured correctly.
Technical SEO Audit Checklist: 30+ On-Page & Technical Factors
Titles, canonical tags, structured data, crawlability, redirect chains - a concrete checklist instead of vague 'improve your SEO' advice.
¿Quieres confirmar que los rastreadores realmente llegan a tus páginas?
Ejecuta una auditoría de sitio gratuita para comprobar rastreabilidad, indexabilidad y preparación para agentes de IA juntas.
Ejecutar auditoría gratis