Una política de crawlers debe decidir por separado si permite descubrimiento para respuestas de búsqueda, navegación iniciada por usuarios o agentes y uso de contenido para entrenamiento.
Empresa no equivale a una sola decisión.
La matriz representa decisiones independientes; no afirma que todas las empresas expongan los mismos productos o agentes.
Los nombres, propósitos y controles cambian. La decisión operativa debe basarse en documentación vigente del proveedor y en observación de solicitudes reales, no en una lista copiada sin fecha.
Tres propósitos, tres decisiones
Descubre contenido público para recuperarlo o citarlo en experiencias de búsqueda asistida por IA.
Navega una URL o ejecuta una acción porque una persona solicitó explícitamente la interacción.
Recopila contenido para desarrollo o mejora de modelos. Puede tener una política distinta a Search.
La política vive en varias capas
robots.txt expresa preferencias para crawlers que deciden obedecerlo. El WAF, Bot Management, rate limiting y challenges pueden bloquear de hecho una solicitud permitida por robots. Content Signals u otros encabezados comunican preferencias adicionales, pero no sustituyen acceso técnico ni seguridad.
Comprobación mínima
- Inventariar contenido público, privado y endpoints de acción.
- Leer robots.txt y configuración administrada por CDN.
- Revisar reglas WAF, challenges y bloqueos por crawler.
- Solicitar las URLs principales con agentes identificados cuando sea seguro.
- Observar status, bytes, cache y frecuencia en logs.
- Documentar fecha, decisión y motivo para cada propósito.
Permitir IA no significa abrir todo
El contenido público puede ser accesible mientras APIs privadas, paneles, datos personales y rutas administrativas permanecen protegidos. Un agente que realiza acciones necesita autenticación, autorización, límites y confirmaciones independientes del crawling de contenido.
search=yes, ai-input=yes, ai-train=yes y cero bloqueos individuales verificados al 30-08-2026. Es una decisión documentada para este sitio, no una regla universal.