---
title: Crawlers validados automáticamente
canonical: https://wpsecurityninja.com/docs/firewall/crawlers-validados-automaticamente/
---
Security Ninja puede reconocer crawlers legítimos para que buscadores, herramientas de monitorización y bots de IA publicados tengan menos probabilidad de quedar bloqueados por error. La validación forma parte de las comprobaciones de visitantes del firewall.

## Cómo funciona la validación

El proceso depende del tipo de crawler:

### Crawlers clásicos de búsqueda y SEO

Para User-Agents que parecen un crawler conocido (Googlebot, Bingbot, Ahrefs y similares), Security Ninja puede hacer un reverse-DNS de la IP del visitante y confirmar que el hostname coincide con un sufijo de confianza (por ejemplo `.googlebot.com` o `.search.msn.com`).

**El tráfico normal de navegador no dispara esta consulta DNS.** La comprobación solo se ejecuta cuando el User-Agent parece un crawler.

Si la IP y el hostname coinciden, la IP se recuerda para que las visitas siguientes se salten el trabajo extra. La lista recordada tiene un tope de **200 entradas**.

### Crawlers de IA (OpenAI, Perplexity, Anthropic)

Cuando el User-Agent coincide con bots publicados como GPTBot, PerplexityBot o ClaudeBot, Security Ninja comprueba la IP del visitante frente a **rangos de IP oficiales publicados** de cada proveedor (feeds JSON), no por coincidencia de hostname.

Ejemplos compatibles:

* OpenAI: GPTBot, ChatGPT-User, OAI-SearchBot
* Perplexity: PerplexityBot, Perplexity-User
* Anthropic: ClaudeBot, Claude-User, Claude-SearchBot

## Sufijos de hostname de crawlers clásicos

Estos patrones de hostname se usan cuando corre la confirmación por reverse-DNS:

<dl class="docs-term-list">
<dt><code>.crawl.baidu.com</code></dt>
<dd>Crawler de búsqueda de Baidu.</dd>
<dt><code>.crawl.baidu.jp</code></dt>
<dd>Crawler de Baidu Japón.</dd>
<dt><code>.search.msn.com</code></dt>
<dd>Crawler de Microsoft Bing.</dd>
<dt><code>.google.com</code></dt>
<dd>Crawlers de Google.</dd>
<dt><code>.googlebot.com</code></dt>
<dd>Googlebot.</dd>
<dt><code>.crawl.yahoo.net</code></dt>
<dd>Crawler de Yahoo.</dd>
<dt><code>.yandex.ru</code>, <code>.yandex.net</code>, <code>.yandex.com</code></dt>
<dd>Crawlers de Yandex.</dd>
<dt><code>.petalsearch.com</code></dt>
<dd>Petal Search (Huawei).</dd>
<dt><code>applebot.apple.com</code></dt>
<dd>Applebot.</dd>
<dt><code>.ahrefs.com</code></dt>
<dd>Crawler SEO de Ahrefs.</dd>
<dt><code>.semrush.com</code></dt>
<dd>Crawler de SEMrush.</dd>
<dt><code>.duckduckgo.com</code></dt>
<dd>Crawler de DuckDuckGo.</dd>
<dt><code>facebookexternalhit.com</code></dt>
<dd>Fetcher de vista previa de enlaces de Facebook.</dd>
<dt><code>.commoncrawl.org</code></dt>
<dd>Common Crawl.</dd>
<dt><code>.googleother.com</code></dt>
<dd>Otros crawlers de Google.</dd>
<dt><code>.google-inspectiontool.com</code></dt>
<dd>Herramientas de inspección de Google.</dd>
<dt><code>.swiftype.com</code></dt>
<dd>Crawler de Swiftype.</dd>
<dt><code>.sogou.com</code></dt>
<dd>Crawler de Sogou.</dd>
<dt><code>.yahoo.com</code></dt>
<dd>Crawlers internacionales de Yahoo.</dd>
<dt><code>.bing.com</code></dt>
<dd>Crawlers de Bing.</dd>
</dl>

## Si un crawler legítimo sigue bloqueado

1. Actualiza Security Ninja a la última versión.
2. Comprueba que la IP del crawler resuelve a un hostname conocido (bots clásicos) o cae en el rango publicado del proveedor (bots de IA).
3. [Añade la IP a la lista de permitidos de forma manual](https://wpsecurityninja.com/es/docs/firewall/como-bloquear-una-ip/#añadir-una-ip-a-la-lista-de-permitidos) si hace falta.
4. [Contacta con soporte](https://wpsecurityninja.com/help/) si operas un crawler con un método de validación estándar que aún no cubrimos.

## Relacionado

* [Filtrar consultas sospechosas](https://wpsecurityninja.com/es/docs/firewall/filtrar-consultas-sospechosas/)
* [Lista de permitidos para servicios](https://wpsecurityninja.com/es/docs/firewall/lista-permitidos-servicios/)
* [Protección 404](https://wpsecurityninja.com/es/docs/firewall/proteccion-404/)