HTTP-toegankelijkheid voor bots

ia.bot-accessibility · 1.8

Vinden MOET Scannerdata AR-FIND-01 AgentReady-vereiste

Waarom het belangrijk is

HTTP-probes met agent-user-agent-strings tonen hoe de bemonsterde pagina reageert vanaf de scanner. Ze bewijzen geen toegang vanaf provider-IP-adressen of succesvolle opvraging van het verwachte antwoord.

Zo los je het op

Geef legitieme bots HTTP 200 en blokkeer ze niet in de WAF of het CDN.

Vraag de homepage op met een bot-user-agent en noteer de HTTP-status.

Voeg bij status 401 of 403 een WAF- of CDN-regel toe die bekende AI-user-agents toestaat.

map $http_user_agent $is_ai_bot {
  default       0;
  "~*GPTBot"    1;
  "~*ClaudeBot" 1;
}

Houd rate limits, maar geef geverifieerde AI-crawlers geen challengepagina.

Controleren

curl -s -o /dev/null -w '%{http_code}\n' -A 'GPTBot/1.0' https://{domain}/

Verwacht: 200

Start een nieuwe scan voor dit checkpoint:

isagentready results {domain} --checkpoint ia.bot-accessibility

Details Koppeling, levenscyclus en bronnen

AR-koppeling: Directe relatie
Bron van het bewijs: agentready.org AR-FIND-01
Rol in de score: Kern
Toegevoegd: 2026-08-24
Herzien: 2026-10-30
Methodologieversie: 2026-10-30

Checkpointdata (JSON)