Wat is robots.txt?
robots.txt is een klein tekstbestand dat al sinds de jaren negentig bestaat als de standaardmanier om crawlers (van zoekmachines tot AI-systemen) te vertellen welke delen van je website ze wel en niet mogen bezoeken. Het bestand staat altijd op dezelfde plek: jouwdomein.nl/robots.txt, en is het eerste dat de meeste crawlers raadplegen voordat ze verder gaan.
Voor AI SEO is robots.txt extra relevant geworden, omdat er nu specifieke AI-crawlers bestaan zoals GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot en Google-Extended (Google Gemini). Je kunt deze per naam toestaan of blokkeren, los van reguliere zoekmachine-crawlers.
Wat is llms.txt?
llms.txt is een veel nieuwer, voorgesteld bestandsformaat, specifiek bedoeld voor AI-taalmodellen. Waar robots.txt vooral regelt wat wel en niet mag, geeft llms.txt een beknopt, gestructureerd overzicht van wat een AI-systeem het beste kan lezen om je organisatie te begrijpen: een soort samenvatting of leeswijzer, geschreven in eenvoudig markdown-formaat op jouwdomein.nl/llms.txt.
Waarom heb je ze allebei nodig?
De twee bestanden vullen elkaar aan: robots.txt regelt de toegang, llms.txt regelt de duiding.
| robots.txt | llms.txt | |
|---|---|---|
| Doel | Bepaalt welke delen van de site crawlers mogen bezoeken | Geeft een beknopt overzicht van de belangrijkste content |
| Bestaat sinds | Jaren negentig | 2024, nog in ontwikkeling |
| Formaat | Eenvoudige regelsyntax | Leesbaar markdown |
| Gebruikt door | Zoekmachines en AI-crawlers | Voornamelijk AI-systemen |
Wat checken wij in jouw robots.txt?
Wat checken wij in jouw llms.txt?
Blokkeer je AI-crawlers per ongeluk?
Een veelgemaakte fout: organisaties blokkeren AI-crawlers uit voorzorg of onwetendheid, bijvoorbeeld via een standaardinstelling van hun CMS of hostingpartij. Het gevolg is dat je website technisch onzichtbaar wordt voor precies de systemen waar AI SEO om draait. Dit is een van de eerste punten die we controleren, en vaak ook een van de snelst op te lossen verbeterpunten.
Hoe vaak controleren we dit?
Maandelijks, als onderdeel van de Technical Health Check binnen je AI Visibility Score. Crawler-namen en aanbevolen instellingen veranderen mee met de markt, dus we houden dit actief bij.
Veelgestelde vragen
Is llms.txt een officiele standaard?
Nog niet in de zin van een formeel vastgestelde standaard, maar het wordt breed voorgesteld binnen de AI-industrie en steeds vaker ondersteund. Vroeg inrichten kost weinig en heeft geen nadelen.
Werkt llms.txt al bij alle AI-platformen?
Nee, de ondersteuning verschilt per platform en ontwikkelt snel. Precies daarom richten we het nu al in: zodra een platform het gaat gebruiken, ben je voorbereid.
Kan een verkeerd geconfigureerde robots.txt schade aanrichten?
Ja. Het per ongeluk blokkeren van de hele website, of specifiek van AI-crawlers, is een veelgemaakte fout met grote impact op zichtbaarheid. Dit is een van de eerste dingen die we controleren.
What is robots.txt?
robots.txt is a small text file that has existed since the nineties as the standard way to tell crawlers (from search engines to AI systems) which parts of your website they may and may not visit. The file always lives at the same location: yourdomain.com/robots.txt, and is the first thing most crawlers check before proceeding.
For AI SEO, robots.txt has become extra relevant because specific AI crawlers now exist, such as GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot and Google-Extended (Google Gemini). You can allow or block these by name, separately from regular search engine crawlers.
What is llms.txt?
llms.txt is a much newer, proposed file format, specifically intended for AI language models. Where robots.txt mainly governs what is and isn't allowed, llms.txt provides a concise, structured overview of what an AI system can best read to understand your organization: a kind of summary or reading guide, written in simple markdown format at yourdomain.com/llms.txt.
Why do you need both?
The two files complement each other: robots.txt governs access, llms.txt governs interpretation.
| robots.txt | llms.txt | |
|---|---|---|
| Purpose | Determines which parts of the site crawlers may visit | Provides a concise overview of the most important content |
| Exists since | 1990s | 2024, still evolving |
| Format | Simple rule syntax | Readable markdown |
| Used by | Search engines and AI crawlers | Primarily AI systems |
What we check in your robots.txt
What we check in your llms.txt
Are you accidentally blocking AI crawlers?
A common mistake: organizations block AI crawlers out of caution or unawareness, for example through a default setting of their CMS or hosting provider. The result is that your website becomes technically invisible to exactly the systems AI SEO is about. This is one of the first things we check, and often one of the fastest improvements to fix.
How often do we check this?
Every month, as part of the Technical Health Check within your AI Visibility Score. Crawler names and recommended settings evolve with the market, so we keep this actively up to date.
Frequently asked questions
Is llms.txt an official standard?
Not yet in the sense of a formally established standard, but it is widely proposed within the AI industry and increasingly supported. Setting it up early costs little and has no downsides.
Does llms.txt already work on all AI platforms?
No, support varies by platform and is evolving quickly. That's exactly why we set it up now: as soon as a platform starts using it, you're already prepared.
Can a misconfigured robots.txt cause harm?
Yes. Accidentally blocking the entire website, or specifically AI crawlers, is a common mistake with a big impact on visibility. This is one of the first things we check.
Benieuwd wat dit voor jouw website betekent?Curious what this means for your website?
Vraag een gratis AI SEO Audit aan en ontvang een concreet beeld van waar jouw website nu staat. Request a free AI SEO Audit and get a concrete picture of where your website stands today.