Robots.txt Generator

Web-Tools

Erstelle robots.txt interaktiv

robots.txt interaktiv erstellen

Erstelle eine robots.txt Datei für deine Website. Kontrolliere, welche Crawler welche Bereiche deiner Website durchsuchen dürfen.

User-Agent

Allow

Disallow

Crawl-Delay (optional, Sekunden)

Sitemap URL

User-agent: *