# Roema Design — robots.txt
# Klassische Suchmaschinen: alles erlaubt
# 18.09.2026: Sperren stehen in JEDER Gruppe — ein Crawler mit eigener Gruppe ignoriert die *-Gruppe (RFC 9309).
User-agent: *
Allow: /
Disallow: /kontakt.php
Disallow: /warteliste.php
Disallow: /refs-site/
Disallow: /_seiten/
Disallow: /_bausteine/
Disallow: /scripts/
Disallow: /daten/
Disallow: /mail-vorlagen/

# --- KI-/GEO-Crawler ausdrücklich erlauben (in KI-Suche gefunden & zitiert werden) ---
# OpenAI / ChatGPT-Suche
User-agent: GPTBot
Allow: /
Disallow: /kontakt.php
Disallow: /warteliste.php
Disallow: /refs-site/
Disallow: /_seiten/
Disallow: /_bausteine/
Disallow: /scripts/
Disallow: /daten/
Disallow: /mail-vorlagen/
User-agent: OAI-SearchBot
Allow: /
Disallow: /kontakt.php
Disallow: /warteliste.php
Disallow: /refs-site/
Disallow: /_seiten/
Disallow: /_bausteine/
Disallow: /scripts/
Disallow: /daten/
Disallow: /mail-vorlagen/
User-agent: ChatGPT-User
Allow: /
Disallow: /kontakt.php
Disallow: /warteliste.php
Disallow: /refs-site/
Disallow: /_seiten/
Disallow: /_bausteine/
Disallow: /scripts/
Disallow: /daten/
Disallow: /mail-vorlagen/

# Anthropic / Claude
User-agent: ClaudeBot
Allow: /
Disallow: /kontakt.php
Disallow: /warteliste.php
Disallow: /refs-site/
Disallow: /_seiten/
Disallow: /_bausteine/
Disallow: /scripts/
Disallow: /daten/
Disallow: /mail-vorlagen/
User-agent: Claude-Web
Allow: /
Disallow: /kontakt.php
Disallow: /warteliste.php
Disallow: /refs-site/
Disallow: /_seiten/
Disallow: /_bausteine/
Disallow: /scripts/
Disallow: /daten/
Disallow: /mail-vorlagen/
User-agent: anthropic-ai
Allow: /
Disallow: /kontakt.php
Disallow: /warteliste.php
Disallow: /refs-site/
Disallow: /_seiten/
Disallow: /_bausteine/
Disallow: /scripts/
Disallow: /daten/
Disallow: /mail-vorlagen/

# Google AI (Gemini / AI Overviews)
User-agent: Google-Extended
Allow: /
Disallow: /kontakt.php
Disallow: /warteliste.php
Disallow: /refs-site/
Disallow: /_seiten/
Disallow: /_bausteine/
Disallow: /scripts/
Disallow: /daten/
Disallow: /mail-vorlagen/

# Perplexity
User-agent: PerplexityBot
Allow: /
Disallow: /kontakt.php
Disallow: /warteliste.php
Disallow: /refs-site/
Disallow: /_seiten/
Disallow: /_bausteine/
Disallow: /scripts/
Disallow: /daten/
Disallow: /mail-vorlagen/

# Common Crawl (Trainings-/Retrieval-Basis vieler KI-Systeme)
User-agent: CCBot
Allow: /
Disallow: /kontakt.php
Disallow: /warteliste.php
Disallow: /refs-site/
Disallow: /_seiten/
Disallow: /_bausteine/
Disallow: /scripts/
Disallow: /daten/
Disallow: /mail-vorlagen/

# Microsoft Copilot / Bing
User-agent: bingbot
Allow: /
Disallow: /kontakt.php
Disallow: /warteliste.php
Disallow: /refs-site/
Disallow: /_seiten/
Disallow: /_bausteine/
Disallow: /scripts/
Disallow: /daten/
Disallow: /mail-vorlagen/

# --- Ratgeberseiten (07.09.2026): muessen crawlbar bleiben ---
# /nfc-tischaufsteller-restaurant.html
# /google-bewertungen-restaurant.html
# /marketing-restaurant-berlin.html
# Sie sind der einzige Ort, an dem diese Themen ausfuehrlich betextet stehen.
# Wer hier ein Disallow ergaenzt, nimmt sie aus der Suche.


# --- Weitere KI-/Assistenz-Crawler ausdruecklich erlauben (11.09.2026) ---
User-agent: Applebot-Extended
Allow: /
Disallow: /kontakt.php
Disallow: /warteliste.php
Disallow: /refs-site/
Disallow: /_seiten/
Disallow: /_bausteine/
Disallow: /scripts/
Disallow: /daten/
Disallow: /mail-vorlagen/
User-agent: Bytespider
Allow: /
Disallow: /kontakt.php
Disallow: /warteliste.php
Disallow: /refs-site/
Disallow: /_seiten/
Disallow: /_bausteine/
Disallow: /scripts/
Disallow: /daten/
Disallow: /mail-vorlagen/
User-agent: Amazonbot
Allow: /
Disallow: /kontakt.php
Disallow: /warteliste.php
Disallow: /refs-site/
Disallow: /_seiten/
Disallow: /_bausteine/
Disallow: /scripts/
Disallow: /daten/
Disallow: /mail-vorlagen/
User-agent: Meta-ExternalAgent
Allow: /
Disallow: /kontakt.php
Disallow: /warteliste.php
Disallow: /refs-site/
Disallow: /_seiten/
Disallow: /_bausteine/
Disallow: /scripts/
Disallow: /daten/
Disallow: /mail-vorlagen/
User-agent: DuckAssistBot
Allow: /
Disallow: /kontakt.php
Disallow: /warteliste.php
Disallow: /refs-site/
Disallow: /_seiten/
Disallow: /_bausteine/
Disallow: /scripts/
Disallow: /daten/
Disallow: /mail-vorlagen/
User-agent: YouBot
Allow: /
Disallow: /kontakt.php
Disallow: /warteliste.php
Disallow: /refs-site/
Disallow: /_seiten/
Disallow: /_bausteine/
Disallow: /scripts/
Disallow: /daten/
Disallow: /mail-vorlagen/

Sitemap: https://www.roema-design.de/sitemap.xml