# robots.txt — Sobrestany · sobrestany.cat
# Policy: maximale KI-Sichtbarkeit. Alle seriösen KI-Crawler dürfen indexieren
# (damit ChatGPT / Perplexity / Google AI die Finca in Antworten empfehlen können).
# Geblockt werden nur aggressive Scraper ohne Mehrwert (Bytespider) sowie
# SEO-Backlink- und Scanner-Bots. Harte Durchsetzung zusätzlich in .htaccess.

User-agent: *
Disallow: /suche-ergebnis.php
Disallow: /includes/
Disallow: /b/
Disallow: /public/
Disallow: /PHPMailer/
Disallow: /vendor/
Disallow: /availability.php
Disallow: /availability-digest.php
Disallow: /contact.php
Disallow: /event.php
Disallow: /av-step.php
Disallow: /form-step.php
Disallow: /nav-step.php
Disallow: /token.php
Disallow: /i18n/
Disallow: /prices.php
Disallow: /prices-loader.php
Sitemap: https://www.sobrestany.cat/sitemap.xml

# =========================================================
# KI-Crawler — explizit ERLAUBT (Answer Engines + Training)
# =========================================================
# Crawl-delay fuer die Bulk-Crawler: sie haben eine eigene Gruppe und ignorieren
# damit laut robots.txt-Spec die *-Gruppe komplett — inklusive deren Taktung.
# Ungebremst liefen sie in den kasserver-Rate-Limiter (ClaudeBot: 80 von 413
# Requests mit HTTP 429, Access-Logs 14.-20.08.2026). ChatGPT-User und
# OAI-SearchBot bleiben absichtlich ohne Delay: sie beantworten Live-Anfragen
# von Nutzern und hatten keine einzige 429.
# Die Disallow-Zeilen sind aus der *-Gruppe uebernommen: Ein Crawler liest
# nur seine spezifischste Gruppe, GPTBot & Co. saehen sie sonst nicht (die
# Pfade liefern per .htaccess ohnehin 403, das hier haelt beides stimmig).
# Wer die *-Gruppe aendert, zieht beide Gruppen hier mit. Allow steht bewusst
# hinter den Disallows: manche Parser nehmen die erste passende Regel.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: Claude-Web
User-agent: PerplexityBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Amazonbot
User-agent: CCBot
User-agent: cohere-ai
Disallow: /suche-ergebnis.php
Disallow: /includes/
Disallow: /b/
Disallow: /public/
Disallow: /PHPMailer/
Disallow: /vendor/
Disallow: /availability.php
Disallow: /availability-digest.php
Disallow: /contact.php
Disallow: /event.php
Disallow: /av-step.php
Disallow: /form-step.php
Disallow: /nav-step.php
Disallow: /token.php
Disallow: /i18n/
Disallow: /prices.php
Disallow: /prices-loader.php
Allow: /
Crawl-delay: 2

User-agent: ChatGPT-User
User-agent: OAI-SearchBot
Disallow: /suche-ergebnis.php
Disallow: /includes/
Disallow: /b/
Disallow: /public/
Disallow: /PHPMailer/
Disallow: /vendor/
Disallow: /availability.php
Disallow: /availability-digest.php
Disallow: /contact.php
Disallow: /event.php
Disallow: /av-step.php
Disallow: /form-step.php
Disallow: /nav-step.php
Disallow: /token.php
Disallow: /i18n/
Disallow: /prices.php
Disallow: /prices-loader.php
Allow: /

# =========================================================
# Aggressive Scraper & Bots ohne Mehrwert — GEBLOCKT
# (Bytespider ignoriert robots.txt → zusätzlich hart in .htaccess)
# =========================================================
User-agent: Bytespider
Disallow: /

User-agent: TikTokSpider
Disallow: /

# Meta-Trainingscrawler: ignoriert Crawl-delay, loeste in einer Woche 354x den
# kasserver-Rate-Limiter aus und nahm dabei ClaudeBot/GPTBot und den
# Facebook-Linkvorschauen die Luft (Access-Logs 07.-13.09.2026). Bringt keine
# Besucher. Linkvorschauen laufen ueber facebookexternalhit und bleiben erlaubt.
User-agent: meta-externalagent
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: BitSightBot
Disallow: /

User-agent: wpbot
Disallow: /

User-agent: SeekportBot
Disallow: /

User-agent: InternetMeasurement
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

# Bild-Scraper (09/2026). Hart gesperrt zusaetzlich in .htaccess.
User-agent: tphotobot
Disallow: /

User-agent: pimeyes-downloader-api
Disallow: /