# robots.txt — mpump.pro
# Сайт полностью открыт к индексации. AI-краулеры пока РАЗРЕШЕНЫ.
# Чтобы запретить обучение ИИ на контенте — замените "Allow: /" на "Disallow: /"
# в соответствующей группе ниже (раздел "AI training crawlers").

User-agent: *
Allow: /

# --- Поисковые системы ---
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: YandexBot
Allow: /

# Роботы быстрых ответов YandexGPT и Поиска с Алисой.
# ВАЖНО: они игнорируют группу "User-agent: *" и читают только персональные
# директивы — держим явное разрешение, это наш канал в ответы Алисы AI.
User-agent: YandexAdditional
Allow: /

User-agent: YandexAdditionalBot
Allow: /

# --- AI: поиск и ответы (answer engines) ---
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

# --- AI: обучающие краулеры (при желании замените Allow на Disallow) ---
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: CCBot
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: Bytespider
Allow: /

User-agent: Amazonbot
Allow: /

User-agent: Meta-ExternalAgent
Allow: /

# --- Соцботы (превью ссылок) ---
User-agent: Twitterbot
Allow: /

User-agent: facebookexternalhit
Allow: /

User-agent: TelegramBot
Allow: /

Sitemap: https://mpump.pro/sitemap.xml