# Robots.txt для flexible.azimutprint.ru
# Производство гибкой упаковки в Ярославле

User-agent: *
Allow: /
Disallow: /includes/
Disallow: /logs/
Disallow: /nginx/
Disallow: /*.min.js$
Disallow: /*.min.css$

# Разрешаем индексирование основных ресурсов
Allow: /assets/images/
Allow: /css/styles.css
Allow: /js/script.js

# Sitemap
Sitemap: https://flexible.azimutprint.ru/sitemap.xml

# Настройки для Яндекса
User-agent: Yandex
Allow: /
Host: https://flexible.azimutprint.ru
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&yclid&gclid&fbclid

# Настройки для Google
User-agent: Googlebot
Allow: /
Crawl-delay: 1

# Настройки для Google Images
User-agent: Googlebot-Image
Allow: /assets/images/

# Ограничения для SEO-ботов (снижаем нагрузку)
User-agent: AhrefsBot
Crawl-delay: 10

User-agent: SemrushBot
Crawl-delay: 10

User-agent: MJ12bot
Crawl-delay: 10

User-agent: DotBot
Crawl-delay: 10

# Блокируем нежелательных ботов
User-agent: MauiBot
Disallow: /

User-agent: SeznamBot
Disallow: /

User-agent: BLEXBot
Disallow: /