User-agent: *
Allow: /

# Sitemap
Sitemap: https://argentsavvy.com/sitemap.xml

# Блокируем папки администрирования и бэкапы
Disallow: /_pginfo/
Disallow: /_pgbackup/
Disallow: /assets/scripts/
Disallow: /*.json

# Разрешаем основные страницы
Allow: /index.html
Allow: /Privacy*Policy.html
Allow: /Terms*and*Conditions.html

# Блокируем временные файлы
Disallow: /*-original.html
Disallow: /CHANGES.md
Disallow: /README.md

# Специфично для поисковых систем
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# Crawl-delay for polite crawling
Crawl-delay: 1

# Allow assets
Allow: /assets/