# ==============================
# ОБЩИЕ ПРАВИЛА (все боты)
User-Agent: *

# Разрешить статику Битрикс (CSS, JS, картинки)
Allow: /bitrix/components/
Allow: /bitrix/templates/
Allow: /local/components/
Allow: /local/templates/
Allow: /bitrix/cache/
Allow: /bitrix/css/
Allow: /bitrix/js/
Allow: /bitrix/images/
Allow: /bitrix/panel/
Allow: /upload/iblock/
Allow: /upload/medialibrary/
Allow: /upload/resize_cache/main/
Allow: /upload/resize_cache/iblock/
Allow: /upload/resize_cache/medialibrary/
Allow: /*.css
Allow: /*.js
# Закрыть технические разделы Битрикс
Disallow: /*nav-*
Disallow: /bitrix/
Disallow: /upload/
Disallow: /local/
Disallow: /ajax/
Disallow: /dev/
Disallow: /test/
Disallow: *test*
# Личный кабинет и авторизация
Disallow: */search/
Disallow: /compare/
Disallow: /personal/
Disallow: /rss/
Disallow: /auth/
Disallow: /login/
Disallow: /webstat/
Disallow: /desktop_app/
Disallow: /lk/
Disallow: /lk-charter/
# PHP-файлы — закрыть все служебные скрипты
Disallow: /404.php
Disallow: /*index*.php$
Disallow: */index.php
Disallow: /index.php$
Disallow: /ts.php
Disallow: /modulebank_atl.php
Disallow: /bitrix/tools/form_show_file.php
Disallow: /about/subscr_edit.php
# Фильтры и пагинация
Disallow: */filter/
Disallow: /*?PAGEN*
Disallow: /gallery/order=
Disallow: */slide_show/
Disallow: /PAGE_NAME=search
Disallow: /PAGE_NAME=user_post
Disallow: /PAGE_NAME=detail_slide_show
# Файлы в /upload/ (документы)
Disallow: /upload/*.txt
Disallow: /upload/*.pdf
Disallow: /upload/*.doc
Disallow: /upload/*.docx
Disallow: /upload/*.pptx
Disallow: /upload/*.ppsx
Disallow: /upload/*.html
Disallow: /upload/*.wmv
# Старые и служебные разделы
Disallow: /payture/
Disallow: /blogs/
Disallow: /extours/
Disallow: /thankyou-subscribe/
Disallow: /thankyou-callback/
Disallow: /hotels-2star/
Disallow: /all/1-star/
Disallow: /all/2-star/
Disallow: /events-calendar/
Disallow: /vote/
Disallow: /modulbank/
Disallow: /novyy-razdel3/
Disallow: /photo/
Disallow: /nationalnews/
Disallow: /priceshop/
Disallow: /typo/
Disallow: /mh/
Disallow: /gmap*
Disallow: /baliold/
Disallow: /all_sm/
# Виза — закрыть дублирующиеся страницы
Disallow: /spravochnik/india/vizy/
Disallow: /visa/_index.php
Disallow: /visa/index__.php
Disallow: /visa/index_1.php
Disallow: /visa/index2.php
Disallow: /visa/sri-lanka/
Disallow: /anketa-visa-india/
Disallow: /anketa-visa-india/index_test.php
# Страны — нежелательные поддиректории
Disallow: /india/avia/
Disallow: /india/feedback/
Disallow: /india/cities/
Disallow: /bali/cities/
Disallow: /bali/feedback/
Disallow: /bali/avia/
Disallow: /bali/hot/
Disallow: /bali/visa/
Disallow: /dominikana/cities/
Disallow: /dominikana/resort/
Disallow: /shri-lanka/avia/
Disallow: /shri-lanka/hot/
Disallow: /shri-lanka/cities/
Disallow: /maldivi/feedback/
Disallow: /maldivi/avia/
# Карты сайта — для всех ботов
Sitemap: https://www.ayurtour.ru/sitemap.xml
Sitemap: https://www.ayurtour.ru/all/sitemap.xml
# ЯНДЕКС (специальные правила)
User-Agent: Yandex
# Host — ТОЛЬКО для Яндекса, указывает главное зеркало сайта
Host: https://www.ayurtour.ru
# Clean-param — UTM и служебные параметры для игнорирования
Clean-param: __cf_chl_tk&utm_banner&pm_source&pm_block&pm_position&y_ref&etext
# Статика Битрикс — разрешить
# Запреты (Яндекс читает только свой блок, поэтому дублируем)
# Карты сайта для Яндекса