User-Agent: * # правила для всех роботов Crawl-delay: 5 # задает таймаут в 5 секунд для ботов Disallow: /cgi-bin # папка на хостинге Disallow: /bitrix/ # папка с системными файлами битрикса Disallow: /local/ # папка с системными файлами битрикса Disallow: /*index.php$ # дубли страниц index.php Disallow: /auth/ # авторизация Disallow: /personal/ # личный кабинет Disallow: */search/ # поиск Disallow: */feed # все фиды Disallow: */rss # rss фид Allow: */upload/ # открываем папку с файлами uploads Allow: /bitrix/*.js # здесь и далее открываем для индексации скрипты Allow: /bitrix/*.css Allow: /local/*.js Allow: /local/*.css Allow: /local/*.jpg Allow: /local/*.jpeg Allow: /local/*.png Allow: /local/*.gif Host: https://apple-avenue.ru # Укажите один или несколько файлов Sitemap Sitemap: https://apple-avenue.ru/sitemap.xml