Налаштування robots.txt для правильної індексації Вашого сайту.

Роботи пошукових систем (Google, Yandex) перед тим, як аналізувати контент Вашого сайту опитують сайт на наявність файлу robots.txt (повинен бути розташований в корені Вашого сайту, звернення до нього повинно бути дозволено) і далі дотримуються інструкцій, які в ньому розташовані. Цей файл може допомогти правильно проіндексувати контент Вашого сайту, або заборонити його індексування (в разі, якщо сайт в розробці, наприклад).
Директиви файлу robots.txt є рекомендаціями для пошукових роботів. Однак, потрібно розуміти, що пошукові системи не несуть зобов'язань перед цим стандартом, і навіть не дивлячись на наявність заборони індексації у файлі robots.txt, Ваш сайт все одно буде проіндексовано.

директиви файлу robots.txt
User-Agent: робот для якого написана інструкция (перелік роботів читайте нижче).
Disallow: сторінки, до яких ви бажаєте закрити доступ (можно вказати великий перелік таких директив з каждного нового рядку)
Allow: сторінки,до яких ви бажаєте відкрити доступ
Группи User-Agent / Disallow (User-Agent / Allow) повинні бути розділені символом нового рядка. Але, не порожні рядки не повинні існувати в рамках групи (між User-Agent і останньої директиви Disallow).
Символ # застосовуйте для коментарів у файлі robots.txt
Host: застосовується для вказівки роботу основного дзеркала сайту. Тому, якщо ви хочете склеїти 2 сайта і робите посторінковий 301 редирект, то для файлу robots.txt (на дублюючому сайті) НЕ треба робити редирект, щоб Яндекс міг бачити цю директиву саме на сайті, який необхідно склеїти (для Яндекс).
Crawl-delay: Можна обмежити швидкість обходу вашого сайту в секундах, так як якщо у вашого сайту дуже велика відвідуваність, то, навантаження на сервер від різних пошукових роботів може призводити до додаткових проблем (для Яндекс).
Регулярні вирази - ви можете використовувати 2 символи:* – означає будь-яку послідовність символів, $ - кінець рядка.
приклади
заборона індексації всього сайту


User-agent: *
Disallow:

заборона індексації зображень jpg

User-agent: *
Disallow: /*.jpg

дозволити відвідувати тількі визначену сторінку
User-agent: *
Allow: /seo/info.html
User-agent: *
Disallow: *


назви пошукових роботів
Googlebot: Основний краулер-індексатор сторінок для ПК і оптимізованих для смартфонів
Mediapartners-Google: Робот рекламної мережі AdSense
APIs-Google: Агент користувача APIs-Google
AdsBot-Google: Перевіряє якість реклами на веб-сторінках, призначених для ПК
AdsBot-Google-Mobile: Перевіряє якість реклами на веб-сторінках, призначених для мобільних пристроїв
Googlebot-Image (Googlebot): Індексує зображення на сторінках сайту
Googlebot-News (Googlebot): Шукає сторінки для додавання в Google Новини
Googlebot-Video (Googlebot): індексує відеоматеріали
AdsBot-Google-Mobile-Apps: Перевіряє якість реклами в додатках для пристроїв Android, працює за тими ж принципами, що і звичайний AdsBot
Yandex: При вказівці даного токена агента в robots.txt, звернення йде до всіх роботам Яндекса
YandexBot: Основний індексуючий робот
YandexDirect: Викачує інформацію про контент сайтів-партнерів РСЯ
YandexImages: Індексує зображення сайтів
YandexMetrika: робот Яндекс.Метрики
YandexMobileBot: Викачує документи для аналізу на наявність верстки під мобільні пристрої
YandexMedia: Робот, що індексує мультимедійні дані
YandexNews: індексатор Яндекс.Новостей
YandexPagechecker: валідатор мікророзмітки
YandexMarket: Робот Яндекс.Маркет;
YandexCalenda: Робот Яндекс.Календаря
YandexDirectDyn: Генерує динамічні банери (Дірект)
YaDirectFetcher: Завантажує сторінки з рекламними оголошеннями для перевірки їх доступності та уточнення тематики (РСЯ)
YandexAccessibilityBot: Завантажує сторінки для перевірки їх доступності користувачам
YandexScreenshotBot: Робить знімок (скріншот) сторінки
YandexVideoParser: Робот сервісу Яндекс.Видео
YandexSearchShop: Завантажує YML-файли каталогів товарів
YandexOntoDBAPI: Робот об'єктної відповіді, завантажує динамічні дані
Baiduspider: Робот китайського пошувика Baidu
Cliqzbot: Робот анонімної пошукової системи Cliqz
AhrefsBot: Пошуковий робот сервісу Ahrefs (контрольний аналіз)
Genieo: Робот сервісу Genieo
Bingbot: Краулер пошукової системи Bing
Slurp: Краулер пошукової системи Yahoo
DuckDuckBot: Краулер пошукової системи DuckDuckGo
facebot: Робот Facebook
WebAlta (WebAlta Crawler/2.0): Краулер пошукової системи WebAlta
BomboraBot: Сканує сторінки, задіяні в проекті Bombora
CCBot: Краулер на основі Nutch (проект Apache Hadoop)
MSNBot: Бот ПС MSN
Mail.Ru: Краулер пошукової системи Mail.Ru
ia_archiver: Краулер пошукової системи Alexa
Teoma: Краулер пошукової системи Ask