Меню сайту
Форма входу
Категорії розділу
Мої статті [42]
Корисні поради На всі випадки життя [26]
Корисні поради На всі випадки життя. Статті сайту відповідають на питання “Як зробити …”, “Як приготувати…”, “Як навчитися…” та на сотні інших питань, які можуть перед вами постати. Ми намагаємося шукати прості та елегантні вирішення для складних проблем.
Корисні поради на всі випадки життя. Кулінарія та рецепти. [5]
Кулінарія та рецепти.
Статистика

Онлайн всього: 1
Гостей: 1
Користувачів: 0
Каталог статей
Головна » Статті » Корисні поради На всі випадки життя

Як написати правильний robots.txt

Як написати правильний robots.txt

Як написати правильний robots.txt

robots.txt - це текстовий файл, у якому містяться інструкції для пошукових роботів щодо індексації сайту. Він дає можливість забороняти індексацію сторінок та цілих розділів сайту, вказувати правильне дзеркало домену, задавати шлях до карти сайту. Це далеко не весь перелік можливостей файлу robots.txt, а лише ті, які найчастіше використовуються.

Перш ніж індексувати сайт, пошуковики вивчають файл robots.txt. Саме тому є дуже важлива наявність цього файлу, а ще важливішим є його вміст. Треба пам’ятати, що всі команди, які містяться у файлі robots.txt не є обов’язковими для виконання, а мають для пошукових роботів рекомендаційних характер.

robots.txt – це звичайний текстовий файл із розширенням .txt, який створюють за допомогою будь-якого текстового редактора та розміщують у кореневій директорії сайту. Важливо, щоб назва файлу була саме у нижньому регістрі, тобто назви Robots.txt чи ROBOTS.TXT є невалідними.

Під час створення файлу robots.txt є дуже важливим дотримуватися синтаксису його написання. Стандарт написання директив для пошукових роботів був прийнятий ще у 1994 році і з того часу не змінювався. Тому більшість пошукових роботів підтримують команди, яких немає у стандарті.

Основні команди для robots.txt

User-Agent – задає ім’я робота, до якого відноситься набір команд. Якщо набір інструкцій призначений для всіх пошукових роботів, то замість назви вкажіть зірочку (User-agent: *).

Disallow і Allow – забороняє або дозволяє доступ до певних сторінок сайту. Зверніть увагу на те, що інструкція Allow стандартом не підтримується. Незважаючи на це, ця інструкція підтримується роботами Google та Yandex.

Host – ця директива підтримується тільки пошуковим роботом Yandex та вказує йому яке дзеркало сайту вважати головним. Під дзеркалами розуміються домени сайту із префіксом www і без нього. Домен потрібно задавати без абревіатури протоколу http:// та без закриваючого слешу. Дану директиву потрібно вказувати після всіх команд Disallow.

Sitemap – інформує робота про наявність карти сайту та вказує шлях до неї. Ця директива є міжсекціональною.

Правила написання інструкцій для файлу robots.txt:

  • У кожному рядку із інструкцією Disallow повинен бути вказаний лише один файл або директорія.
  • Назва файлу повинна бути у нижньому регістрі.
  • Рядок User-agent не може бути пустим. Якщо потрібно звернутися до всіх роботів, використовуйте зірочку(*).
  • У директиві Disallow не можна використовувати символи підстановки на кшталт: Disallow: file*.html.
  • Коментарі до інструкцій пишіть в окремому рядку.
  • По стандарту інструкція Disallow є обов’язковою. Тому, якщо ви не хочете нічого забороняти, то залиште цю інструкцію порожньою.
  • При забороні індексації каталогів обов’язково використовуйте слеші(Disallow: /folder/)
  • Пусті стрічки використовуються тільки для розділення секцій.
Категорія: Корисні поради На всі випадки життя | Додав: AS (12.09.2011) W
Переглядів: 698 | Коментарі: 1 | Рейтинг: 0.0/0
Всього коментарів: 0
Додавати коментарі можуть лише зареєстровані користувачі.
[ Реєстрація | Вхід ]
Відвідувачі
www.onmoulinex.ru
 



Copyright MyCorp © 2024
Створити безкоштовний сайт на uCoz