Карта сайта - файл Sitemap

Файл Sitemap – это документ, размещающий в себе информацию обо всех страницах сайта, которые подлежат индексированию. После размещения данного файла на сайте, вы имеете возможность:

• зарегистрировать страницы для индексации в поисковых системах;
• указать частоту обновлений данных на страницах;
• отметить страницы, индексирование которых приоритетно.

Sitemap файлы берутся в учет при ознакомлении системы с сайтом, но поисковая система не дает гарантий, что все указанные в файле URL будут зарегистрированы в поисковом индексе роботом.

Какова необходимость создания данного файла?

По умолчанию система поисковика знакомится с новыми страницами сайта, совершая переходы по ссылкам имеющейся страницы, включая внешние. Обычно этого достаточно для полной идентификации сайта и индексирования его содержимого. Иногда робот не находит некоторые страницы или ошибается в определении их важности. Такие проблемы создают излишне динамические страницы или такие страницы, попасть на которые можно только при переходе по длинной ссылочной цепочке. Именно для решения этой проблемы и предназначен файл Sitemap.

Создание файла Sitemap

На бескрайних просторах интернета можно обнаружить большой выбор ресурсов по автоматическому созданию файла Sitemap. Поисковики, в основном, поддерживают следующие форматы файла Sitemap:

• XML (расширение .xml);
• Текстовый файл (расширение .txt).

Файл размещается в корне сайта, минуя дополнительные папки, например: http://сайт/sitemap.txt.

Рекомендовано сохранять Sitemap в формате xml-файла, но и txt-файл не особо уступает. Каждый вэб-мастер определяет расширение исходя из собственных привычек.

Стоит отметить, что sitemap.xml допускает размещение дополнительной информации о страницах сайта, такой как:

- lastmod-элемент (последнее обновление по дате);

- changefreq-элемент (частота изменения страницы);

- priority-элемент (относительная значимость страницы, степень важности).

Поисковые системы не поддерживают обработку расширенных форматов Sitemap для картинок, видео и RSS/Atom-фидов.

Требования

После создания файла Sitemap рекомендовано проверять его корректность через валидатор файлов Sitemap и только потом загружать на сайт.

Правила создания Sitemap-файла:

• Домен расположения файла идентичен с сайтом, для которого написан sitemap-файл. Доменное имя и полный адрес сайта могут быть любыми.
• Обращаясь к файлу, код ответа сервера должен быть 200.
• Максимальное количество URL для сайта – 50000, размер файла без сжатия должен быть до 10 Мб. Если файл не удовлетворяет данным требованиям – необходимо разделить его на несколько независимых файлов и указать их в индекс-файле Sitemap.
• Кодировка написания файла - UTF-8. Использование Punycode для кириллических URL необязательно.
• В файле Sitemap могут описываться страницы домена, на котором он расположен. Страницы других доменов или поддоменов запрещены к описанию.

Регистрация Sitemap

Процедура добавления файла для каждой поисковой системы различна, но универсальный метод заключается в добавлении директивы Sitemap файл "robots.txt", который также расположен в корне вашего сайта. Если сайт предварительно регистрировался в поисковой системе – файл Sitemap система считает при повторных обращениях к страницам.

Второй вариант – указать URL файла Sitemap на сервере поисковика в разделе для вэб-мастеров. Количество Sitemap-файлов для одного и того же домена – не имеет ограничений.

Удаление Sitemap

Если при регистрации файла вы использовали первый вышеуказанный метод, то удаление достаточно простое: из файла robots.txt сотрите директиву Sitemap. Если регистрировали вторым способом, зайдите в кабинет вэб-мастера поисковой системы и найдите файл, который загрузили ранее.