Sitemap или карта сайта – это файл в формате XML, который содержит в себе список URL страниц, информирующий и ориентирующий поисковых роботов в структуре сайта. Данный файл загружают в корневую директорию сервера.
Зачем нужен файл sitemap.xml
Перечень URL из карты сайта отображает все разделы и страницы конкретного сайта. Таким образом, он как бы направляет роботов в процессе индексации. На самом деле поисковики способны просканировать сайт и без sitemap, но, во-первых, это может привести к неверному пониманию ими структуры проекта, во-вторых, индексация может значительно затянуться во времени, особенно если сайт состоит из тысяч страниц.
Как сделать корректный sitemap
Пошагово процесс создания карты сайта выглядит примерно следующим образом:
- Определитесь со списком страниц для поискового индекса. Укажите канонические URL, где необходимо, чтобы избежать дублирования содержания.
- Выберете формат файла sitemap. Например, Яндекс поддерживает XML и TXT форматы. Лучше сразу использовать XML, так как его функционал более широкий.
- Сгенерируйте файл карты сайта с помощью специальных сервисов, либо непосредственно в самой CMS. Например, в Битрикс существует возможность сгенерировать sitemap и настроить включение / исключение URL для отображения в нем.
- Пройдите валидацию (проверку) sitemap с помощью инструментов для вебмастеров в Яндекс или Google.
- Укажите ссылку на корректный sitemap в файле robots.txt, а также в специальных разделах Яндекс.Вебмастер и Google Search Console.
Распространенные ошибки sitemap
При обработке поисковыми системами файла карты сайта могут возникать ошибки. Перечислим наиболее распространенные из них и возможные причины их возникновения:
- неудачная загрузка sitemap – возможно, ваш сайт был недоступен во время обхода роботом;
- превышен размер файла – карта сайта должна «весить» не более 50 мб;
- URL sitemap запрещен для индексации – вероятно, наличие ошибок в файле robots.txt;
- ошибки, связанные с тегами «неизвестный тег», «тег не найден» и т.д. – файл sitemap формируется по строгим правилам, которые регламентируют наличие обязательных тегов, а также запрещают, например, дублирование некоторых из них;
- превышение количества ссылок в карте сайта – их общее число в одном файле не должно превышать 50000;
- исключение из индекса URL sitemap – часто возникает ситуация, когда поисковые роботы пытаются проиндексировать карту сайта как обычную страницу, вследствие этого процесса ей может быть присвоен статус, например, «недостаточно качественная» и она будет внесена в список исключенных страниц. Это не является ошибкой и отрицательно не повлияет на индексацию сайта.