Карта сайта: как создать и использовать
Карта сайта (sitemap) представляет собой веб-страницу или специализированный файл, содержащий ссылки на все важные страницы проекта. Она упрощает пользователям и поисковым системам процесс ознакомления с содержанием ресурса и обеспечивает легкий доступ к любой странице. В метафорическом смысле карту сайта можно сопоставить с оглавлением книги.
Когда и для чего нужна карта сайта
Предположим, что посетитель заходит на сайт в поисках конкретной информации. Он просматривает одну страницу, затем вторую, третью, но так и не находит необходимое. Если посетитель не знаком с поисковыми операторами, а на сайте отсутствует карта, он может просто утомиться от поисков, закрыть сайт и обратиться к другому ресурсу.
Когда краулеры (поисковые роботы) посещают сайт без карты сайта, они начинают случайно исследовать контент. Безусловно, при этом они учитывают как внутренние, так и внешние ссылки. Однако из-за ограничений по времени и количеству материалов, которые могут быть проанализированы за один сеанс, они не способны охватить все страницы. В результате некоторые из них могут остаться неиндексированными до следующего сеанса индексации, и не стоит надеяться, что они будут проиндексированы даже в следующий раз.
Таким образом, карта сайта выполняет несколько важных функций:
Она упрощает навигацию для пользователей, позволяя им быстрее находить нужные разделы с материалами.
Кроме того, карта предоставляет ссылки для анализа роботам, что позволяет краулерам проверять указанные страницы.
Также она ускоряет процесс индексации контента, так как возможно исключение из sitemap разделов, не подлежащих индексации, и выделение новинок.
Дополнительно карты сайтов содержат ключевую информацию для краулеров, включая даты обновления страниц и их приоритет.
На небольшом сайте грамотная внутренняя перелинковка страниц позволяет роботам эффективно анализировать его содержимое. Пользователи также способны ознакомиться с несколькими страницами без необходимости наличия оглавления. Таким образом, лендинги или сайты-визитки не требуют карту сайта.
Существует несколько явных признаков, указывающих на необходимость создания карты сайт.
Наличие множества страниц, разделов и подразделов. Оглавление значительно упростит навигацию как для поисковых роботов, так и для пользователей.
Недостаток внешних и внутренних ссылок. Если на сайт ссылаются немногие ресурсы, а его страницы слабо взаимосвязаны, это затрудняет краулерам обнаружение как самого сайта, так и его отдельных страниц.
Большое количество мультимедийного контента. Карта сайта облегчает поисковым системам извлечение данных из медиафайлов, что позволяет отображать изображения, видео и прочий контент в результатах поиска.
Регулярное добавление или обновление контента. С помощью файла sitemap можно указать страницы, которые должны быть проиндексированы в первую очередь.
Недавнее создание веб-ресурса. Наличие карты сайта ускоряет процесс индексации страниц, что, в свою очередь, способствует более быстрому попаданию проекта в результаты поисковых запросов.
Как проверить наличие и состояние карты сайта
Некоторые платформы для создания сайтов автоматически генерируют карту сайта. Кроме того, разработчик, занимающийся созданием или поддержкой проекта, также может добавить её вручную.
Если вы не уверены, есть ли у вашего ресурса карта сайта и в каком она состоянии, это легко выяснить.
Самый простой способ — ввести в адресной строке http://site.ru/sitemap.xml, заменив site.ru на свой домен. В результате откроется страница с картой сайта или отобразятся результаты поиска, содержащие ссылку на неё.
При запросе в браузере доступна карта любого сайта, если она не заблокирована для просмотра.
Также можно удостовериться в наличии карты сайта с помощью Яндекс.Вебмастера или Google Search Console, где можно проверить, была ли она проиндексирована.
Еще один метод для тех, кто хоть немного разбирается в коде страниц, заключается в том, чтобы зайти в файл robots.txt и найти там ссылку на sitemap.
Карта сайта: виды
Карта сайта может быть создана в форматах HTML и XML, которые различаются по своему виду, структуре и целям использования.
HTML-карта сайта.
Данный формат предназначен для пользователей. Она представляется в виде отдельной веб-страницы, содержащей ссылки на все ключевые разделы сайта.
HTML-карта сайта имеет некоторые ограничения по количеству ссылок. Рекомендуется размещать не более 100 ссылок на одной странице, чтобы обеспечить удобство восприятия для пользователей и предотвратить частичное индексирование роботов. Кроме того, страница может быть исключена из поисковой выдачи при наличии слишком большого количества ссылок.
Как правило, HTML-карта сайта организована в виде дерева, с основными разделами и подкатегориями.
Объемные карты сайта часто создаются с применением CSS-стилей, графических элементов и JavaScript. Однако в целом HTML-карта не играет значительной роли для поисковых систем. Ее основная функция заключается в упрощении навигации для пользователей и облегчении поиска необходимой информации.
XML-карта сайта.
XML-карта сайта представляет собой файл, находящийся в корневом каталоге, который предназначен для поисковых роботов. В нем перечислены URL значимых страниц, а также с помощью тегов предоставляется необходимая информация для поисковых систем.
К числу обязательных тегов относятся:
<urlset> — агрегирует все URL;
<url> — содержит информацию о конкретном адресе;
<loc> — указывает на сам URL.
Дополнительные теги включают:
<lastmod> — указывает дату последнего обновления страницы;
<changefreq> — обозначает частоту изменений страницы;
<priority> — определяет приоритетность страницы.
Кроме того, с помощью тега xmlns указывается пространство имен для языка XML, что обеспечивает уникальность названий элементов и атрибутов в документе. Значение данного тега всегда представлено в виде ссылки.
Корректный файл sitemap.xml должен быть закодирован в UTF-8, что обеспечивает высокую совместимость с другими кодировками. Таким образом, XML, имеющий кодировку UTF-8, будет правильно интерпретирован большинством браузеров.
Для XML-карт сайта существуют определенные ограничения:
- максимальный размер файла составляет 50 МБ;
- количество URL-адресов не превышает 50 000.
Наличие карты сайта в формате XML не гарантирует, что поисковые системы будут сканировать страницы строго по указанным параметрам. Однако она представляет собой ориентир, который помогает краулерам лучше понять структуру сайта и быстрее находить новый контент.
Наилучшим решением для сайта является создание двух типов карт: HTML Sitemap для пользователей и XML Sitemap для поисковых роботов.
Кроме того, существует упрощенный вариант карты сайта — TXT Sitemap. Это текстовый файл, в котором построчно перечислены все необходимые ссылки.
TXT-карта сайта ограничена в передаче информации и содержит исключительно адреса. Поисковые системы могут использовать её в случае отсутствия XML-файла.
Пример заполнения карты сайта в формате текстового файла. Каждый URL в текстовом формате указывают с новой строки.
Как создать HTML-карту сайта
Основные требования к HTML-карте сайта включают простоту, наглядность и актуальность. Она должна быть максимально понятной и удобной для пользователя, а также регулярно обновляться.
По сути, HTML-карта сайта представляет собой структурированный список всех значимых страниц, аналогичный оглавлению книги.
При создании карты соблюдайте четкую иерархию страниц: структура должна ясно демонстрировать различие между разделами и подразделами.
Избегайте излишней перегрузки оформлением. Основное внимание должно уделяться содержанию. Рекомендуется минимизировать использование изображений, ярких шрифтов и других отвлекающих факторов.
Важно включать активные ссылки, чтобы пользователи могли легко переходить на нужные страницы.
Способы создания карты HTML:
Вручную. Для этого потребуются знания HTML. Также можно создать текстовый файл и конвертировать его в HTML с помощью онлайн-сервисов, таких как Texthandler или Convertio.
При помощи онлайн-сервисов. Достаточно указать адрес сайта, и карта будет создана автоматически. Существуют как бесплатные, так и платные сервисы с ограничениями по количеству страниц. Примеры: Mysitemapgenerator, Octopus, Gloomaps, Visual Site Mapper.
С помощью плагинов CMS. Плагины автоматически анализируют ресурс и генерируют карту сайта, например:
- WP Sitemap Page для WordPress;
- Sitemap для Drupal;
- OSMap для Joomla.
Что касается страниц, которые следует включать в HTML-карту, не обязательно добавлять все страницы сайта. Указывайте только наиболее значимые:
- категории;
- подкатегории;
- информацию о компании;
- условия сотрудничества;
- контактные данные.
Тем не менее, в небольших проектах карта может содержать ссылки на все доступные материалы.
Не следует добавлять в sitemap:
- страницы, закрытые от индексации;
- ссылки с кодом ответа сервера, отличающимся от 200 ОК (что означает, что запрос был корректным и сервер успешно его обработал);
- удаленные URL-адреса.
Готовую HTML-карту разместите на отдельной веб-странице и укажите ссылку на неё в футере, чтобы пользователи могли легко попасть в sitemap с любой страницы. Также стоит добавить ссылку на страницу 404.
Что касается количества HTML-карт, то строгих ограничений нет. Лучше ориентироваться на удобство использования. Если структура сайта проста и общее количество ссылок не превышает 100, одной карты будет достаточно.
Для более сложных ресурсов с запутанной структурой разумно создать несколько карт, например, по одной для каждого раздела, особенно если в них много категорий и подкатегорий.
Как создать ХML-карту сайта
XML-карта сайта представляет собой рекомендацию для поисковых систем относительно страниц, которые следует индексировать. С помощью данного файла можно указать краулерам важные ссылки, а также сообщить о частоте их обновления и других аспектах.
Ключевой задачей является корректное указание ссылок:
- необходимо использовать только канонические URL (основные версии для страниц с идентичным контентом);
- все ссылки должны соответствовать единому протоколу (либо http, либо https);
- все ссылки должны находиться на том же домене, что и XML-карта сайта.
Методы создания Существует несколько способов создания XML-карты сайта:
Самостоятельная разработка с нуля. Например, файл можно создать в текстовом редакторе Notepad++. Тем не менее, этот метод требует значительных временных затрат и определённых знаний в области программирования. Такой подход можно использовать для небольших проектов.
Специальные сервисы. Существует множество различных генераторов, как платных, так и бесплатных. Обычно они автоматически создают карту сайта после ввода домена.
Примеры таких инструментов включают:
- XML-Sitemaps,
- XML Sitemap Generator,
- Сайтрепорт,
- SiteAnalyzer.
- Плагины для CMS. Для сайтов, работающих на системах управления контентом, предлагаются различные плагины, которые генерируют XML-карту сайта. Например:
- XML Sitemap и All in One SEO для WordPress;
- JL Sitemap для Joomla.
В XML-карте сайта должны быть указаны все страницы, которые подлежат индексации, и при этом они должны возвращать код ответа 200 ОК.
Не следует включать следующие типы страниц:
- С кодом 404 и Not Found, так как это удаленные страницы.
- Страницы с soft 404, которые возвращают код 200 ОК, но не содержат или почти не содержат контента, перенаправляют на другой URL либо блокируются файлом robots.txt.
- С кодом 401, так как это страницы, требующие авторизации и не предназначенные для индексации.
- С кодом 301, поскольку это страницы, которые были перемещены навсегда.
- С кодом 503 Service Unavailable, указывающим на временные проблемы с сервером.
- Неиндексируемые страницы, такие как личные аккаунты, страницы входа, контактная информация и разделы FAQ.
Перед созданием XML-карты сайта рекомендуется провести аудит и убедиться, что все необходимые страницы возвращают код ответа 200 ОК. В качестве примеров сервисов для проверки можно упомянуть BE1.RU и Collaborator.
Статический файл карты сайта необходимо обновлять при каждом добавлении новых страниц и изменении существующих. Для ресурсов, где изменения происходят регулярно, рекомендуется создать динамическую карту сайта, которая будет автоматически обновляться при внесении изменений. Это можно реализовать, добавив соответствующие скрипты в код сайта или воспользовавшись специализированными инструментами, такими как генераторы или плагины. Одним из примеров генератора динамических карт сайта является Mysitemapgenerator.
Если карта сайта в формате XML превышает максимальные размеры — более 50 МБ и/или 50 000 ссылок — рекомендуется разделить её на несколько файлов.
Кроме того, использование файлов меньшего объёма является технически обоснованным решением. Чем больше карта сайта, тем выше нагрузка на сервер, что может привести к усечённым ответам или тайм-аутам соединения, а также вызвать ошибки при сканировании. Меньшие файлы снижают риск возникновения таких проблем.
Можно создавать отдельные карты сайта в формате XML для различных разделов, таких как категории, товары и блог; для видео — поисковые системы могут использовать эти карты для отображения видео в специальных подборках или в результатах поиска. Для генерации карт с видео можно воспользоваться сервисом XML-sitemaps.com. Также можно создать отдельную карту для изображений, что увеличит вероятность появления в поисковых системах по запросам на картинки. Максимальный объём такой карты не должен превышать 1000 изображений. Для создания sitemap с изображениями можно использовать Free image sitemap generator.
Чтобы добавить несколько карт, создайте сводный XML sitemap. Для этого создайте новый файл и включите в него ссылки на все карты сайта в формате XML.
Готовые XML-карты следует проверить на наличие ошибок, чтобы избежать неправильной индексации. Для этой цели можно использовать инструменты, такие как Websiteplanet, Mysitemapgenerator и Aspose.
Как оповестить поисковики о создании карты сайта
После создания XML-карты сайта важно уведомить поисковые системы о ее наличии. Хотя они могут обнаружить файл самостоятельно, если он указан в robots.txt, этот процесс может занять некоторое время.
Для уведомления поисковой системы Google можно воспользоваться следующими методами:
- Google Search Console. Войдите в сервис и перейдите в раздел «Файлы Sitemap». Добавьте ваш файл и нажмите кнопку «Отправить».
- HTTP-запрос. В адресной строке браузера введите следующий запрос: http://www.google.com/ping?sitemap=url_sitemap.
Чтобы уведомить Яндекс о карте сайта, используйте один из следующих способов:
- Яндекс Вебмастер. Перейдите в раздел «Индексирование — Файлы Sitemap», укажите ссылку на вашу карту сайта и нажмите «Добавить».
- HTTP-запрос. В адресной строке браузера введите такой запрос: http://yandex.ru/ping?sitemap=sitemap_url_sitemap.
Обе платформы, Google Search Console и Яндекс.Вебмастер, после анализа XML-карты сайта предоставят информацию о выявленных проблемах. Рекомендуется следовать указаниям поисковых систем и устранить обнаруженные недостатки.