A sitemap is a file that helps visitors or search robots navigate a network resource. There are two options for creating a sitemap: in XML and HTML format. The first one is generated by webmasters for search robots, the second one is most often generated manually for site users. An HTML map is a regular web page with content URLs arranged in a specific hierarchy. An XML map is also a catalog of network addresses of website pages, only generated using special markup convenient for search engines.
Map in XML format
In the official directories of Google and Yandex services you can find a lot useful information on creating, updating and publishing a site map. There is also data on the structure of sitemap.xml files. This article contains only the most important and useful regular user data.
Main tasks of the file:
Providing network addresses of all site pages in a form convenient for quick viewing.
Transmission of information about the frequency and time of the last content update, priority, alternative versions of pages.
The sitemap may contain various information, facilitating fast and correct indexing of the necessary pages of a network resource in search engines.
The importance of the map’s presence on the site
For search engine optimization The presence of a site map is a must. Any assistance to the search engine in viewing and analyzing the content of a network resource has a positive impact on the ranking of content. This is what optimizers and webmasters think. Immediately after completing work on the site, they create a sitemap.xml file and show it to search engines.
For search engines, the absence of such a file does not play a significant role. Robots – independent software, which does not require additional instructions. They will find everything they need on their own without specially created pages with links. If you add a site to the Yandex or Google webmaster panel without providing a link to the sitemap, the service will identify the problem as recommended, and not critical or fatal.
The main reasons for creating a map:
The presence of pages that do not have incoming links from the menu or site content.
The network resource has a complex structure and large number pages with varied content.
Regular website updates.
The site has a hierarchy of pages by importance.
A site map allows you to speed up the indexing of content and simplify the process of providing new data about the site to the search engine.
Creation and connection
You can obtain the file in different ways, including manually compiling a list of all page addresses. Of course, most often they resort to various means of automation. For example, they use server or regular software. To create and regularly update a network resource map automatically, the easiest way is to use the capabilities of a CMS. If the content management system does not have a built-in tool, then find and install an additional module. During its existence search index Many programs and add-ons have been developed to suit any user and search engine requirements.
Using online generators:
Find a suitable service online.
Specify the address of the network resource.
Launch the software by pressing the appropriate button.
The service robot will crawl the site pages and generate a map of addresses.
Upon completion, the service will provide the user with a link to download sitemap.xml. Download the file and upload it to the root directory of the site. The disadvantage of this method is that it produces a static map. After adding new pages, you will have to manually repeat the above operation, delete the outdated file and download the current version.
Using CMS tools using WordPress as an example
Install and activate a suitable plugin, for example Google XML Sitemaps.
We go to the settings page and allow: notify the search engine about map updates, add the sitemap.xml location address to the robots.txt file, automatically compress data as necessary.
In the “Article Priority” section, we prohibit the use of automatic calculation of page priority if it is important for you to be able to change their priority yourself.
Let's move on to setting up the contents of the map and check the necessary boxes. In the “Other options” subsection, we allow the service to set the date of the last map update.
In the next section, the service suggests changing the frequency of checking the file for new links and any other changes. You can set any values, since search engines usually decide when to perform the next crawl.
Next, go to the “Priorities” section, which allows you to set the importance of pages by selecting the desired value from the drop-down list. The set values can also be ignored by search robots, so you can leave them as they are.
Save the changes.
The plugin will automatically create the file and place it in the desired directory. From this moment on, the webmaster can forget about the existence of sitemap.xml, since the service will take over maintaining the current state of the file. All that remains is to indicate the location address to the search engine new card site. This is done through the webmaster control panel in the corresponding search engine.
Create a map manually
The information is given for the purpose of familiarizing yourself with the structure of a text file saved in xml format and used as a site map. It is impractical to create such large files manually, since modern software copes with the task very efficiently and quickly.
Features of the test file
To create a sitemap manually, you can use notepad or any other text editor. Data is written to a file using special characters and XLM markup codes. After you finish entering all the links and instructions for the search engine, the file must be saved with the xml extension.
Sample sitemap code:
Standard header indicating the version of the code used and the character encoding:.
Protocol standard specification:
Listing website page addresses indicating various parameters:
Closing the file with the tag:.
The urlset, url, loc tags are required, the rest can be used as desired. Many optimizers do not limit themselves to creating a general site map. Additionally, they create an image map, separate for videos, site news and other sections. Such maps allow you to transmit information to the search engine that is not available in the usual way due to the peculiarities of embedding content into the page, for example through scripts.
Multiple sitemap.xml
The need to use several sitemaps arises in the case of simultaneous use different systems content management, the need to add more than 50 thousand pages to the site, providing convenient conditions for tracking errors that occur in a huge number of different sections and for other reasons.
All created cards must be combined into one. That is, create text file and write all the cards into it using special tags.
General sitemap code:
Standard header:.
Protocol standard:
Listing of all sitemaps indicating the required parameters:
We list all the cards and close the code with the tag.
In this way, only regular XML maps are combined, which are not separately indexed. To index several sitemaps separately, they must be added to the index through the webmaster panel, indicating the search engine the exact path to the file of each map.
Submitting the sitemap address to the search engine
To search engine Google robot was able to find your map, you need to go to Google Search Console, select the “Sitemap Files” section, enter the network address of the file in the appropriate field and click on the “Submit” button. After some time, the service software will check for the presence of the file at the specified address. If a sitemap is detected, the robot will analyze the content and show the user the result of the work done. If errors are found, it will create a detailed report on each one, adding recommendations for eliminating all problems. If there are no errors, the following message will appear in the sitemap status: “Successful”.
To transfer the sitemap.xml address to the Yandex search engine, you need to log into the webmaster panel, in the “Indexing” section, find the “Sitemap Files” subsection, enter the path to the file in the form and click on the “Add” button. You can find out about errors in the “Diagnostics” section.
Limitations and Features
By creating and adding a sitemap, the user increases the chances of quick and regular indexing of all pages of a network resource. The likelihood of losing content for search is significantly reduced. The robot will go through all the addresses written in the file, take into account all the comments of the webmaster, and index the available material. For a sitemap to work properly, the user must consider several restrictions when creating it.
Requirements for sitemap.xml:
The file should not contain more than 50 thousand page addresses.
The file size must be less than or equal to 10 MB.
Owners of popular and large network resources have found several ways to solve problems associated with these restrictions. If your site requires a map that does not fit into the established framework, use the option from the list below.
Options for solving the problem of restrictions:
Reduce the number of links by removing the addresses of pages that have very low priority from the file. Leave important links and page addresses that are accessible to the search robot only through the site map.
Create several sitemaps and submit their URLs to search engines.
If the problem is size, use an archiver to compress the data.
Site map for visitors
A sitemap for users is significantly different from a sitemap for a search robot. This is a regular website page with many links with anchors, content descriptions, navigation and design elements. A custom sitemap is created to speed up the search for information within a network resource.
It is created in a regular text editor or a special editor for preparing HTML pages and saved in a file with any name and html extension. The finished document can be placed in any directory. There is no need to inform the search engine about the presence of a custom map. During the process of indexing the site, the search robot will find it and index all links.
Features of creating an HTML map:
Use formatting. Highlight headings, subheadings, make lists, notes, highlight text with color. The map should be convenient and pleasant to use; it should not be an ordinary page with many links that do not inform the user about the content to which they lead.
Think about the structure and add a short description to each link. This will simplify the user's search for information and make the map high-quality for search engines. They do not perceive material with links without text or multimedia support well.
Add anchors to your links. They will inform the visitor about the results of clicking on them. Such links can have a positive impact on the trust of a network resource, so search engines perceive links with anchors better.
Once you've created your custom map, save it somewhere accessible and link to it prominently. Unlike a search engine, visitors will not crawl the entire site in search of a convenient navigation page. Therefore, place the link in a prominent place, for example in the main menu, highlight it with a frame, color, and change the font size. The more noticeable it is, the better. Otherwise, the efforts spent on its creation will not bring benefits.
The sitemap.xml file, just like a regular site map, is a set of pages formatted in XML tags. By using this file, search engines understand which pages of your site should be indexed first.
Regular HTML sitemap:
Sitemap in XML format:
Each option has its pros and cons. The key advantage of a sitemap in XML format is that it eliminates the possibility of blurring the static weight of pages within a site.
In this article I will tell you how to create a correct Sitemap.xml file.
If you already know everything about creating a Sitemap, go straight to the last chapter, which is called “Tricks”.
1. Sitemap.xml file directives
There are 3 mandatory directives that must be filled in in any case, these are tags:
- < urlset>
- < url>
- < loc>
And also 3 optional tags:
- < lastmod>
- < changefreq>
- < priority>
Here is a reminder on decoding each tag from the official website http://www.sitemaps.org/ru/protocol.html:
|
Attribute |
Status |
Description |
|
required |
Encapsulates this file and specifies the current protocol standard. |
|
|
required |
The parent tag for each URL. Other tags are subordinate to this tag. |
|
|
required |
The URL of the page itself. Always starts with a prefix (eg HTTP) and ends with a slash (if your site's server requires it). Please note: URL length must not exceed 2048 characters. |
|
|
|
optional |
Date the file was last modified. Specified strictly in W3C Datetime format. It allows, if necessary, to ignore the time segment and use the YYYY-MM-DD format. |
|
|
optional |
Allows you to specify how often the information on the page changes. This value is approximate. Valid values:
If the page changes every time it is opened, use the “always” value. If this is an archive page, put never. Please note that this attribute serves as a hint for the search robot, not a rule. Therefore, the relationship between it and the actual frequency of page visits by a search robot is nonlinear. |
|
|
optional |
Allows you to specify the priority of some pages of your site over others. The range of values is from 0.0 to 1.0. By default, each page is given a priority of 0.5. The attribute value works to compare the priority of pages within your site only. That is, it does not affect the comparison of your site with competitor sites in the search network. Moreover, setting all pages to maximum priority is also pointless. Because then the values will be the same for the robot and the attribute simply won’t work. So don't look for loopholes, but indicate objective priorities for pages. |
Save this reminder. It will definitely be useful to you at first. It is worth noting another advantage of an XML sitemap - it is flexible. Flexibility lies in the combination of different optional directives.
Now that you have clarity on what an XML sitemap is and you know the basic directives of this file, you can move on to compiling it.
2. Compiling the sitemap.xml file
There are 3 ways to create a sitemap:
- Manually;
- Automatically, using special services;
- Automatically, using ready-made solutions in the form of plugins for CMS, etc.
The process for preparing a sitemap is as follows:
- We create a site map using one of the methods listed above;
- We check for validity using search engine services (https://webmaster.yandex.ru/sitemaptest.xml);
- We place the file on the website;
- We indicate the path to the site map for search robots in the robots.txt file (By the way, there is a separate article about that);
- We indicate the Sitemap in the Yandex and Google webmaster panels.
So how do you create a sitemap file?
Let's look at an example of compiling a file manually. If you want to add 5 pages of your site to the sitemap:
This is what the sitemap should look like in XML format:
|
|
If necessary, add optional tags from the memo I provided above. Additional tags are written in the container
|
|
Приведенный выше код, указывает поисковой системе, что страница http://site.ru/
в последний раз изменилась 1 января 2005 года. Обновляется с частотой раз в месяц. И приоритет у данной страницы 0.8 (максимально возможный 1).
Особенно удобен функционал подсветки парных тегов.
Сервисы для генерации Sitemap
В случае, если на вашем сайте много полезных страниц и вы не хотите тратить время на составление файла вручную, то вам помогут следующие сервисы:
Таких сервисов много. Я использую https://www.xml-sitemaps.com/ .
Поясню вкратце все настройки:
Плагины для CMS
Существует огромное количество плагинов и готовых решений для систем управления сайтов. Например:
|
Плагин |
|
Валидность
После составления карты сайта нужно проверить ее на наличие ошибок. Для проверки используйте сервис https://webmaster.yandex.ru/sitemaptest.xml
После успешной проверки заливаем наш файл на сайт.
Расположение файла
В отличие от файла robots.txt, файл sitemap.xml может располагаться в любом месте вашего сайта. Например, в корневой папке сайта файл будет доступен по следующему адресу:
Если вы разместили файл в папке /files/, то он будет доступен по такому адресу:
После успешной загрузки файла, обязательно укажите поисковым роботам как найти этот файл. Делается это очень просто. В файле robots.txt () в директиве Sitemap пропишите полный адрес к файлу. Например, файл robots.txt может выглядеть следующим образом:
Важно! В отличии от robots.txt файлов Sitemap может быть несколько. В таком случае необходимо указывать в robots и вебмастерах полный адрес ко всем файлам Sitemap.
Search Console и панель Яндекс.Вебмастера
Остался последний этап. Указать путь к карте сайта в панелях вебмастеров поисковых систем.
- Настройка индексирования
- Файлы Sitemap
- «Проверить» и «Добавить»
Следует отметить ограничения в XML-карте сайта:
- В одном файле можно указать не более 50000 URL-адресов
- Вес файла не более 10 мегабайт (поисковые системы не индексируют документы, превышающие размер в 10 мегабайт). При необходимости файл можно сжать с помощью архиватора.gzip.
- Кодировка файла только в UTF-8
На этом основные этапы завершены. Следуйте всем описанным простым правилам и ошибок у вас не будет. Вторая часть статьи посвящена более детальной настройке, тонкостям и особенностям sitemap.xml эти знания потребуются вам для составления профессиональной карты сайта для интернет-магазинов.
3. Группировка файлов Sitemap
В случае превышения лимита в 50000 URL-адресов, нужно использовать вложенную структуру и создать группу из нескольких Sitemap. То есть создавать карты сайта в карте сайта!
Для обычного сайта (не крупного портала или интернет-магазина) такой объем страниц редкость, поэтому группировку Sitemap большинство SEO-специалистов используют для удобства, например, для группировки страниц товаров или разделов.
Синтаксис выглядит следующим образом:
|
|
Определение XML-тегов:
|
Атрибут |
|
Описание |
|
|
обязательный |
Инкапсулирует информацию о всех файлах Sitemap в этом файле. |
|
|
обязательный |
Инкапсулирует информацию об отдельном файле Sitemap. |
|
обязательный |
Указывает местоположение файла Sitemap. |
|
|
|
необязательно |
Указывает время изменения соответствующего файла Sitemap. Робот использует эту информацию, чтобы понять в каких файлах Sitemap произошли изменения. Косвенно, этот тег позволяет роботу быстрее обнаружить новые страницы сайта. |
Таким образом составляется сгруппированная карта сайта. Все остальные процедуры те же, что описаны выше. Не забываем указывать в файле robots.txt, в директиве Sitemap, корректную ссылку на ваш файл.
4. Исследование
В конце 2014 года я провел небольшое исследование по анализу эффективности наличия на сайте файла sitemap.xml.
Наблюдалась проблема индексации товарной группы на сайте интернет-магазина (товаров порядка 10000). При этом, ничего не препятствовало их индексации. Был составлен файл карты сайта, состоящий только из ссылок на товары сайта. Карта сайта обновлялась автоматически. За 2 месяца в индексную базу поисковой системы Яндекс попало более 70% URL-адресов. Большая доля страниц, попавших в индекс, это страницы из карты сайта. Отмечу, что в данный период не проводились другие мероприятия по ускорению индексации сайта (например, простановка ссылок).
Вот сами результаты:
Вывод: карта сайта до сих пор влияет на индексацию вашего сайта. Необходимо регулярно обновлять и актуализировать данный файл.
5. Фишки
Чтобы статья не получилась скучной для опытных SEO-специалистов, предлагаю вам ознакомиться со следующими «фишками».
Картиночный сайтмап
Для привлечения дополнительного трафика из поисковых систем (возможно не совсем конверсионного) вы можете составить дополнительный Sitemap для картинок.
Синтаксис для картиночной карты сайта выглядит так:
|
xmlns:image="http://www.google.com/schemas/sitemap-image/1.1"> |
Памятка по XML-тегам:
|
Обязательно? |
Описание |
|
|
|
Содержит всю информацию об одном изображении. Каждый URL (тег |
|
|
|
URL изображения. В отдельных случаях домен URL изображения может отличаться от домена, используемого основным сайтом. Если оба домена подтверждены в Search Console, проблем при этом не возникнет. Но если картинки размещены с помощью системы управления контентом, например, сервиса Google Сайты, вам необходимо подтвердить сайт хостинга в Search Console. Кроме того, файл robots.txt не должен запрещать сканирование содержания, которое необходимо индексировать. |
|
|
|
Подпись к изображению. |
|
|
|
Место съемки. Например, |
|
|
|
Название изображения. |
|
|
|
URL лицензии изображения. |
Лайфхак для тех, кто дочитал
Многие SEO-специалисты генерируют файлы Sitemap один раз на старте проекта. Дальше про карту сайта забывают. Проиндексировались страницы — хорошо. Нет — а что поделать?! Новые страницы вообще забывают вносить в sitemap.
В ходе своего исследования я выяснил, что наиболее удобным способом решения этой проблемы является отдельный файл sitemap.xml, в котором будут только те страницы сайта, которые еще не попали в индекс.
И именно это позволило вогнать в индекс Яндекса более 70% новых URL-адресов.
Изначально думал написать простой и легкий «пост выходного дня» об одной интересной штуке, которую недавно заметил в Google Search Console. Оказывается сейчас в панелях вебмастеров Яндекс и Google имеется автоматическая проверка ошибок в XML картах сайта. Раньше, помнится, для подобных целей использовались специальные сервисы, но теперь все стало гораздо проще.
В статье найдете не только описание ошибок, которые с их помощью можно отслеживать, я также решил дополнительно рассказать о том как добавить файл Sitemap в Яндекс Вебмастер и Google Search Console. Ничего сверх грандиозного не открою, но, возможно, кто-то упустил этот момент + новичкам пригодится. Содержание:
- + полезные линки.
- (в т.ч. поиск ошибок).
1. Создаем XML Sitemap
Если в вашем веб-проекте еще нет карты сайта, обязательно сделайте ее — это крайне полезная фишка при (особенно в новых ресурсах). Хочу заметить, что в данном случае речь идет о специальном формате XML (для поисковиков), а не о HTML (посетителям). Механизм работы зависит от используемого вами движка, вот несколько статей по теме:
- Делаем (обзоры плагинов).
- — парочка сервисов для любых ресурсов.
- (в том числе рассмотрена и XML).
- Хитрых хак создания Sitemap в Blogspot блоге .
Sitemap: http://имя_домена/sitemap.xml
Вообще встречал информацию, что поисковые системы самостоятельно умеют находить XML карту сайта, если она располагается по стандартному адресу, но в принципе, лучше все же загрузить ее в панели инструментов.
2. Добавляем Sitemap в Гугл (Search Console)
Раньше данная панелька называлась Webmasters Tools да и выглядела она совсем по другому. Сейчас это более функциональный инструмент. Алгоритм действий следующий:
- Регистрируетесь в Search Console (если у вас уже есть гугл аккаунт, то и доступ в систему также будет);
- Подключаете туда свой проект и подтверждаете права.
- Для выполнения задачи добавления Sitemap XML переходим в раздел «Сканирование» — «Файлы Sitemaps».
На этой странице собрана вся информация по вашей карте сайта + вы можете добавить новую (2) или же увидеть наличие ошибок в текущих (3).
В Google Search Console поддерживаются вложенные Sitemap`ы — такая штука есть, например, в плагине Yoast SEO. Модуль при этом генерирует адрес: http://ваш_домен/sitemap_index.xml .
Теоретически вы можете добавить файл Sitemap в Googe Search Console только один (основной), а остальные объекты автоматически подхватятся. При этом на странице панельки будет отображаться только sitemap.xml , а при клике на него перейдете в подразделы.
Кстати, если будете грузить по отдельности все XML файлы (основной и подпункты), то общее число ссылок приплюсуется:
Вероятно, пока что в консоли нет инструмента для различения повторений или это просто такой формат отображения общего числа записей, или глюк.
Что касается ошибок в карте сайта
Если имеются какие-то проблемы с добавленным Sitemap XML то в панели увидите соответствующие обозначения (иконка восклицательного знача и запись в графе «Проблемы»). Кроме того, на странице конкретного файла карты сайта также будут предупреждения.
В случае на скриншоте вы можете видеть запись о том, что какое-то правило robots.txt не позволяет индексировать некоторые адреса блога. Такие вещи нужно исправлять, а после отправить файл на повторную проверку — кнопка «Тест».
В другом проекте у меня попалась ситуация похуже — карта сайта отдавала :(Это же вообще нонсенс. Причем нужный модуль был активирован, а я был полностью уверен, что все работает. Обнаружил проблему только после того как добавил Sitemap в вебмастерскую панель. Поэтому данная процедура достаточно важна, и занимает всего пару минут.
3. Загружаем Sitemap в Яндекс
Что касается то здесь после регистрации, добавления сайта и подтверждения на него прав, нужно перейти в раздел «Индексирование» — «Файлы Sitemap».
На странице имеется автоопределение карты из Robots.txt + сможете добавить свои файлы. Панелька также поддерживает вложенность. Если что-то пошло не так, отобразится запись об ошибке. В скриншоте выше проблемы связаны с тегом image:image в , который Яндекс не понимает. В Wordpres есть модули, устраняющие этот косяк, но, в принципе, он ни на что особо не влияет. Я лично оставляю все, как есть.
До того как добавить Sitemap в Яндекс.Вебмастер вы можете просто запустить быструю ее проверку. Этот инструмент доступен в разделе «Инструменты» — «Анализ Sitemap».
Итого
Как я уже говорил выше, советую потратить 5-10 минут дабы добавить файл Sitemap в Яндекс и Гугл. Если у вашего проекта его еще нет, обязательно создайте. Данный процесс как и использование поможет улучшить индексацию ресурса, а также позволит найти ошибки, о которых вы могли не знать. Ситуации бывают разные, например, обновляли CMS и забыли подключить модуль карты сайта, или тот самостоятельно начал глючить — когда Sitemap начинает отдавать 404 ошибку, это совсем не круто.
Пост, конечно, больше для новичков, но надеюсь вам также пригодилось. Если есть что дополнить, пишите ниже.
Карта сайта представляет собой страницу sitemap.html (для посетителей, помогает упростить навигацию и найти любую страницу на большом сайте) или файл sitemap.xml (для поисковых систем), содержащие подробный список всех страниц веб-сайта.
Сайтмап позволяет сократить количество переходов при поиске нужной страницы на любом, даже самом большом сайте. Грамотно настроенная карта сайта способна повысить индексацию страниц веб-сайта.
Какие возможности дает карта сайта?
Поисковики способны просканировать все адреса сайта самостоятельно, но создание карты сайта поможет им узнать, как это лучше сделать.
Сайтмап позволяет:
- найти новые страницы на ресурсе и проиндексировать их;
- расставить приоритетность страниц;
- отследить свежие изменения на индексируемых страницах;
- запомнить частоту обновления индексируемых страниц.
Какие бывают карты сайта?
В общем случае существует два варианта сайтмапа - это веб-страница sitemap.html и файл sitemap.xml. Рассмотрим их поподробнее.
Что такое Sitemap.html?
Это статическая HTML страница, где перечислены ссылки на все основные страницы сайта. Такой формат сайтмапа ориентирован на посетителей сайта и позволяет в 1 клик перейти на любую из страниц.
Sitemap.html имеет структуру дерева с развернутыми разделами.
У сайтов с очень сложной структурой HTML карта сайта может состоять из страниц с дополнительным уровнем вложенности.
Пример - карта сайта TripAdvisor .
Что такое sitemap.xml?
Это файл, лежащий в корневой директории сайта, который читается всеми существующими поисковиками. Его роль - показать поисковым системам все адреса страниц, которые нужно проиндексировать; когда они появились или обновились; с какой регулярностью перепроверять страницы на обновление.
Один файл sitemap.xml может включать в себя до 50 000 ссылок. При большем количестве ссылок таких файлов будет несколько . Дополнительные преимущества - возможность указать частоту обновления страниц и приоритет индексации. Правильная кодировка файла sitemap.xml должна быть UTF-8, а его размер ограничен 10 Мб.
Приведем пример карты сайта в формате.xml:
How to create a sitemap?
There are a number of methods to create a sitemap for your resource:
- Statically by hand. This method is suitable for advanced users who have experience working with basic tags and whose website consists of a small number of pages.
- Through the sitemap generator. If you don’t want to do the painstaking and tedious work of generating a sitemap manually, a sitemap creation program is at your service. There are paid and free options: and many others.
- Plugin for CMS or engine tools. Another good way generate sitemap. There are a lot of advantages in the form of flexible configuration to the desired parameters and maximum possible addresses, as well as serious time savings. In addition, when you make changes to a page or create new pages, the sitemap will be updated automatically, unlike a sitemap created in another way. Each system has its own plugin:
- For CMS WordPress developed SEO plugins with the function of creating a sitemap;
- There is Xmap for Joomla;
- DLE - there is a built-in module.
Useful point!
If you exclude from the sitemap pages that do not provide commercial or informational benefit (for example, some pages that are not landing pages, some auxiliary, transit), then the search robot will spend less of its resources on crawling the site.
And since the resource is limited, it becomes more likely that the robot will bypass the pages we need. By creating a sitemap through a plugin, you can immediately exclude certain types of pages from there. You can add them later if needed. Relevant for large sites.
How often should the sitemap be updated?
There is no uniform standard for the number of updates. It all depends on the frequency of creating new resource pages, changing addresses or content and connections of existing pages.
It is worth remembering that the search robot perceives the data indicated in the site map as recommendations: if you set the frequency of updates, for example, once a year, the robot will come more often, and if once an hour, the robot will not index the page so often.
How to correctly specify a link to sitemap.xml in robots.txt
To begin with, an xml sitemap must be created and uploaded to the server, and then you can add an indication of the presence of the file.
To do this, add the following line to robots.txt:
Sitemap: (url-file-sitemap),
where (sitemap-file-url) is the full URL of your sitemap.
As a result, robots.txt will look like this:
User-Agent: *
Sitemap: http://mysite.com/sitemap.xml.
Common errors in the sitemap
The most common mistakes:
- broken links;
- redirects;
- Incorrect publication or content update dates.
Errors will not have a critical impact on how search engines view your site. However, eliminating them will allow the search robot to direct the freed-up resources to crawl important pages.
How to check the sitemap is correct
To check the correctness of the sitemap, numerous online services have been developed that will do this for you automatically and point out all the errors made: file validity, pointing to a url from another domain, exceeding the file size, and conduct online indexing diagnostics. Such programs are free and work with all major search engines (Google, Yandex, Yahoo).
To check the correctness, you need to open the service page, download the xml file or enter the appropriate URL in the field and click on the check button. If the program detects errors, it will tell you which addresses are giving an incorrect response.
Test sitemap.xml in Yandex * - https://webmaster.yandex.ru/tools/sitemap/
Test using the Pixel Plus service - https://webmaster.yandex.ru/tools/sitemap/
English-language service - https://sitemapkoala.com/
* - for the test in Yandex, it is necessary.
Total
Sitemap - handy tool, designed to simplify the transfer of the structure of the main pages to both the visitor and the search engine.
You can do without it. The search engine will reach most web pages sooner or later, but with a sitemap, crawling or indexing new pages will be more effective.
In this guide we will cover the following questions:
What is a Sitemap?
This is a file that contains a list of links to all important pages of the site. That is, this document directs search engines to the main content on the site.
Why do you need a site map?
A sitemap is needed if the site has problems with indexing caused by:
1) a large number of pages;
2) lack of links (internal or external) to pages;
3) deep nesting on the site (confusing structure).
HTML vs XML sitemap
Sitemaps come in the following types:
- HTML;
The simplest explanation of the difference between these formats is that an XML map is primarily intended for search engines, while HTML is primarily intended for users.
HTML map– This is just a general overview of the site, containing only the information and pages that users need to see. If you are on a website and are looking for a specific section, you can easily find it when you go to Sitemap HTML. While this type of sitemap is user-focused, it can also help your search engine rankings. This is one evidence that you care about the user experience of the site.
When creating an HTML sitemap, it is important to consider:
1. Structured content.
The site map should be clear and convenient for the user to understand. It is desirable that it include sections, categories, subcategories, etc.
2. Link anchors.
Protocol XML cards The site is intended for search robots. The XML file contains information about when the URL was last updated, how important it is, and how often changes occur.
Typically a Sitemap consists of the following XML tags:
Required:
Optional:
Don't set each URL to change the file too often and have the highest priority. If the frequency and priority tags do not reflect reality, it is likely that search engines will be more inclined to ignore the entire XML map.
Other Sitemap Formats
In addition to the above sitemaps, search engines also support the following formats:
For Google:
— RSS, mRSS and Atom 1.0;
RSS/Atom feeds must contain latest updates your site. They are usually small and updated frequently (which is a plus).
— Google Sites.
For sites created on the Google Sites platform, a Sitemap is created automatically and no changes can be made.
For Google and Yandex:
— text format (TXT).
The file must be UTF-8 encoded and contain URLs only.
Google and Yandex requirements for Sitemap files
1. Use UTF-8 encoding.
2. The maximum number of URLs is 50,000.
3. Links in the sitemap must be on the same domain as the file.
4. If the file is too large, split it into several and list them in the Sitemap index file.
5. The server response when accessing a file should be 200 OK.
6. Specify only canonical page addresses (without GET parameters and session identifiers).
1. Maximum size – 10 MB.
2. Supports Cyrillic URLs.
1. Maximum size – 50 MB.
2. Supports only numbers and Latin letters.
Common mistake: to reduce the requirements for bandwidth channel, use the gzip archiver. The sitemap size should be 50 MB (10 MB) before compression, not after.
Advice: Russians domain names can be converted using Punycode encoding.
How to Create an XML Sitemap
1. To create a sitemap, you first need to determine the canonical addresses that will be added to the file.
2. Decide what file format you will use.
3. You can create the file manually or using the Sitemap generator.
Google in its help has prepared a list of online and desktop, paid and free generators site maps. You can view the entire list by following the link.
Generating a Sitemap is easier than it seems. Let's look at how to generate a sitemap using the Majento desktop application as an example:
1. Parse the site.
2. Go to the “Sites” => “Generate Sitemap” section.
3. Save in the format we need.
4. The site map is ready.
Of the online XML sitemap generators, XML Sitemap Generator deserves attention.
The advanced capabilities of this server allow you to set certain XML tags and include/exclude the necessary documents.
Exclude unnecessary pages You can also use regular expressions.
Google supports extended syntax for images. To do this, you can create a separate sitemap for images or add syntax to an existing one. Using extended syntax in a Sitemap provides the search engine with additional information about the images on the site. It can also help Google discover and index images that it can't find when crawling your site.
As in regular map site, there are mandatory and optional XML tags.
Required:
Optional:
Another advanced syntax that Google supports is the XML video map.
Pros of adding XML tags for videos:
1) lets Google know what content is on the site;
2) makes it possible to provide a detailed description of the file;
3) will become searchable on Google Video;
4) the video splash screen will be displayed in the search results (this can increase the number of transitions from the search results).
A sitemap for video files consists of the following required elements:
The video title and description must be escaped or packaged in a CDATA block.
All video sitemap XML tags can be found in Google Help.
Where to place a site map
Common Misconceptions About Sitemaps
Since this file causes difficulties for many and is a “dark forest”, certain myths arise regarding sitemaps. Let's look at some of them:
– “Including the URL in the XML Sitemap ensures that it will be indexed.”
No. It's important to note that XML Sitemaps are guidelines only. XML sitemap does not guarantee indexing search engines pages specified in the file.
- “If I remove a URL from the XML map, it will be removed from the index.”
No. An XML sitemap does not preclude indexing pages that are not included in the XML sitemap.
– “XML Sitemaps are difficult to create and maintain”
No. Small sites can easily create and host their own XML files manually using the examples above as a formatting guide. For larger sites and sites that change more frequently, plugins or modules available for most CMSs can automate the updating of XML files.
Conclusion
Sitemap File – useful tool to transmit information about the structure of the site to search robots. Use this guide to understand how a sitemap works, how it is structured, and how to generate, host, and review the file.
Subscribe to our newsletter Instructions
