1. содержание
2. 1.2 Как выглядит карта сайта?
3. Основными компонентами карты сайта являются:
4. 1.3 Карта сайта
5. 1.4 Что такое индексные и дочерние файлы Sitemap?
6. 2. Карта сайта Преимущества
7. 3. Поиск вашего сайта
8. 3.1 Как мне найти мою карту сайта?
9. 3.2 Есть ли у меня статическая или динамическая карта сайта?
10. 4. Что включить и избежать в вашем Sitemap
11. 4.1 Включить только канонические URL
12. 4.2 Используйте только ваш предпочитаемый формат URL
13. 4.3 Удалите все 301, noindex или 404 URL
14. 4.4 Расследовать осиротевшие страницы
15. 4,5. Удалить наворот
16. 4,6. Ищите пропущенные страницы или разделы
17. 4,7. Включить точную дату последнего изменения
18. 4.8 Не беспокойтесь * слишком сильно * о теге Priority
19. 4.9 Используйте правильную кодировку URL
20. 4.10 Добавьте изображения, где это возможно
21. 5. Тестирование вашего сайта
22. 6. Как отправить файл Sitemap в Google
23. 6.1 Отправка новой XML-карты сайта в Google
24. 6.2 Повторная отправка XML-карты сайта в Google
25. 6.3 Распространенные ошибки Sitemap XML
26. 7. Анализ вашего Sitemap в поисковой консоли
27. 7.1 Проверка проиндексированных и представленных счетчиков
28. 7.2 Проверьте / приведите в порядок ваши текущие файлы Sitemap
29. 8. Резюме

При выполнении технический аудит для нового клиента я обнаружил, что постоянно возникающая проблема с картами сайта возникает снова и снова. Поскольку карта сайта не является обязательным требованием, она может быть отложена на второй план. Но не волнуйтесь, отсутствие карты сайта - это проблема, которую можно легко исправить - вам просто нужно знать, как это сделать. Это руководство также расскажет вам, как улучшить карту сайта, которая у вас уже есть, чтобы поисковые системы имели оптимальную информацию о ваших важных страницах. Предложения карты сайта основаны на рекомендациях и рекомендациях Google. Давай начнем!

содержание

1. Введение в файлы Sitemap

1.1 Что такое карта сайта XML?

Карта сайта - это файл, который предоставляет список URL-адресов на вашем сайте для поисковых систем. Этот список URL поможет Google понять больше о вашем веб-сайте, когда он сканирует его, с точки зрения его организации и структуры сайта. В большинстве случаев карта сайта форматируется как файл XML. Хотя Google поддерживает файлы Sitemap, созданные в виде RSS-канала или файла .txt, наиболее распространенным является файл XML.

1.2 Как выглядит карта сайта?

Стандартная карта сайта в формате XML, как показано в Sitemaps.org выглядит так:

<? xml version = ”1.0 �� encoding =” UTF-8 ″?>
<urlset xmlns = ”http://www.sitemaps.org/schemas/sitemap/0.9 ″>
<Url>
<LOC> http://www.example.com/ </ LOC>
<LastMod> 2005-01-01 </ LastMod>
<ChangeFreq> ежемесячно </ ChangeFreq>
<Приоритет> 0.8 </ приоритет>
</ Url>
</ URLset>

Основными компонентами карты сайта являются:

<urlset> (обязательно)
Инкапсулирует файл и ссылается на текущий стандарт протокола.

<url> (обязательно)
Контейнер или родительский тег каждого URL. Все элементы, связанные с отдельным URL-адресом, будут вложены в него.

<loc> (обязательно)
URL страницы, это должен быть полный URL, содержащий имя домена.

<lastmod> (необязательно)
Дата последнего изменения URL. Должен быть в формате W3C Datetime.

<changefreq> (необязательно)
Как часто страница меняется. Часто игнорируется поисковыми системами.

<приоритет> (необязательно)
Приоритет URL по сравнению с другими в списке. Диапазон от наименее важного до важного (от 0,0 до 1). Было подтверждено, что Google игнорирует это, однако поисковые системы, такие как Bing, используют его.

1.3 Карта сайта

При создании карты сайта существуют некоторые ограничения на размер, количество URL-адресов и формат URL-адресов, которые можно добавить:

• Помните об ограничениях размера. Каждая карта сайта не должна содержать более 50 000 URL-адресов, а размер файла не должен превышать 50 МБ (без сжатия). Несмотря на то, что это ограничение, в идеале не следует превышать верхний предел в 50 000 или 50 МБ. , Вам следует разбить карту сайта на более мелкие карты сайта, чтобы избежать потенциальных проблем с несколькими запросами к карте сайта.
• При необходимости используйте индексный файл карты сайта. В случае нескольких карт сайта это позволяет отправлять в Google только один URL карты сайта (см. Пункт 1.4).
• Использовать только канонические URL-адреса. Предоставляйте Google только те предпочитаемые URL-адреса, которые содержат ваш полный домен. (См. Пункт 4.1)
• Используйте правильный формат - все URL должны быть правильно отформатированы и экранированы, если используются определенные символы. (См. Пункт 4.9)

1.4 Что такое индексные и дочерние файлы Sitemap?

Стандартный XML-файл Sitemap представляет собой список URL-адресов для вашего веб-сайта. Однако, если на вашем веб-сайте много URL-адресов или есть конкретные URL-адреса для разных разделов, вам может потребоваться создать файлы Sitemap Index и Child Sitemap.

Индексный файл Sitemap - это страница со списком, содержащая ссылки на отдельные файлы Sitemap. Наличие индексного файла позволяет вам отправлять в Google только один индексный файл, а не несколько отдельных файлов Sitemap.

Пример файла индекса карты сайта

Дочерний файл Sitemap - это файл карты сайта, на который ссылается индексный файл. Он находится в том же формате, что и обычный сайт. Индексный файл может содержать до 50 000 дочерних ссылок на файлы Sitemap, а файлы Sitemap могут содержать по 50 000 URL-адресов.

Создание дочерних файлов Sitemap может быть полезно, если вы хотите сгруппировать определенные URL-адреса в разные разделы, для блогов или продуктов. Рассматривая эти отдельные дочерние карты сайта в консоли поиска, вы увидите, сколько из этих URL-адресов отправлено, а затем проиндексировано. Если для определенных карт сайта есть большая разница, могут возникнуть проблемы, требующие расследования.

Не поддавайтесь искушению вкладывать файлы Sitemap или файлы индекса Sitemap. Добавление карты сайта в файл индекса карты сайта - это хорошо, но вы не должны вкладывать файлы индекса карты сайта в другие файлы индекса карты сайта, так как это не поддерживается и URL-адреса могут не читаться.

//platform.twitter.com/widgets.js

2. Карта сайта Преимущества

Наличие карты сайта не повлияет на рейтинг страницы и не является обязательным требованием Google. Кроме того, включение URL-адреса в карту сайта не обязательно означает, что он будет проиндексирован. Вместо этого Google настоятельно рекомендует вам считать эти URL-адреса достаточно важными для их индексации.

Итак, какой смысл?

Важно помнить, что карта сайта может помочь Google лучше понять ваш сайт. В качестве примера можно привести возможность уведомлять Google о любых новых или недавно измененных страницах и помогать им находить ключевые URL-адреса на веб-сайтах с крупной или сложной структурой. Эти вещи могут помочь улучшить видимость в индексе Google.

Включение тегов в вашу карту сайта, таких как уведомление сканеров о последнем обновлении страницы, которое может сигнализировать сканеру, что может потребоваться установить более высокий приоритет в списке сканирования. Файлы Sitemap также являются ключевыми для новых веб-сайтов или миграции сайта когда вы хотите предоставить Google новый список URL для сканирования и индексации.

Несмотря на то, что файлы Sitemap не являются обязательными, их особенно рекомендуется включать, если:

• Ваш сайт большой со сложной структурой URL и множеством внутренних ссылок
• У вас есть новый сайт, на котором мало или нет обратных ссылок
• Ваш сайт недавно мигрировал
• Ваш веб-сайт постоянно меняется с добавлением, удалением и изменением страниц, таких как веб-сайт электронной коммерции

3. Поиск вашего сайта

В этом разделе мы рассмотрим, как найти вашу карту сайта и различия между динамическим и статическим файлом карты сайта.

3.1 Как мне найти мою карту сайта?

Как правило, файл карты сайта находится в корневом каталоге вашего сайта по адресу /sitemap.xml . Например, https://www.ricemedia.co.uk/sitemap.xml

Однако URL-адрес может быть любым, если вы хотите, чтобы он был в правильном формате XML. Карта сайта должна находиться в корне расположения URL-адресов вашей карты сайта. Таким образом, если ваша карта сайта находится по адресу website.com/sitemap.xml, она может включать все URL-адреса в website.com. Если карта сайта была расположена в папке, такой как /website.com/folder/sitemap.xml, URL-адреса в карте сайта могут ссылаться только на URL-адреса, расположенные в этой папке, например website.com/folder/page-1.html, но не website.com /page-2.html.

Если вы все еще не уверены, где находится ваша карта сайта, вы также можете проверить файл robots.txt. Файл robots.txt всегда находится в одном и том же месте в корне вашего сайта, например, https://www.ricemedia.co.uk/robots.txt . В файле robots.txt иногда есть ссылка на файл карты сайта, который может помочь.

Если вы по-прежнему не можете найти его, возможно, оно имеет произвольное имя или не существует в настоящее время. В этом случае лучше проконсультироваться с разработчиками вашего сайта или CMS.

3.2 Есть ли у меня статическая или динамическая карта сайта?

Если у вас есть карта сайта, то следует рассмотреть, является ли ваш файл карты сайта динамическим или статическим. Статический файл карты сайта - это файл, созданный с помощью такого инструмента, как XML Sitemaps или Screaming Frog, и он по сути является снимком вашего веб-сайта на момент создания карты сайта. Это простой способ создать карту сайта и отправить ее в Google. Недостатком является то, что если вы регулярно добавляете, удаляете или меняете страницы на своем веб-сайте, это скоро устареет. Измененные URL-адреса будут либо 404, либо 301, и вы скоро увидите, что ошибки начинают появляться в консоли поиска.

Со статической картой сайта вы обычно можете сказать, что она будет включать инструмент, используемый внутри самого файла, как показано ниже с картой сайта Screaming Frog.

Динамическая карта сайта генерируется сайтом и обновляется - добавляя, изменяя и удаляя URL-адреса по мере необходимости. Это определенно предпочтительный вариант для карты сайта, поскольку у Google всегда будет актуальный список. При этом он также может создать много проблем, если при его генерации используются неправильные настройки.

Такие проблемы, как использование неправильного домена, HTTP вместо HTTPS, канонизированные URL-адреса и случайное включение страниц, о которых вы даже не подозревали, могут вызвать у вас множество проблем. Мы рассмотрим то, что вам нужно посмотреть на следующем шаге.

4. Что включить и избежать в вашем Sitemap

После того, как вы нашли свою карту сайта, вы должны проанализировать ее на предмет возможных проблем. В этом разделе мы рассмотрим, что включать, избегать и следить за своими картами сайта.

4.1 Включить только канонические URL

Канонический тег - это способ указать Google предпочтительный URL-адрес, который будет использоваться для индексации, чтобы предотвратить проблемы с дублированным содержимым. Если у вас есть похожие экземпляры одной и той же страницы, вы можете указать каноническую версию для Google с помощью HTML-элемента rel = canonical на странице. Например, продукт обычно относится к разным категориям и поэтому имеет разные URL:

/ красные платья / а-красно-платье /
/ макси-платье / а-красно-платье /
/ продажа платья / а-красно-платье /
/ product / a-red-dress / - Canonical

Чтобы предотвратить дублирование контента, вам понадобится канонический тег на всех вышеперечисленных URL-адресах, указывающий на одну каноническую версию - в этом случае / product / a-red-dress / URL. Когда URL-адрес описывается как «канонизированный», это означает, что его канонический тег сам по себе не соответствует, то есть это дублирующая страница, а не предпочтительная версия для индексации.

Файлы Sitemap чрезвычайно полезны для поисковых систем, поскольку они помогают им более разумно сканировать ваш сайт. Но если карты сайта содержат дополнительные URL-адреса, которые не используются на веб-сайте или канонизированы, это может иметь отрицательный эффект, предоставляя поисковым системам больше URL для сканирования.

Убедитесь, что канонизированные URL-адреса не включены в вашу карту сайта - включайте только предпочтительные или канонические URL-адреса. Если на вашем веб-сайте есть несколько URL-адресов, доступных для одной и той же страницы, но нет канонических тегов, добавление канонических тегов должно быть в верхней части списка приоритетов!

Как проверить: просканируйте свою карту сайта с помощью Screaming Frog или Deepcrawl и убедитесь, что нет канонизированных URL-адресов.

4.2 Используйте только ваш предпочитаемый формат URL

Это важный. Убедитесь, что URL-адреса вашей карты сайта являются абсолютными ссылками (это означает, что она содержит имя домена в URL-адресе) и используйте предпочитаемый формат URL-адреса. Если ваш сайт использует HTTPS, то и URL-адреса вашей карты сайта должны быть такими же. В зависимости от того, решили ли вы использовать www или нет, конечные или непоследние косые черты в конце URL-адреса, URL-адреса вашей карты сайта должны соответствовать вашему выбору. Часто, когда веб-сайт переходит на HTTPS, мы обнаруживаем, что URL-адреса карты сайта не были обновлены до безопасного протокола. Это часто довольно легко исправить, но для сайтов WordPress это может быть вызвано конфликтами плагинов, поэтому после миграции важно проверить, использует ли ваш сайт динамическую карту сайта.

Как проверить: просканируйте свою карту сайта с помощью Screaming Frog и убедитесь, что все URL-адреса в списке включают ваш предпочитаемый формат URL-адреса.

4.3 Удалите все 301, noindex или 404 URL

Причина этого заключается в том, чтобы помочь Google легко сканировать все URL-адреса в вашей карте сайта. Если сканер находит URL в карте сайта, просматривает его и видит тег noindex, то это пустая трата времени - вы уже сказали Google, что не хотите, чтобы эта страница была проиндексирована.

Важно оптимизировать ваш бюджет обхода как можно больше. Включая перенаправляющие URL-адреса вместо окончательного URL-адреса или URL-адрес 404, все они способствуют сканированию ненужных URL-адресов. Если у вас очень низкий бюджет сканирования, включая множество URL-адресов этих типов, это может означать, что не все URL-адреса вашей карты сайта будут сканироваться.

Как проверить: просканируйте свою карту сайта с помощью Screaming Frog и проверьте, не возвращены ли какие-либо коды ответов 301 или 404. Также убедитесь, что ни к одному из URL-адресов не применен тег noindex. Deepcrawl также будет выделять неработающие и noindex URL-адреса в разделе отчетов Sitemap.

Причина, по которой вам может потребоваться 301 URL-адрес в вашей карте сайта, - во время миграции сайта. Вы можете отправить старую карту сайта, включая старые URL, вместе с новой картой сайта, чтобы помочь Google найти и отсканировать новые URL. Во время миграции сайта вы бы настроили переадресацию со всех этих старых URL-адресов на новые версии, поэтому Google будет полезно увидеть внесенные изменения. Добавив обе версии файла Sitemap, вы увидите, как увеличивается число индексов для новых URL-адресов и уменьшается количество индексов для старых URL-адресов.

Это должно быть сделано только как временная мера - убедитесь, что вы удалили эти карты сайта через шесть месяцев. Это было подтверждено через чат Google с Джоном Мюллером и объяснено здесь Поисковая система Круглый стол.

4.4 Расследовать осиротевшие страницы

Потерянный URL-адрес карты сайта - это URL-адрес, который добавляется в файл карты сайта, но не связан внутри сайта.

Включение потерянных URL-адресов дает поисковым системам больше URL-адресов для сканирования, но если дополнительные URL-адреса являются неправильными - то есть не должны просматриваться пользователями - наличие их в файле карты сайта означает, что они все еще могут быть проиндексированы и конкурировать с другими правильными URL-адресами.

Еще одна проблема, о которой следует помнить, заключается в том, что потерянные URL-адреса в карте сайта можно просматривать как страницы дверного проема. Страница дверного проема - это страница, которая доступна для поисковых систем (отправляется с помощью файла карты сайта), но ее трудно найти пользователям (внутренняя ссылка не указана).

Как описано Google, вот два вопроса, которые описывают страницы дверного проема :

• Дублируют ли страницы полезные совокупности элементов (местоположений, продуктов и т. Д.), Которые уже существуют на сайте, с целью захвата большего количества поисковых запросов?
• Существуют ли эти страницы как «остров»? На них трудно или невозможно переходить из других частей вашего сайта? Ссылки на такие страницы с других страниц сайта или сети сайтов созданы только для поисковых систем?

Для более крупных веб-сайтов может быть соблазнительно включить комбинации URL-адресов, которые являются допустимыми страницами, но трудно внутренне связать, однако они все равно будут восприниматься как дверные проемы, что подтверждается ниже Джоном Мюллером в Twitter.

Подумайте об обновлении структуры ссылок, чтобы естественным образом включать эти URL-адреса (т. Е. Не просто включать их все на одной странице, которую трудно найти), или удалите эти URL-адреса из вашей карты сайта.

Как правило, в системах CMS, таких как WordPress, вы можете включить функциональность карты сайта с помощью плагинов, таких как Yoast. Это замечательно, но вы обязательно должны убедиться, что вы проверяете то, что просматривается в вашей карте сайта, и обновлять настройки в соответствии с потребностями вашего сайта.

Пример пользовательских параметров карты сайта с использованием плагина Yoast

По умолчанию сгенерированные настройки карты сайта обычно включают все доступные страницы и ресурсы вашего веб-сайта. Это будет включать в себя все страницы, для которых вручную не установлен noindex - это хорошо, верно? Не обязательно. Скажем, вы сделали целевую страницу только для платный поиск и вы не хотите, чтобы поисковые системы индексировали эту страницу - она ​​не была связана с веб-сайтом, чтобы пользователи не могли ее найти, но вы не установили для страницы значение noindex. К сожалению, весьма вероятно, что эта страница в настоящее время будет находиться в вашем файле Sitemap. Когда вы отправляете карту сайта, вы предоставляете Google этот URL-адрес для сканирования, поэтому вы не только даете Google дополнительный URL-адрес для сканирования, но также позволяете индексировать эту страницу.

Это был пример одной страницы, но вы были бы удивлены тем, что URL-адреса, которые вы, возможно, не осознали, находились в вашей карте сайта, представленной поисковым системам. Не только поисковые системы, так как большинство файлов карты сайта легко доступны, ваши конкуренты также могут сканировать файлы карты сайта, чтобы увидеть, какие страницы там находятся.

Если вы используете плагин Yoast, вы можете вручную указывать посты, которые не будут включаться, по их идентификатору поста или устанавливая страницу вручную на noindex.

Если вы предпочитаете, чтобы пользователи не могли найти ваш файл Sitemap, подумайте над тем, чтобы дать ему собственный URL. Хотя поисковые системы обычно сканируют общее URL-имя, например sitemap.xml, вы можете называть его как угодно, отправляя в Google, если это действительный файл XML. Если вы решите сделать это, убедитесь, что вы не добавили ссылку на карту сайта в свой файл robots.txt, это большая распродажа! Не забудьте вручную передать карту сайта всем поисковым системам, если вы используете этот метод.

Как проверить: Сканируйте ваш сайт и карту сайта по отдельности, используя Screaming Frog, и сравните возвращенные страницы. Или используйте Deepcrawl и проверьте отчет о потерянных страницах.

4,5. Удалить наворот

Итак, вы убедились, что ошибок нет, и в карте сайта есть только допустимые страницы. Следующим шагом является удаление любых ссылок, которые не важны для поисковых систем в карте сайта. Не каждый URL должен быть включен в вашу карту сайта, только важные.

Помните, что страницы или разделы, не включенные в карту сайта, но связанные внутри, будут сканироваться. Любые разделы, которые в значительной степени являются дублирующимся контентом (т. Е. Нет уникального текста или оптимизации), такие как теги блога, URL-адреса авторов блогов и URL-адреса фильтров продуктов, как правило, должны быть удалены из карты сайта.

С динамическими картами сайта, особенно в WordPress, вы также можете увидеть, что дочерние карты сайта были созданы для страниц, которые вы не ожидаете увидеть, таких как разделы слайдеров и обзоры. Вы должны обязательно удалить их. Плагины, такие как Yoast, предоставляют вам множество опций с точки зрения того, какие файлы вы хотите сохранить и удалить из вашей карты сайта.

Как проверить: просканируйте свою карту сайта с помощью Screaming Frog или вручную проверьте файлы карты сайта, есть ли файлы макета или страницы, которые не нужно включать.

4,6. Ищите пропущенные страницы или разделы

Итак, вы удалили неважные URL-адреса, действительно ли там есть важные вещи? Отсутствуют ли типы страниц? Простая настройка в прошлом могла случайно удалить ключевые страницы или разделы из карты сайта, поэтому дважды проверьте типы страниц, такие как категории и ключевые целевые страницы, по-прежнему в пределах карты сайта.

Как проверить: просканируйте свой сайт и карту сайта, используя Screaming Frog, и посмотрите, отсутствуют ли какие-либо важные страницы в карте сайта (некоторые не обязательно должны быть там!) Deepcrawl также предоставляет отчет «Страницы отсутствуют в файле Sitemap».

4,7. Включить точную дату последнего изменения

Тэг - это поле, которое вы можете добавить к каждому URL-адресу файла Sitemap, оно указывает метку времени последнего обновления URL-адреса.

Пример URL карты сайта, содержащей дату последнего изменения

Джон Мюллер ранее подтвердил, что, хотя большинство тегов карты сайта фактически не учитываются, например, приоритет и частота, дата последнего изменения - это слабый сигнал, который можно использовать для ускорения повторного сканирования URL-адресов. Это связано с тем, что тег lastmod сообщает Google, что на этой странице, скорее всего, появилось новое содержимое, и, следовательно, возможно, придется быстрее сканировать его по другим URL-адресам с более поздней датой последнего изменения. Это даст большие преимущества веб-сайтам с большим количеством URL-адресов в их файлах сайтов, поскольку это поможет Google лучше понять, какие URL-адреса могут быть приоритетными.

Джон Мюллер задал вопрос о более быстром повторном просмотре страниц

Однако эта измененная дата должна быть точной. Если в картах сайта используются идентичные или неточные даты последнего изменения, они будут проигнорированы, что подтверждается во время недавнего видеовстречи для веб-мастеров.

4.8 Не беспокойтесь * слишком сильно * о теге Priority

Вы часто будете видеть приоритетные теги в файле карты сайта. Первоначальная цель тега состояла в том, чтобы позволить владельцам веб-сайтов назначать приоритет URL-адресам относительно других в карте сайта. Предполагалось, что он позволит вам указать Google, какие URL-адреса наиболее важны для сканирования в первую очередь. Однако было подтверждено, что Google игнорирует это, просто желая увидеть URL и точную дату последнего изменения. Bing, тем не менее, по-прежнему указывает тег приоритета в своей документации по карте сайта, поэтому, если Bing является для вас приоритетом, его стоит сохранить. Однако убедитесь, что они имеют правильные уровни приоритета и не являются одинаковыми.

4.9 Используйте правильную кодировку URL

Файлы Sitemap должны быть в кодировке UTF-8, определенные символы, такие как & amp; следует использовать escape-коды объекта в URL карты сайта. Любые символы не ASCII также должны быть экранированы. Если это не добавлено, при попытке отправки в Search Console вы увидите ошибки синтаксического анализа.

Например, использование & в URL-адресе должно быть заменено на & amp; в URL карты сайта для правильного чтения.

Оригинальный URL
http://www.example.com/test-category&subcategory=books

URL карты сайта с добавленными Escape-кодами
http://www.example.com/test-category&amp;subcategory=books

Как проверить: Проверьте наличие ошибок в консоли поиска после отправки или просканируйте файл карты сайта с помощью Screaming Frog. Посмотрите на отчет URI > Не-ASCII символы .

4.10 Добавьте изображения, где это возможно

Также возможно добавить изображения, связанные со страницами, в ваш файл карты сайта. Джон Мюллер рекомендовал убедиться, что в них добавлен альтернативный текст и подписи, чтобы предоставить Google дополнительную информацию.

5. Тестирование вашего сайта

Теперь вы знаете, на что обращать внимание, как вы проверяете свои карты сайта?

Один из наших любимых способов тестирования XML-файлов сайтов - это использование Кричащая лягушка и это потрясающий инструмент сканирования карты сайта. Оказавшись в инструменте, перейдите в режим и измените настройку на список . Затем вы можете нажать кнопку «Загрузить» и выбрать « Загрузить файл Sitemap» или « Загрузить индекс Sitemap» .

Если вы просто хотите сканировать одну карту сайта, нажмите «Загрузить файл Sitemap» . Если у вас есть индексный файл, содержащий множество дочерних файлов Sitemap и вы хотите отсканировать их все, выберите «Скачать индекс Sitemap»

Для обоих вариантов вам просто нужно добавить URL-адрес файла Sitemap или файла индекса Sitemap в поле URL и нажать кнопку «Перейти». Затем он вернет список всех найденных URL.

Если вы довольны этими URL-адресами, вы можете нажать OK, и эти URL будут сканироваться Screaming Frog. После того, как URL-адреса были просканированы, вы сможете увидеть через инструмент, есть ли какие-либо проблемы с URL-адресами, такими как URL-адреса, которые перенаправляют, 404 или канонизированы.

Чтобы проверить потерянные страницы, необходимо сравнить список URL-адресов, сгенерированных веб-сканированием, с сканированием карты сайта. При сканировании через Интернет будут возвращены все страницы, ссылки на которые есть на сайте, и, следовательно, доступ к поисковым системам.

Для этого выполните обычное сканирование веб-сайта с помощью Screaming Frog, убедившись, что для параметра Mode установлено значение Spider . Добавить этот список в электронную таблицу. Затем добавьте URL-адреса, созданные при сканировании карты сайта, в другой столбец. Сравнивая эти два столбца, вы сможете увидеть, есть ли какие-либо URL-адреса, расположенные только внутри карты сайта.

Веб-сканер Deepcrawl также есть фантастический раздел анализа Sitemap. Вы можете добавить URL-адреса своей карты сайта во время установки, а во время сканирования веб-сайта он будет выполнять сканирование как веб-сайта, так и URL-адреса карты сайта. Полученный отчет будет уведомлять вас о проблемах внутри карты сайта, таких как ошибки (проблемы с размером, отсутствующие страницы, канонические, 301, 404 и т. Д.), И даже есть раздел URL-адресов с потерянными картами сайта, готовый для просмотра.

Если у вас большой веб-сайт с несколькими доступными картами сайта, может быть предпочтительнее одновременно проверять только небольшой образец или отдельные карты сайта. Сканирование URL-адресов вашей карты сайта аналогично сканированию вашего веб-сайта, поэтому убедитесь, что это не влияет на производительность вашего веб-сайта. Если это так, рассмотрите возможность использования настроек скорости для замедления сканирования.

6. Как отправить файл Sitemap в Google

Если вы довольны своей картой сайта и исправили все проблемы, вы можете перейти на консоль поиска, чтобы отправить или повторно отправить свою карту сайта.

6.1 Отправка новой XML-карты сайта в Google

Перейдите в меню « Сканирование»> «Sitemap» в меню слева и нажмите « Добавить / проверить Sitemap» в верхнем правом углу.

6.2 Повторная отправка XML-карты сайта в Google

Если вы отредактировали существующий файл сайта, вы можете отправить его повторно, установив флажок рядом с ним и нажав Повторно отправить.

После того, как вы отправите заявку, вы сразу сможете увидеть, есть ли какие-то ошибки, например, неверный URL. Джон Мюллер подтвердил, что представленные карты сайта проверены сразу.

Google сообщит об ошибках и предупреждениях о проблемах с картой сайта. Когда это возможно, он также предоставит пример затронутого URL.

6.3 Распространенные ошибки Sitemap XML

Ниже приведен список наиболее распространенных ошибок, с которыми вы столкнетесь в консоли поиска.

Ошибка / предупреждениеПроблемаРешениеURL-адреса недоступны

Это будет показано, когда Google обнаружил ошибку при попытке доступа к URL-адресу в вашей карте сайта. Используйте fetch & render, чтобы проверить URL, чтобы убедиться, что он существует. Если это не так, скорее всего из-за неправильных 404 URL-адресов, включенных в карту сайта. URL не разрешен В URL-адресах карты сайта может быть указан неправильный домен, например http вместо https или www вместо non-www. Карта сайта также может быть на другом уровне, чем URL-адреса. Убедитесь, что домен, используемый в файлах URL-адресов вашей карты сайта, соответствует учетной записи консоли поиска, на которую он отправляется. Также убедитесь, что файл Sitemap находится на том же уровне, что и URL-адреса. Некоторые URL-адреса в файле Sitemap имеют высокое время отклика. URL-адреса вашего файла Sitemap загружаются медленно. Протестируйте URL-адреса с помощью инструмента тестирования скорости страницы, такого как Google PageSpeed ​​Insights или GTMetrix Sitemap. Ошибка размера файла. Файл вашего файла превышает максимальный предел в 50 МБ в несжатом виде. Разбейте карту сайта на дочерние карты сайта и отправьте файл индекса карты сайта. Неверная дата . URL-адрес карты сайта содержит недопустимую дату или ошибку формата. Убедитесь, что даты <lastmod> используют кодировку W3C Datetime и имеют правильный формат:

2017-05-20

2017-05-20T18: 00: 15 + 00: 00

Неверный URL-

адрес Неверный URL- адрес в вашей карте сайта. Убедитесь, что ваш URL-адрес не содержит неподдерживаемых символов, пробелов или символов кавычек. Попробуйте получить доступ к нему с помощью браузера. Ошибка синтаксического анализа Google не удалось проанализировать определенные URL-адреса в карте сайта. Это может быть связано с тем, что некоторые символы не экранированы должным образом. URL-адреса, содержащие символы, такие как &, должны использовать escape-коды объекта в URL-адресе файла Sitemap. Экранирующий код объекта для символа & - & amp; Слишком много файлов Sitemap в файле индекса Sitemap Ваш файл индекса содержит более 50000 файлов Sitemap. Разделите файл индекса Sitemap на несколько файлов индекса Sitemap. Слишком много URL-адресов в карте сайта Ваша карта сайта содержит более 50000 URL-адресов. Разделите свою карту сайта на несколько сайтов, рассмотрите возможность использования индексного файла карты сайта для управления своими картами сайта.

7. Анализ вашего Sitemap в поисковой консоли

Область карты сайта в консоли поиска - это важное место для отслеживания того, как URL индексируются в Google, и в нем будут освещаться любые ошибки или проблемы, такие как 404-е или высокое время отклика в ваших картах сайта. Поскольку файлы Sitemap дают Google важный список URL для сканирования, важно убедиться, что список файлов Sitemap является максимально чистым и эффективным.

7.1 Проверка проиндексированных и представленных счетчиков

Представленное и проиндексированное число является одним из наиболее важных показателей в разделе Sitemaps в консоли поиска. Как следует из названий, это говорит о том, сколько из отправленных URL-адресов в файлах вашего сайта проиндексировано.

Отправленный URL-адрес - это URL-адрес, предоставленный в Sitemap для сканирования Google.
Индексированный URL-адрес - это URL-адрес файла Sitemap, который был проиндексирован Google.

В идеале вы хотите, чтобы количество отправленных и проиндексированных URL-адресов было практически одинаковым, поскольку это говорит о том, что Google нашел все предоставленные вами URL-адреса полезными и достаточно уникальными для индексации. Если количество отправленных и проиндексированных страниц сильно отличается друг от друга, а недавние изменения URL-адресов не произошли, это может указывать на проблемы с картами сайта.

Два примера схожего и другого сайта проиндексированы / представлены счетчик

Если у вас есть большая разница в представленных и проиндексированных, вы должны просмотреть предыдущий список потенциальных проблем с картой сайта, а затем повторно отправить карту сайта, если были внесены какие-либо изменения.

Также обратите внимание на снижение индексации с течением времени и выясните причину. Веб-сайт ниже переместил их изображения в CDN без пользовательского URL. Вот почему индексированные URL-адреса удаляются из-за того, что они больше не относятся к основному домену веб-сайта.

Если у вас есть доступные дочерние карты сайта, вы можете более четко увидеть количество отправленных и проиндексированных отдельных записей. Это позволит вам увидеть, есть ли проблемы с индексацией, например, для определенных разделов или категорий.

Если вы видите, что больше страниц проиндексировано, чем отправлено , то это, вероятно, связано с тем, что один и тот же URL-адрес находится в нескольких картах сайта. Убедитесь, что URL указан только один раз.

Регулярно проверяйте свои файлы Sitemap в консоли поиска на наличие ошибок, которые могут отображаться, особенно если карта сайта является динамической. Если вы недавно мигрировали, вы должны продолжать проверять свой индексный список файлов Sitemap, чтобы убедиться, что новые URL индексируются.

7.2 Проверьте / приведите в порядок ваши текущие файлы Sitemap

Если у вас уже есть большой раздел карты сайта в консоли поиска, стоит потратить немного времени на приведение в порядок. Убедитесь, что нет отправленных отдельных файлов Sitemap, которые уже отправлены в раздел индекса. Отправка дочернего файла Sitemap сама по себе, а затем отправка индексного файла Sitemap, который включает этот дочерний файл Sitemap, увеличит количество отправленных URL-адресов, давая ложное количество отправленных URL-адресов.

Могут существовать старые файлы Sitemap, которые больше не используются, если они не являются частью недавней миграции в течение последних шести месяцев, мы рекомендуем удалить их.

8. Резюме

Файлы Sitemap - это фантастический инструмент, который помогает Google находить и понимать важные URL-адреса на вашем веб-сайте. Однако важно убедиться, что URL-адреса в карте сайта правильно отформатированы и содержат правильные URL-адреса в допустимых пределах размера.

• Убедитесь, что у вас есть файл карты сайта для вашего сайта - по возможности используйте дочерние карты сайта
• Проверьте свою карту сайта на наличие ошибок - таких как неправильно отформатированные, канонизированные, неработающие или перенаправляющие URL-адреса.
• Улучшите свою карту сайта - включите точную дату последнего изменения и изображения
• Изучите URL-адреса вашей карты сайта - найдите потерянные URL-адреса карты или отсутствующие страницы / разделы
• Отправьте свою карту сайта в поисковые системы - проанализируйте, какие страницы индексируются
• Регулярно проверяйте свою карту сайта - убедитесь, что не появляются новые ошибки или неожиданные страницы

Если вы хотите получить совет относительно карты сайта вашего сайта или каких-либо аспектов Технический SEO пожалуйста, не стесняйтесь связаться с нами !