1. Два разных и взаимодополняющих подхода
2. Какой смысл анализировать логи?
3. Кто больше всего выиграет от анализа журнала?
4. Это также хороший способ донести POC до клиентов.
5. Оптимизация обхода тесно связана с оптимизацией распределения «сока»
6. Зачем бесить делать мано, когда инструменты существуют?
7. "Бюджет сканирования": Ваш сайт не является Википедией. Google не будет относиться к этому так же.
8. Это понятие обхода бюджета чрезвычайно важно для SEO!
9. Яд SEO: страницы бесполезны для индексации
10. Задержка и время загрузки
11. Остерегайтесь нумерации страниц, граненой навигации и настроек URL!
12. Распространенная путаница в SEO: disallow, nofollow и noindex
13. Применяйте правильные стратегии
14. Оптимальный период времени для анализа / извлечения
15. Критический порог: с какой частоты мы должны считать страницу «pagina non grata»?
16. Технические ограничения
17. Чтобы закончить ... но было бы еще много чего сказать!

Мы часто ставим анализ логов на передовые позиции SEO, считая бородатым трюком, когда вам приходится прикладывать усилия к смазке, устанавливать сторонние программы и т. Д. Ладно, во всем процессе есть небольшая отвратительная сторона, но я все больше и больше убежден, что он остается доступным для многих ... если, конечно, у вас есть доступ к журналам веб-сервера, и минимум зависти!

Этот пост не является пошаговым руководством по обработке журналов доступа Apache. Те, кто знаком с компьютером, смогут переводить разные понятия. Цель состоит в том, чтобы поделиться своим подходом и своими мыслями по этому вопросу.
Если существует множество способов и инструментов для анализа логов, я склонен думать, что не существует 36 способов сделать это в логике «SEO-аналитики».

Два разных и взаимодополняющих подхода

Как правило, есть два основных подхода к журналам:

1. Ежедневный и оперативный мониторинг установки скрипта на сервере и создания «Googlebot Analytics» (например, Watussi или знаменитого «стека ELK» (Elasticsearch, Logstash & Kibana)). Есть также инструменты, депортированные в Саас как Botify , Spiderlog или снова Splunk , Увы, многие издатели и SEO упрямо рассматривают этот подход.
2. Типичный анализ «аудита» , обычно относящийся к SEO-консультантам, который требует восстановления (быстрого) 2 или 3 месяцев уже выполненных записей (журналов), без необходимости установки скрипта на сервере и ожидания нескольких недель иметь надежные данные. Именно этим подходом я поделюсь с вами .

Будьте осторожны, я не говорю, что 1-й вариант хуже. Это другой подход, более ориентированный на мониторинг, чем на анализ, и который может дополнять друг друга. Именно тот факт, что второй подход стал еще более хитрым, сводит меня с ума. Тем более что ELK-тюнер может потребовать гораздо больше времени и навыков, чем командная строка cat / grep, и немного почистить в Excel. И хорошая приборная панель хороша, она льстит сетчатке, но этого достаточно редко.

Какой смысл анализировать логи?

Не так много, если мы только учтем это, и если мы не перейдем к перекрестной проверке данных! Я предпочитаю говорить «Использовать данные журнала» или «заставить журналы говорить». Это необработанные данные, индикатор, который будет использоваться для более глобального анализа и который может стать очень интересным. На самом деле, это похоже на все в SEO: если вы будете анализировать только с помощью аналитики Google или поисковой консоли, у вас всегда будет предвзятый взгляд. Если цель состоит в том, чтобы обнаружить слабо просканированные страницы, и вы не объединяете данные с «классическим» сканированием с Кричащая лягушка например, вы никогда не найдете URL, которые никогда не посещал робот Googlebot, и там может быть пакет!

Небольшое напоминание о том, что такое файл журнала, и утилита извлечения данных: каждый веб-сервер должен по закону иметь файл журнала (log), в котором записываются все обращения, называемые «обращениями» для каждого ресурса ( страница, файл изображения, JavaScript и т. д.), а также для всех сайтов, которые он размещает. Таким образом, мы находим хиты, сгенерированные пользователями, но также и теми роботами, включая знаменитого робота Google, робота индексации Google. Это, очевидно, последний, кто привлечет наше внимание. Кстати, есть несколько роботов Google : один для изображений, другой для мобильных, обычных и медиа-партнеров, если у вас есть реклама AdSense. Нас здесь интересует обычный робот, обычно обозначаемый как «Googlebot 2.1».
На самом деле абсолютно все обращения регистрируются в журналах, в отличие от такой службы, как Google Analytics. Вот почему мы часто говорим: «Логи не лгут» .

Цель SEO состоит в том, чтобы измерить аппетит Googlebot и его влияние на SEO . Очень точно зная URL-адреса, которых избегает Google, и те, которые он любит больше всего, они даже посещают десятки раз в день. Так, как они делают "старомодных SEO", чтобы судить, оценивает ли Google страницу или нет? Посредством косвенных и ненадежных данных: рейтинг, количество обычных посещений, общая эффективность SEO. Сколько раз вы усердно работали над оптимизацией страницы, обогащением ее контента без возврата инвестиций? Если бы вы посмотрели в своих журналах, вы, вероятно, видели бы, что робот Google часто посещает эту страницу очень редко, реже одного раза в месяц. Короче говоря, ему это не нравится, и стратегии для повышения этой страницы, безусловно, в другом месте.

Приложив небольшой метод, вы увидите, что данные из журналов - отличная помощь для тех, кто принимает решения . Сегментируя сайт по темам или типологиям URL-адресов, гораздо проще определить, что не работает, и принять соответствующие стратегии: кто никогда не колебался перед группой страниц с излишней статистикой между удалением, перенаправлением , оптимизация или деиндексация?

Кто больше всего выиграет от анализа журнала?

Я хотел бы сказать на любом сайте, но это особенно реальный рычаг на сайтах с большим объемом URL . Вы все еще можете получить 30-страничный блог, но у вас не будет много возможностей повлиять на поведение робота Google ... и ваш рейтинг.

Это также хороший способ донести POC до клиентов.

Мы никогда не говорим об этом ;-) Для провайдера SEO всегда важно поддерживать его рекомендации с помощью POC ( Proof Of Concept ). Обращение к издателю с просьбой полностью удалить тему, безусловно, будет осуждено, если вы не предоставите доказательства преимуществ вашей стратегии. Показав ему чистую таблицу с большим объемом неактивных страниц (например, страниц, которые не посещались на 30j) и скоростью сканирования в 3 раза ниже, чем у остальной части сайта, что доказывает, что Google не нравится эта часть сайта. На сайте, таблетки, безусловно, пройдет лучше, потому что она опирается на надежные данные и трудно оспорить. Это делает SEO намного менее концептуальным для всех сторон!

Оптимизация обхода тесно связана с оптимизацией распределения «сока»

Если вы занимаетесь SEO, вы, вероятно, слышали о скульптуре PageRank , технике, которая позволяет вам направлять распределение PageRank через внутренние ссылки с помощью атрибута nofollow. Этот метод больше не работает для PageRank, но все еще действителен для распределения обхода бюджета и, следовательно, сок. Если вы сделаете больше ссылок на нужную страницу, это принесет пользу посетителям, ботам и популярности (jus / PageRank).

Таким образом, изучение бревен позволяет найти ресурсы, которые могут вызвать потери сока. Если в ваших журналах (отфильтрованных с помощью Googlebot) 30% попаданий приходится на 404 или 500 ошибок, это на 30% меньше обхода на стратегических страницах! То же самое с перенаправлениями в изобилии и другими «ловушками пауков». Кроме того, даже если Google сканирует все больше и больше файлов JS / CSS для визуализации графики, некоторые файлы JS не заинтересованы в том, чтобы их сканировать, и когда их много, робот-робот упрям пересматривать их непрерывно, чтобы перекрыть дорогу.

Зачем бесить делать мано, когда инструменты существуют?

Важная концепция, которую следует принять во внимание, заключается в том, что инструмент для анализа логов не обязательно является инструментом, предназначенным для SEO на базовом уровне, не говоря уже о перекрестной проверке данных .

Я приведу вам конкретный пример: прохождение робота Googlebot идентифицируется по его подписи (пользовательский агент), но этот пользовательский агент может очень хорошо использоваться другими инструментами / роботами, которые не имеют никакого отношения к Google и что де-факто паразитируют данные. И это происходит на всех сайтах, которые я анализирую! Поэтому важно делать обратный DNS для каждого IP-адреса, назначенного роботу Google, и для инструментов, которые не могут этого сделать, то есть это одно и то же ... вы никогда не можете доверять им.

Другой пример был нацелен на SEO: когда робот Google совершил обращение к странице B, на которой для канонического URL-адреса есть страница A, кому назначить это обращение? Хаха ^^ лично я предпочитаю рассматривать канонические URL. Но этот выбор подразумевает работу, которая может быть важной в некоторых проектах. И снова, если инструмент обработки журналов не может поддерживать канонические URL-адреса, он может (на мой взгляд) потерять большую точность.

Наконец, для меня самый тяжелый элемент баланса - ловкость . В SEO, инструмент, специализирующийся на анализе логов, независимо от того, насколько он хорош, не будет перекрестно сверяться с другими данными (Google Analytics, SEO-сканер, социальные голоса, консоль поиска, SEMrush, Copyscape и т. Д.), или если они это делают, это стоит руки, а у нас не всегда есть то, что мы хотим.

Как правило, в SEO это не самые дорогие инструменты, которые принесут вам лучший анализ, далеко не так! Чем больше я работаю в этом бизнесе, тем больше я убежден, что перспектива и находчивость приносят гораздо больше точности и производительности.

Меня всегда смущает то, что коллеги по SEO, которые делают это совершенно легко или, что еще хуже, тратят заблуждения на службу, которая не обеспечивает надежную поддержку принятия решений. Выполнение работы в mano (разберитесь с таблицей и немного здравого смысла) может нарисовать очень четкие статистические данные, которые вам никогда не предоставят!
Вот пример из одного из моих ревизий:

Сводная таблица выше показывает производительность различных частей сайта клиента. Данные журнала (хиты от Googlebot) идут в дополнение к другим показателям и позволяют намного лучше воспринимать производительность и недостатки сайта. На этот раз мы видим, что страницы, принадлежащие ветви «таблиц данных», испытывают трудности, и среднее число входящих ссылок (входящих ссылок) показывает очевидную проблему внутренних ссылок. Помимо причинно-следственных связей, мы также видим последствия (корреляции) для SEO: чем ниже скорость сканирования, тем больше увеличивается количество неиндексированных страниц. Оценка SEO (количество посещений / количество URL-адресов) также имеет тенденцию к снижению, когда скорость сканирования падает.

Работа с мано, если она занимает немного больше времени, приносит гораздо больше освещения. Тем не менее, ничто не мешает добавить слой автоматизации ко всему этому, или, что еще лучше, разработать свои собственные инструменты!

"Бюджет сканирования": Ваш сайт не является Википедией. Google не будет относиться к этому так же.

Энергия (и, следовательно, деньги) - это ахиллесова пята Google. Это нелегко понять, но, зная, что индекс Google содержит более 47 миллиардов страниц, представьте, нужно ли отправлять своего робота Google на каждую страницу с той же периодичностью, чтобы обнаруживать какие-либо изменения на этих страницах. Наконец, ресурсы и пропускная способность будут колоссальными!
Введение обновления кофеин В 2010 году были внесены структурные изменения в поисковую систему, в том числе экономия энергии.

И отсюда мы начинаем говорить о «бюджете обхода» или «ранге обхода». Проще говоря, вашему сайту назначена квота от Google, вероятно, проиндексированная на PageRank, объеме, теме, репутации сайта ... короче, вы понимаете, у lemonde.fr сканирование бюджета будет гораздо более важным, чем Htitipi.com, логика. Конкретно, количество просканированных страниц при каждом посещении роботом Google ограничено, так что не теряйте!

Это понятие обхода бюджета чрезвычайно важно для SEO!

Давайте рассмотрим очень простой пример:

Ваш 100-страничный сайт имеет гипотетическое сканирование бюджета 100 (хорошее соотношение 1). Предположим для простоты, что это значение «100» соответствует 100 пассажам робота Google за 24 часа. Не думайте, что ваши 100 страниц будут сканироваться за день, нет! Частота сканирования (тесно связанного с PageRank) будет гораздо важнее дома, чем на глубоких страницах, особенно если они плохо связаны и «холодны». Таким образом, есть распределение сканирования, и это именно то, что нам нужно оптимизировать!

Теперь представьте, что при просмотре сайта на 1000 страниц бюджетное сканирование составляет 100, а коэффициент смешивания составляет 0,1. Следствие легко угадать: проанализировав журналы в течение примерно 30 дней, мы обнаружим страницы, которые не посещаются роботом Google ... А страница, которая не получает или мало посещает робот Google, в общем, почти не имеет шанс позиционировать себя. В этом случае потребуется радикальная оптимизация, чтобы найти соотношение, близкое к 1. И именно в этом контексте я значительно увеличил трафик некоторых сайтов клиентов, исключив в целом половину (см. Подробнее) URL-адресов. индексации.

«Меньше значит больше»

Отрывок из Googlebot - это нечто ценное, да! Всегда следите за тем, чтобы ваше путешествие не было затруднено, и направляйте его в первую очередь на основные целевые страницы.

Яд SEO: страницы бесполезны для индексации

Зная, что частота сканирования зависит от всего, что обсуждалось до сих пор, и что очень важно направить роботов на лучшие страницы, очень важно не кормить его страницы, которые не будут заинтересованы в индексации! Охота на бесполезные страницы становится необходимостью. Например, это может быть страница архива с новостями 2008 года, примеров не хватает.

Всякий раз, когда вы блокируете доступ к роботу Google на бесполезных страницах, это плюс сканирования (и, возможно, позиции) для реальных страниц для ранкера.

Задержка и время загрузки

Время загрузки страниц с высокой чувствительностью с точки зрения скорости сканирования является элементом, который не следует упускать из виду, особенно на сайтах с большим объемом или оптимизация сканирования бюджета является ключевой стратегией. Google заходит так далеко, что утверждает, что, поделив время загрузки страниц на две, мы также увеличим скорость сканирования! Для этого рычагов несколько (не исчерпывающий список):

• Очистка HTML, JS и CSS,
• Используя CDN (Сеть доставки контента),
• Настройка систем кэширования: нет необходимости пересчитывать страницу, уже отображенную ранее (все запросы MySQL замедляют отображение),
• Переключиться на более качественное предложение размещения ...

Такие инструменты, как Google Dareboost (платный) или PageSpeed, могут помочь в диагностике медленных элементов.

Остерегайтесь нумерации страниц, граненой навигации и настроек URL!

Это часто настоящий кошмар для SEO, особенно когда речь идет об оптимизации сканирования роботом Google.

пагинация : Обязательно разрешить ботам ориентироваться на нумерацию страниц, если страницы содержат ссылки на другие страницы, предназначенные для позиционирования (например, страницы категорий). Но за пределами первой страницы сканирование сильно пропускает. Я за гибридное решение, которое состоит из размещения монолитной страницы «все видят», доступной как для посетителей, так и для индексирующих роботов, и предпочтительно в предварительно рассчитанной и статической версии! Когда есть 256 000 товаров для показа, это не та история!

NB: страница «видеть все», доступная для всех, не обязательно дублируется с картой сайта XML. Последнее способствует обнаружению страниц, но не влияет на скорость сканирования.

Фасетная навигация : настолько, насколько это может представлять реальные возможности в SEO, так как она быстро становится болезненной, если она плохо сделана. Это буквально взрывает объем URL-адресов, и, если вам все равно, мы быстро создадим «удар индекса» со всеми худшими SEO : DUST (Duplicate Same Text URL), дублирование контент, пустые страницы, бесполезные страницы для индексации и так далее. Мы должны тщательно назначить URL-адреса, которые должны быть индексируемыми, и те, которые должны быть проиндексированы, даже для того, чтобы поместить в noindex все URL-адреса, сгенерированные фасетной навигацией с самого начала и открытые для индексации в каждом конкретном случае. Затем мы добавляем слой директив disallow в robots.txt для оптимизации сканирования. Достаточно сделать большой блок на эту тему!

Распространенная путаница в SEO: disallow, nofollow и noindex

Честно говоря, кроме какого-то запатентованного SEO, каждый не согласен с решением этих трех понятий. Это 3 разные директивы, иногда кумулятивные и с разными последствиями. Итак, чтобы уточнить:

• Disallow: мы находим эту директиву в файле robots.txt. Он предлагает сканерам (включая робота Google) не сканировать тот или иной ресурс. Например, Disallow: /page-inutile.html предполагает, что робот Google не просматривает этот URL. Это ни в коем случае не директива, которая явно требует деиндексации последнего!
• Noindex: там против cons явно указывает движкам не индексировать (или не индексировать) страницу. Мы находим эту директиву в тегах заголовка HTML или HTTP с тегом X-Robots. С другой стороны, noindex не указывает движкам не сканировать страницу!
• Nofollow: этот атрибут имеет свой источник в борьбе со спамом. Это вызывает двойной эффект, когда он связан со ссылкой: Google (бот) не следует за ней (за исключением исключительных случаев), и никакое значение SEO (PageRank) не передается на целевую страницу. Лично я не использую это слишком много для оптимизации сканирования Googlebot, потому что это не подходит для этого.

И я очень часто вижу совершенно сумасшедшие кумуляции! Периодический пример: для удаления страницы мы добавляем тег <meta robots = "noindex, nofollow"> на странице, а чтобы забить гвоздь, мы добавляем disallow: /page.html в файл robots.txt. Не хорошо!
Запрет запретит роботу доступ к странице (для деиндексации) ... Как вы хотите, чтобы он обнаружил содержащуюся в нем директиву noindex? Я не говорю, что он не будет деиндексирован в тот или иной момент, но это займет больше времени. Затем наступает ультра-широко распространенная ассоциация (ошибка с CMS) noindex и nofollow. Если вы не хотите видеть страницу категории в индексе Google, обычно ставьте ее в noindex. С другой стороны, nofollow может иметь разрушительные последствия, поскольку роботы, вероятно, не обнаружат страницы, относящиеся к этой категории, что вызовет серьезные проблемы с индексацией. Короче, будь проницателен!

Применяйте правильные стратегии

Навязчиво искать удовлетворительную и стабильную скорость сканирования на каждой странице было бы ересью, особенно в крупных проектах. Гораздо лучше сосредоточиться на стратегических страницах (для позиционирования), чем на маленьких страницах. Поэтому изучение аппетита робота Google должно сопровождаться отслеживанием наиболее важных страниц для определения приоритетности действий, которые необходимо выполнить. Лично я даже назначу оценку важности для каждого URL-адреса, чтобы лучше расставить приоритеты для задач и настроить KPI.

Аппетит Googlebot связан не только с ссылками. Я часто замечаю, что робот Google может уменьшить его сканирование на страницах категории, если последняя немного удалена от целевой части сайта. Другими словами, если группа страниц не генерирует много просмотров (все сегменты объединены), вполне вероятно, что скорость сканирования ниже, чем в других группах посещаемых страниц. Не ища причинно-следственные связи, имейте в виду, что не только технические факторы (глубина и уровни ссылок) могут влиять на робота Google. Содержание, поведение пользователя, темы и даже маркетинг являются важными элементами для рассмотрения. Более того, в моих ревизиях, как вы можете видеть в приведенной выше таблице, я всегда сравниваю частоту робота Google с количеством обычных записей И сгенерированных другими сегментами .

Поэтому применяемые стратегии многочисленны, и все должно изучаться в каждом конкретном случае. Вот несколько примеров:

• URL имеет высокую скорость сканирования, но генерирует несколько органических записей: мы можем думать о проблеме контента, особенно о важных элементах, таких как тег заголовка, или страница вообще не предназначена для позиционирования. В этом случае, было бы разумнее поместить nofollow в набор ссылок, указывающих на его историю, чтобы не тратить впустую свой бюджет.
• Одна группа страниц (тематическая) выполняет меньше, чем другие: это может произойти, если эта тема / тема дополняют друг друга. Поэтому нормально, что промахов меньше. В противном случае вам нужно увеличить сигналы, чтобы ускорить прохождение робота Google (больше ссылок, выделение статей, обмен в социальных сетях и т. Д.).
• Еще один пример с группой страниц, которая выполняет меньше, чем другие: DUST, отсутствие канонических символов и сбой технической базы. Это часто случается, и это реальное бедствие для оптимизации сканирования и SEO в целом.
• Целевая страница на уровне 2 сканируется реже одного раза в месяц: если все основные элементы хороши (заголовок, контент, ссылки), то мы можем рассмотреть изменение URL с тем, почему бы не сделать несколько ретушей к истории контента, чтобы сделать «Сбросить» страницу.

Оптимальный период времени для анализа / извлечения

От 2 до 3 месяцев написания, он предлагает много перспектив и хорошее понимание того, что нравится или не нравится Google. Это может быть немного шуткой, чтобы занять более длинный пляж, особенно если сайт сильно меняется (методы обновления, контент, миграции и т. Д.).
В этом отношении я сталкиваюсь с двумя трудностями с моими клиентами:

1. большие сайты с высокой частотой сканирования генерируют после фильтрации файлов всегда очень тяжелые. (см. также главу «Технические ограничения» )
2. Еще одна проблема, с которой всегда сталкиваются «большие» сайты, - это автоматическое и постепенное удаление архивов logrotate, не позволяющее вернуться в течение достаточного периода времени. Там нет другого решения, кроме как изменить параметры и ждать.

Я рекомендую вам скопировать период анализа с периодом аналитики Google. Например, если вы собираете 2 месяца журналов, соответствующих октябрю и ноябрю 2015 года, вам также нужно будет восстановить тот же период, который соответствует органическим записям в GA. Все это, чтобы сделать точные перекрестные проверки и сделать «хирургическое» SEO .

Критический порог: с какой частоты мы должны считать страницу «pagina non grata»?

Там нет правила, или, скорее, есть правило для каждого сайта. Сайт с большим количеством технических страниц в слабо конкурентной теме, вероятно, будет иметь скорость сканирования на целевых страницах значительно ниже 1/30 дня, однако страница, конечно, позиционируется как целевое ключевое слово.

В более конкурентном секторе с небольшим / средним сайтом (менее 100 000 страниц), если целевая страница имеет скорость сканирования менее 1/20 дня и целевое ключевое слово плохо позиционировано необходима оптимизация, см. изменение URL. Ясновидение поставщика SEO заключается в том, чтобы точно выбирать между оптимизацией, удалением или изменением URL в зависимости от ситуации.

Технические ограничения

Я бы соврал вам, если бы сказал, что очистка бревен - это бриз на 100% проектов. Иногда мы сталкиваемся с дырами в журналах из-за грязных миграций, журналов, разбитых из-за распределения нагрузки (мы должны объединить), экзотических форматов, администраторов, которые не отвечают ...

Одним из основных технических ограничений, с которыми можно столкнуться при этом процессе, является объем завариваемых данных. Легко манипулировать миллионами строк, если анализ основан на нескольких месяцах написания. Там Saas услуги, такие как Botify или очень молодой kelo.gs Вы не будете стоять на коленях на своей рабочей станции. Лично я повторяю, мне немного скучно ориентироваться на эти решения, потому что я покидаю свою зону комфорта: если я выигрываю в производительности машины с одной стороны, я теряю в ловкости другой ... без поговорим о расходах.

Существуют и другие альтернативы для управления большими журналами данных. Есть, например, инструменты, ориентированные на бизнес-аналитику, такие как Qlikview и Qlik Sense (Спасибо @jeanbenoit ), который может заменить Excel и проглотить больше данных, но и конкурент стол который является отличным инструментом для статистики. Но опять же, у вас не должно быть морских ежей в карманах.

Тем не менее, не паникуйте, 95% времени Excel будет делать свое дело (не в обиду троллям), если вы не готовите ненужные данные (например, роботы, отличные от Googlebot).

Чтобы закончить ... но было бы еще много чего сказать!

Логи позволяют иметь видение, наиболее близкое к одному из движков, и в SEO это не ничего! Это кажется мне настолько необходимым, что это больше не вариант в мои услуги , PageRank, суверенный индикатор вчерашнего дня, сегодня может быть заменен на вкус робота Google (не зная гипотетического ранга сканирования ).

Некоторые справочные ресурсы по этой теме:

- Если у вас нет проблем с языком Шекспира, Builtvisible опубликовал очень хорошее руководство по анализу журнала несколько месяцев назад Читайте также Оптимизация сканирования От blindfiveyearold.com. С этими статьями у вас будет хорошее дополнение для анализа вашего сайта с маленьким луком.
- Я также рекомендую вам следовать Жан Бенуа Моингт которая стала ссылкой в ​​этой области, с ее решением Ватусси уже упоминалось выше.
- Также следите за развитием сканера Screaming Frog, который готовит версии, пересекающие журналы и веб-сканирование.