28.04.2015

Технический аудит сайта — исправляем ошибки

Сегодня я решил поделиться с вами очень важной информацией. Технический аудит сайта — не самое простое задание, но выявив все ошибки и исправив их, гораздо легче продвигать ресурс. Я некоторое время сомневался, стоит ли выкладывать в паблик структурированную информацию, ведь конкуренты и все такое… Но подумав, решил, что страшного ничего в этом нет, в Сети всем найдется работа, а неся пользу людям, мы делаем мир немного лучше. В общем, читайте, запоминайте, и анализируйте.

Технический аудит сайта

Полагаю, что вы не ограничитесь одним анализом, а попытаетесь самостоятельно исправить все найденные ошибки. Обладая хотя бы базовыми навыками работы с HTML и CSS, можете спокойно экспериментировать, только не забывайте, что юзеры делятся на две категории: те, кто делают бэкап данных, и тех, кто УЖЕ делают бэкап 😉 Примите также к сведению, что исправление некоторых ошибок потребует знаний в области web-программирования, поэтому есть вероятность того, что придется привлекать  программистов.

  1. Корректность настройки robots.txt. Один из важных этапов внутренней оптимизации сайта — правильно настроенные директивы для поисковых систем. Как правило, большинство вебмастеров игнорируют данный фактор, и очень зря. Более подробно про настройку robots.txt можно почитать в данной статье. Добавлю только, что корректно составленный роботс способен предотвратить попадание мусорных страниц в выдачу, а также улучшить индексацию сайта.
  2. Наличие карт сайта в HTML и XML форматах. Указанные два типа карт сайта необходимы, в первую очередь поисковым ботам, для ускорения индексации и внесения изменений в существующий индекс. При этом, путь к xml-карте следует прописать в файле robots.txt, а на html-карту дать сквозную ссылку, например, в футере (подвале) сайта. Html-карта также помогает посетителям в навигации по сайту.
  3. Корректность кодировки. Бывают случаи, когда некоторые сервисы выдают ошибки при сканировании сайта. Например, часто такое происходит при попытке проверить ресурс на валидность верстки. Как правило, в индексной странице сайта не указана кодировка. Проверить это можно, открыв исходный код любой страницы в браузере (Ctrl+U). Если в контейнере <head> не указан мета-тег с указанием кодировки (обычно это UTF-8 или windows-1251) — необходимо исправлять ошибку. Следует помнить — конструкция тега может быть разной, в зависимости от версии HTML. Для сайтов на HTML 3 правильной будет такая запись:

    Для более новых сайтов, созданных на основе HTML 5, тег кодировки должен выглядеть так:  

    Обратите внимание, если ваш сайт создан с использованием XHTML, валидным будет такой тег: 

  4. Несуществующие страницы. Большое количество страниц, отдающих код 404 (Not found), способно отрицательно повлиять на ранжирование сайта. Проверить наличие несуществующих страниц можно несколькими способами. Мне, например, удобнее всего для этого использовать панель вебмастера Яндекс (Индексирование сайта→Исключенные страницы→HTTP-статус: Ресурс не найден (404)). Тем не менее, кому-то будет удобнее использовать соответствующий инструмент в Google Webmaster Tools или софт (Website Auditor, Netpeak Spider, Screaming Frog). Методов исправления есть тоже несколько. Наиболее правильным, по моему мнению, является перенаправление 404-х страниц на работающие. Однако, я не рекомендую делать редирект всех несуществующих страниц на одну страницу (обычно на главную). Лучше потратить время и настроить все согласно правилам SEO.
  5. Большое количество внутренних ссылок.  Иногда ко мне обращаются люди с вопросом, почему недавно реализованная перелинковка не дает никакого результата. Среди других ошибок, на таких сайтах прослеживается тенденция к использованию чрезмерного количества внутренних ссылок. Конкретного критерия, сколько ссылок может быть на странице, нет, это зависит от типа сайта и его назначения. Тем не менее, если количество ссылок превышает 100 штук на странице, можно считать, что проблема присутствует. В таком случае, рекомендую закрывать лишние ссылки (обычно это меню, футер, вывод анонсов) в тег <noindex> и добавлять атрибут rel=nofollow. Можно также использовать AJAX технологии.
  6. Большое количество “битых” ссылок. Бывает, что вебмастер размещает ссылки на сторонние либо внутренние страницы-акцепторы, которые со временем меняют свой URL. В таком случае, ссылки будут отдавать код 404. Битые ссылки могут вести также на изображения, CSS стили и другие системные файлы. Данную проблему можно решить, удалив ссылки или заменив их на корректные.
  7. Уровень вложенности страниц. При проведении технического аудита сайта, данный аспект нужно учитывать, так как вложенность имеет значительное влияние на скорость индексации и соответственно, на ранжирование. Проверить уровень вложенности можно одной из множества программ, из бесплатных рекомендую Netpeak Spider. Существует несколько способов решения высокой вложенности. Один из них — размещение html-карты сайта. Таким образом, можно добиться 3-го уровня вложенности. Но тут есть одно «но». Если на сайте много страниц (например, у вас интернет-магазин) — такой вариант не подойдет, придется менять структуру сайта, и лучше такую задачу поручить программисту.
  8. H1 заголовок в логотипе сайта. Подобная ошибка является распространенной для популярных бесплатных CMS. Надо сказать, что это проблема не самого движка, а корявых рук верстальщика (при всем уважении к профессионалам этого дела). Проверить наличие ошибки можно как программным методом, так и вручную. Для ручной проверки, кликните правой кнопкой по логотипу анализируемого сайта, выберите «Просмотр кода элемента» (Chrome) или «Исследовать элемент» (Firefox). Если логотип заключен в тег <h1> — вы обнаружили ошибку, требующую немедленного исправления. Отмечу, что другие заголовки использовать тоже нежелательно, лучше используйте <div> или <span>.
  9. Скорость загрузки сайта. Проверить данный фактор несложно, например, при помощи сервиса sbup.com. Исходя из личного опыта, могу сказать, что сайты, загружающиеся более 1 секунды, раздражают посетителя, а следовательно, это сказывается на поведенческих факторах. Поэтому проверяйте свой сайт на скорость, и если он загружается более 1-й секунды — исправляйте ситуацию. Для этого необходимо сжать CSS и JS файлы, подключить кеширование и gzip сжатие, оптимизировать изображения. Также желательно вынести все стили и скрипты из кода страниц в отдельно подключаемые файлы. Довольно дельные советы дает также сервис Google PageSpeed Insights, можно использовать при работе.
  10. Использование «хлебных крошек» (breadcrumbs). Данный элемент страницы выглядит так: 10 Ispolzovanie-hlebnyh-kroshek 10 Ispolzovanie-hlebnyh-kroshek
    Вывести хлебные крошки для популярных CMS (Joomla, WP, Opencart и тд) не составит труда, для этого необходимо установить соответствующее расширение для сайта, и придать необходимый вид при помощи CSS. А вот с самописными движками могут быть проблемы. Как показывает практика, в таком случае целесообразнее обратиться к разработчикам конкретного сайта и попросить внедрить данный элемент на сайт. Крошки нужны как для посетителей сайта (упрощают навигацию), так и для SEO (индексация страниц, распределение ссылочного веса)
  11. Использование канонических URL. На многих динамических сайтах содержимое страниц может быть доступным по нескольким ссылкам. Допустим, есть страница http://site.com/page/ В определенных случаях в индекс могут попадать дубли, например, http://site.com/page?qwerty1231. Содержимое будет одинаковым в обеих случаях, и не факт, что ПС выберет для участия в выдачу нужную страницу. Чтобы избежать подобного дублирования, необходимо прописывать канонические адреса. Для большинства популярных CMS есть готовые решения, для самописных придется обращаться к программисту, если вы не разбираетесь в PHP. Проверить наличие канонических адресов можно программно (Netpeak Spider, Website Auditor, Screaming Frog), а также вручную — открыв исходный код страницы, проверьте, есть ли в контейнере <head> следующий код:

    где http://site.com/page.html — адрес страницы, код которой вы открыли. сам код может отличаться для разных версий HTML, поэтому можете нажать Ctrl+F, и ввести слово «canonical» в форму поиска — так легче проверить.

  12. Адаптированность под мобильные устройства. В связи с выходом нового фильтра Google Mobile Frendly, многие владельцы сайтов ринулись переделывать верстку своих сайтов. И не зря: теперь Google будет понижать в мобильной выдаче страницы, не оптимизированные под смартфоны, поэтому проверку удобности использования на мобильных устройствах необходимо включать в технический аудит сайта. Проверить адаптированность страниц можно при помощи соответствующего сервиса.
  13. Наличие скрытого контента display:none. Данный стиль в свое время использовался для манипуляций поисковой выдачей, с тех пор ПС относятся негативно к чрезмерному употреблению «display:none». Если в коде страниц есть много скрытого контента, сайт может быть пониженным в выдаче. Проверить данный фактор можно вручную, через поиск в исходном коде.
  14. Наличие фреймов. Проблема в том, что поисковые системы не видят контент, помещенный в фреймы. Если в них находится важная информация — она не будет проиндексирована, что может отрицательно сказаться на продвижении. Стоит отметить, что в фреймы обычно помещают видео-плееры, динамические карты — в таком случае, говорить о наличии проблемы не приходитс. Проверить наличие фреймов можно вручную, или при помощи программы Website Auditor.
  15. Наличие страницы 404, проверка кода ответа. Если посетитель сайта вводит неправильный адрес или переходит на несуществующую страницу, сервер должен отдавать код 404. Но серверная страница 404 выглядит примерно так (для Apache, в данном примере): 404Согласитесь, не очень привлекательно. Чтобы проверить, корректно ли настроена ваша 404-я страница, введите в адресную строку site.com/qwerty12, где site.com — адрес вашего сайта. Если все настроено правильно — на странице отобразится сообщение о том, что страница не существует, но при этом посетитель должен видеть элементы базовой навигации (ссылка на главную, карту сайта, и форма поиска по сайту).

Заключение

Текста получилось довольно много, надеюсь, сильно скучно читать все это не было. В данной статье я описал многие аспекты, которые помогут продвигать ресурс. Использовать лицензионные программы или делать все вручную — ваш выбор и вопрос финансовых возможностей. Даже минимальный технический анализ сайта и исправление найденных ошибок принесет положительный результат. Ну а если вы прочитали все написанное выше, и поняли, что лучше обратиться к специалисту — я к вашим услугам, заказывайте комплексный аудит 🙂

Всего хорошего!

Просмотров записи: 2260
Проблемы с продвижением? Закажите экспресс-аудит по антикризисной цене!
  • Никита

    Спасибо за толково расписанную статью. Я вот по вашим пунктам проверил свой сайт и проблем практически нет. Единственное, что нужно добиться хорошего сжатия CSS и Java.

  • Владимир

    Статья просто супер!
    Конечно, для тех, кто понимает, о чем идет речь.
    Написана статья доходчиво, с указаниями сервисов, способных раскрыть то,
    что скрыто от непосвященных.
    В любом случае понятно, что автор профессионален во всех рассмотренных вопросах.
    Без технического аудита, говорить о нормальной индексации сайта не приходиться.
    Для тех, кому непонятно, о чем написано в статье, советую воспользоваться услугами
    Ярослава. Он хороший специалист.

    • Ярослав

      Спасибо за рекомендации!

  • Пока еще считаю себя начинающим, многого еще не знаю. Статья очень интересна. Конечно проблемы есть. Не пойму значение термина вложенность страницы, в чем оно выражается? По поводу 404 страницы, сделал редирект с нее на главную, по совету знакомого блогера. Сейчас у меня этой ошибки просто нет. Да и нужно поработать над сжатием. Скорость загрузки великовата.

  • victorpusaka

    Когда читаешь чек-лист по аудиту, все понятно как день. Но когда начинаешь пытаться своими силами решить поставленную задачу, все как то сразу печально. Поэтому я склоняюсь к тому, что лучше заказать аудит у автора статьи. У меня несколько сайтов, один уже прошел комплексную диагностику. Осталось еще два. Думаю обратиться с этим вопросом к автору.

  • Полгода назад я начала вести свой блог и до сих пор не прибегала к услугам специалистов, изучая информацию в интернете и делая все своими руками. Но в последнее время я пришла к пониманию, что вместо того, чтобы тратить время на исправление ошибок самой, лучше обратиться к человеку, который разбирается в этом вопросе и за пару часов приведет ваш сайт в порядок. А высвободившееся время потратить на наполнение ресурса.

    • Ярослав

      Не все ошибки можно исправить за пару часов, но в целом, вы правы.

  • Сергей

    Для нахождения 404 я использую Google Webmaster, он для меня удобнее, тем более, что там можно сразу и сообщать Google о том, что ошибка устранена. Без 404 сайта не бывает, и то, что не могу и не считаю нужным восстанавливать перевожу в 301 редирект. Насчет Google Мобайлгеддона тут конечно ай-яй-яй. С одной стороны мы закрываем в robots.txt нежелательные для нас папки, с другой стороны, робот Google не может проверить некоторые файлы и вопит о недостаточной «мобильности». 🙂

  • Хорошо, сжато и информативно описаны все важные вопросы для вебмастера. Я как молодой и неопытный владелец сайта почерпнула очень много полезной информации для себя. Если обнаружу проблемы придется копать дальше и решать возникшие недочеты.

  • Семен

    Спасибо, очень интересная и в то же время очень нужная статья! Не зря внутреннюю оптимизацию называют одним самых сложных пунктов в SEO. Статью добавил в закладки, для себя отметил пару «проблемных» пунктов. К следующим вернусь после их исправления!

  • Очень интересный материал. Полезла тут же проверять. М-дя, ошибки есть, хотя и не критические.
    Пойду исправлять. Спасибо вам. Про робот.тхт не очень поняла. Мне программист говорил, что этот файл нужен только для запретов, а вы пишете, что с его помощью наоборот можно указывать путь, прописав в нем путь к xml-карте. Как так? Пойду читать про робот.тхт. 🙂

    • Юлия, путь к карте сайта прописывается для роботов, чтобы они знали, где ее искать. Также, в роботсе можно указывать, как часто разрешается краулерам обращаться к сайту (директива Crawl-delay), основное зеркало для Яндекса (директива Host) и некоторые другие параметры. Но самое главное, в чем неправ ваш программист — с помощью роботса можно не только запрещать, но и наоборот — разрешать сканирование каталогов, страниц и файлов

  • land_driver

    У меня на сайте время от времени появляются битые ссылки, которые я пытаюсь удалить. Хотя не очень понятно, как их наличие влияет на ранжирование сайта, я понимаю, когда на свой сайт ссылаюсь некорректно, а тут как-то неясно

  • Виктория

    Спасибо за статью! Недавно избавилась от битых ссылок, которых на мое удивление оказалось больше 50-ти, кое-что изменили в шаблоне и коде и увеличилась скорость загрузки сайта. Скажите, а какое на ваш взгляд оптимальное количество внутренних ссылок?

  • Мне пришло письмо от хостинга «На Вашем аккаунте размещаются сайты, использующие PHP устаревшей версии 5.2». Напрягаюсь из-за этого. Ярослав, это может влиять на техническую работу сайта? Вообще, во внутренние механизмы лезть страшно, но приходится. Для увеличения скорости загрузки я поставила плагин и теперь при публикации новой статьи мне приходиться чистить кэш, иначе она не видна.

    • Ярослав

      На работу сайта может повлиять, но только если хостер откажется поддерживать данную версию PHP. Но лучше обновить движок сайта или плагинов, использующих устаревшую версию.