Что меня привлекло в Human Emulator

То, что программа автоматизирует работу с браузером и т.д., я здесь расписывать не буду. Вы и сами прочтете о функционале на официальном сайте Хумана. Главное, я скептически отношусь к всяким программам-макросам, из-за то, что язык записи макросов чаще всего свой для каждой программы. Если править скрипт макроса, то нужно потратить время на изучение этого языка. В Human Emulator, к моему удивлению, языком записи макроса является PHP. Так как я уже много лет программирую на этом языке, то для меня это был решающий фактор скачать программу и протестировать.

Язык записи макроса в Human Emulator – PHP, почему это так важно?

• Во-первых, это привычная для меня среда. Это означает, в любое время я могу поправить, изменить или добавить функционал в  скрипт автоматизации.
• Во-вторых, за все время работы у меня скопилось огромное количество скриптов, которые помогают мне анализировать сайты по различным SEO параметрам. При пользовании Хуманом нет необходимости все переписывать, достаточно подключить эти скрипты к программе и использовать их дальше.
• В-третьих, для работы скриптов не нужно устанавливать сервер, все уже встроено в Human Emulator.
• В-четвёртых, написание парсеров веб-страниц, с помощью функционала Хуман, требует намного меньше времени, чем написание скрипта парсера на PHP с нуля.

Некоторые из вас могут сказать – нет смысла платить деньги только за удобства и ускорение процесса. Да, если только ограничится этим преимуществом. У Human Emulator есть и вторая важная причина, благодаря которой я возможно стану фанатом данной программы.

Human Emulator парсит javascript и flash контент страницы.

О чем это я? Сейчас вы практически не найдете серьезных сайтов без javascript. Некоторые сайты, чтобы обезопасить или оптимизировать контент, выводят данные на странице с помощью javascript или flash. Если парсить такую страницу обычным PHP скриптом, ничего не выйдет. Бот на PHP не обрабатывает javascript или flash и все что ими выводится, будет не доступно.

Human обрабатывает результат полностью сформированной страницы. И это я считаю один из основных плюсов программы. Теперь почти нет проблем получить данные, сформированные с помощью ajax, например, на сайте cy-pr.ru. Если учесть, что в последнее время поисковики все больше внедряют javascript функционал в свои страницы и оптимизаторы стараются выводить не нужный к индексации функционал через javascript, дальше парсить страницы обычными скриптами на PHP будет все сложнее и сложнее. Но не парсером единым.

Другие вкусные возможности Human Emulator

С помощью Хумана можно автоматизировать действительно продолжительные и рутинные действия с сайтом. Например, я автоматизировал установку и настройку WordPress. Я использую свою подборку модулей и обязательную последовательность действий по установке , настройке, оптимизации WordPress. Это позволяет выдерживать серверу большие нагрузки и при этом работать безопасно и без ошибок. Раньше на все действия уходило от 30 до 60 мин. времени. Нужно было не забыть ничего и настроить каждый пункт функционала WordPress. Это реальная рутина.

Первый мой Хуман скрипт автоматизирует все эти действия. Там есть и работа с ftp, перемещения javascript блоков, авторизация и т.д. Теперь на всю установку и качественную настройку WordPress у меня уходит не более 3-5 мин. При этом, ничего не забыто и не пропущено. Этим скриптом я  протестировал основной функционал Human Emulator.

Также, программа может работать с внедрением на удаленном сервере (мной не тестировалось).

Ведро дегтя в большой бочке меда Human Emulator

Но не все так гладко, и весь мой щенячий восторг от программы портит приличное количество багов. Главное предназначение Human Emulator, мое мнение, сократить до минимума количество рутинных действий и помочь пользователю оптимизировать свои процессы. То есть, сократить время на все рутинные процессы. Но как оказалось, при создании скриптов иногда времени уходит больше чем, если бы я писал стандартно на PHP. Баги появляются так что, чтобы понять кто тупит, ты или программа, приходится потратить реально много времени.

Основные замеченные мной баги или проблемы в версии 4.1.1:

1. При записи макроса часто отключается поддержка javascript в браузере Хумана. Исправляется передергиванием настроек самой программы. Данный баг есть и в воспроизведении макроса, но там разработчики предусмотрели принудительное включение javascript функцией с перезагрузкой страницы. То есть практически то же передергивание настроек Хумана, только на автомате. И за это спасибо.
2. В настройках редактора можно указать кодировку UTF-8 для скриптов. Но к сожалению, данная настройка не работает, скрипты все равно в кодировке win1251. Иногда, из-за этого в окне дебагинга информация выводится битая.
3. Окно дебагинга – это практически браузер, но просмотреть исходный код с помощью контекстного меню, как в обычном браузере, не получится. Там пусто. Только, если перевести это окно в текстовый вид, можно увидеть исходный код. В окне дебагинга иногда также появляются какие-то доп отступы и другие ошибки вывод, которые портят нервы и отнимают время.
4. Основная часть функций расписана на сайте помощи по Human Emulator. Но не все, а некоторые функции так описаны, что вообще непонятно, как с этой функцией работать. Есть в программе и функции, которые не работают и нет никаких описаний. Возможно они предусмотрены на будущее.
5. Работа с внешними программами реализована на примитивном уровне. Мне так и не удались попытки автоматизации с подключением внешних программ.
6. Часто возникает ошибка с CLI, которая практически никак на работу пока не влияет.

Вообще, при плотной работе с программой возникло ощущен, что программа пока в начале своего пути. То есть, программа  больше похожа на beta версию, чем на полноценно завершенный продукт.

Выводы о программе автоматизации Human Emulator:

• Идея программы автоматизации работы с веб, на мой взгляд,  очень интересна и перспективна. То, что программа использует язык php для записи макроса и умеет обрабатывать javascript, flash – это вообще пока уникальный и востребованный функционал. Аналогов в данной нише не встречал.
• Программа не дешевая, но если исправить максимальное количество багов и добавить нормальную работу с внешними приложениями, данная стоимость Human Emulator более чем адекватна.
• Важно, поддержка Human Emulator очень отзывчивая. Если у вас что-то не получается они всегда помогут.
  Цитата:

  Если будут вопросы по работе с программой или понадобится помощь – не стесняйтесь обращаться в наш саппорт

  Время реакции на письма в поддержку – не более суток.

Ближайшие планы Human Emulator

Исходя из ответов на мои вопросы технической поддержкой Human Emulator, основные ближайшие планы :

1. Сделать отлов и заполнение джава-скриптовых менюшек, инпутов и текстареа на лету, как с обычными элементами. Сейчас с ними возникают сложности. Все силы на это решение брошены.
2. Как будет готово, сядем за альтернативный вариант создания скриптов, более дружественный к людям, не обладающих знаниями в программировании.

Периодичность обновлений программы:

Цитата:

Программа обновляется обычно сразу после того, как добавим какие-либо понадобившиеся пользователям функции, либо починим мерзкий баг. Постоянства в сроках нет. Мы планируем отходить от такой реализации вопроса, но это с глобального обновления, с версии 5.0.

Мое мнение, для кого полезна программа

• Для веб аналитиков. С помощью программы можно быстро строить аналитические скрипты, которые будут собирать информацию из различных источников и выдавать результат в любом необходимом виде.
• Для веб разработчиков. Поможет оптимизировать действия по созданию, настройкам и т.д. сайтов.
• Для SEOшников. Автоматизация оптимизации и анализа.
• И т.д.

Надеюсь, мой обзор помог вам понять особенности и преимущества программы Human Emulator и сделать свой выбор.

Для пользователей Human Emulator выкладываю три скрипта, написанные мной, которые помогают получить некоторую SEO информацию по сайту. Загрузка архива, как обычно, открыта всем моим подписчикам через RSS.

Содержание архива:

1. Скрипт 1 – yand_pos.php
   Определение позиции сайта по ключевой фразе в Яндекс. Можно просматривать позиции хоть до 10000й позиции. Отслеживание влияния пользовательских факторов. Региональность.
2. Скрипт 2 – google_pos.php
   Определение позиции сайта по ключевой фразе в Google. Можно просматривать позиции хоть до 10000й позиции. Региональность.
3. Скрипт 3 – relevant_page.php
   Определение релевантных страниц сайта, в Яндекс и Google, ключевой фразе. Очень полезно при создании эффективной перелинковки. На выходе список url страниц сайта релевантных ключу.

Установка и настройка скриптов:

1. Скачайте архив по ссылке выше
2. Распакуйте архив в папку Путь к Хуману\\My Scripts\\
3. Запустите хуман и во вкладке “Быстрый старт” войдите в  My Scripts\\SEO\\ выберите любой из этих скриптов.
4. В начале скрипта введите данные для настройки. Там все помечено и очень заметно, не ошибетесь. К скрипту yand_pos.php идет маленькая библиотека регионов, она должна быть вместе с данным regions.php файлом в одном каталоге.
5. Запустите скрипт на исполнение и смотрите что выйдет в окне дебага.

Все, пользуйтесь на здоровье.

Все вопросы и замечания, как обычно, в комменты.

И еще, я буду на этой странице добавлять новые скрипты к программе. Анонсы буду выкладывать на этой странице. Так что рекомендую просматривать мой RSS на наличие обновлений.

Код для открытия скрытого содержания в статьях блога 22423
Данный код действителен до 25.01.12 20:08.

Подборка статей по теме:

• Обзор SERP Parser – программа определения позиций блога в поисковиках (4)
• Обзор AddStudio 2 в выгодах и недостатках (1)
• Необходимые программы начального уровня для блогинга. (8)
• Description и keywords без плагинов в WordPress (31)

Проблема копипаста

Многие из вас сталкиваются с плагиатом, воровством контента и т.д.. Бороться с воровством практически не реально. Единственный способ оградить контент от воровства не печатать его вообще. Но я не об этом. Иногда есть нормальные копипастеры, которые по тем или иным причинам просто забывают поставить ссылку на источник, скопированного у вас текста.

Чтобы как-то автоматизировать процесс помощи копипастерам, в копировании контента со ссылкой на источник, я создал маленький плагин для WordPress - abc_CopyRight.

Плагин abc_CopyRight

Плагин abc_CopyRight - вставляет в конце скопированного текста ссылку на источник. При необходимости, если подключить в настройках плагина, abc_CopyRight выводит сообщение, при копировании текста, о обязательной ссылке на источник. Вот и весь его функционал.

Плагин основан на скрипте Falchenko Maxim aka be3, который можно увидеть тут.

Выглядит работа плагина довольно просто:
1. Скопируйте любой текст данной статьи и вставьте его например в блокнот. Вы увидите в конце текста ссылку на данную статью.
2. Всплывающее напоминание, при копировании текста, выглядит так:

Скачать плагин очень просто моим подписчикам RSS.
Подписывайтесь и качайте.

Установка и настройки плагина abc_CopyRight

1. Установка плагина стандартна, как и все плагины, скачайте, установите, активируйте
2. В админ-панели появится вкладка Консоль/ Параметры/ abc_CopyRight
3. Зайдя во вкладку  можно настроить такие опции:
   Картинка кликабильна для увеличения.
4. Думаю все понятно, подробнее остановлюсь на опции Привязка. Данная опция позволяет привязать действие плагина не ко всем текстам страницы, а только к самым важным. Я например привязал его к тегу div с классом .spsttxt (div.spsttxt вместо body), в котором находится только текст статьи. На весь остальной контент страницы плагин действовать не будет.

Вот такой вот маленький и возможно многим из вас полезный плагин. Как всегда отзывы и пожелания для возможно усовершенствованной версии плагина пишите в комментах данной статьи.

UPD: 26.11.2011 – поправлена ошибка из-за которой плагин отказывался работать. Всем у кого не работал, качать заново.

Код для открытия скрытого содержания в статьях блога 22423
Данный код действителен до 25.01.12 20:08.

Подборка статей по теме:

• Как увеличить количество подписчиков RSS, плагин wpRSSlock (72)
• Удаляем ревизии, плагин DelRevision – удаление ревизий в WordPress (76)
• Страница плагина – виджета WP_Anons (31)
• Статистика RSS – русский FeedStats, описание и перевод плагина. (5)
• Русский Download Monitor и его описание (97)

Программу SERP Parser можно скачать здесь

Программа есть в двух вариантах SERP Parser Lite и SERP Parser Professional. Различия только в цене и в количестве проектов. SERP Parser Lite позволяет создавать только один проект.

Стоимость программы SERP Parser и условия лицензии можно посмотреть здесь

Интерфейс SERP Parser и удобство пользования:

Не буду расписывать установку программы, активацию и т.д., там все просто. Подробнее остановлюсь на настройках проекта и интерфейсе. Скажу сразу, с первого раза, без прочтения руководства, осилить все тонкости управления программой не получилось. Пришлось все таки прочесть документацию и понять как работают некоторые функции.  Также, пришлочь задать несколько вопросов разработчику. К счастью, разработчик очень отзывчивый и общительный. Я быстро получил ответы на свои вопросы и помощь. Это я называю профессиональная и качественная поддержка.

При первом запуске программы, запускается “Мастер создания проекта”, который в пошаговом режиме позволит быстро ввести все данные для получения позиций вашего блога. При завершении мастера проекта, мастер сразу запросит путь сохранения, что позволяет автоматически сохранять все что вы делаете с проектом.

После того как проект создан, можно перейти к настройкам самой программы. Вот так выглядит окно программы без проекта:

Как видим, программа часто обновляется, исправляются ошибки и недочеты, вносится новый функционал.

Настройки SERP Parser

Настроек не много но все самое важное есть:

Есть настройки проекта в которых можно настроить детали для парсинга и отображения:

Вот так выглядит индивидуальная настройка ключевой фразы:

А вот так настройка поисковика:

С остальным вы разберетесь сами. Далее я кратко опишу работу самой программы SERP Parser.

• Добавил проект:
  • 100 ключевых фраз
  • 2 поисковика Гугл и Яндекс с настройками региональности
  • Глубина парсинга 100 позиций
  • Потоков – 3
  • Не использовать прокси
• Запустил парсинг:
  
  • Потоки распределились: 2 потока на Google а 1 на Яндекс. Но в парсере есть ссылка- кнопка при нажатии на которую можно добавить поток. Добавить поток при парсинге, как я понял можно только 1 раз.
  • При стандартных настройках задержек примерно на трети в Google появилась капча. Ввел вручную  и все продолжилось. Капча появилась еще раз пять.
  • Парсинг Google отработался быстро, все ключевики примерно за 10мин.
  • Но вот Яндекс примерно на 87% парсинга программа замерла. Ожидание подключения. Пришлось прервать процесс.
  • Повторно запускаю процесс парсинга. Программа спрашивает “Парсить все или то что не получили?”, говорю “то что не получили”. Менее минуты и то что не допарсилось ранее, обновилось.
  • Капча в Яндекс так и не появилась.
  • Время всего парсинга с вводом капч, ожидания и т.д. примерно 15мин.
• Отчеты:
  
  • Полученные позиции честные. Проверил несколько позиций непосредственно в поисковиках. Все соответствует действительности.
  • Можно строить различные отчеты с графиками, таблица с ссылкой на страницу сайта, анкором ссылки и сниппетом поисковика.
  • Ведется история
  • Есть экспорт отчета в csv и html

Что еще есть интересного в SERP Parser:

• Порадовала возможность снятия статистики по посещениям ключей с Google, Яндекс и Liveinternet. В статистике почти сразу можно увидеть какие ключи приносят наибольший трафик.
• Атрибуты. Если кратко, то это пользовательские переменные с помощью которых можно производить различные манипуляции в отчетах.
• Самое вкусное – можно парсить выдачу по одному запросу но в разных регионах и видеть разнцу в одной таблице!

Теперь расскажу о плюсах и минусах SERP Parser

Плюсы:

1. Программа дает всю необходимую статистику по интересующим позициям
2. Программа подключает статистику Google, Яндекс и Liveinternet благодаря чему отчеты более интересны.
3. Парсинг очень быстрый
4. Очень быстро и подробно отвечает саппорт на все вопросы
5. Программа развивается и в планах добавление очень интересного и нужного функционала, а также резидентного планировщика парсинга по расписанию

Минусы:

1. Интерфейс мне показался довольно замысловатым. Хотелось бы иметь хотя бы подробные подсказки на большинстве кнопок. Иначе нужно тратить время на изучение документации.
2. Лицензия покупается всего на 1 год, по истечении срока лицензии программа перестанет работать и ее нужно будет продлевать за 45% стоимости.

Мои выводы:

• Программа SERP Parser,  по сравнению с существующими аналогами, дает наилучшую статистику по позициям вашего сайта или блога в поисковиках.
• Программа развивается и наполняется функционалом
• Стоимость для профессионального использования не высока.
• Мне программа очень понравилась!

Кому бы я рекомендовал SERP Parser? Тем, кто активно занимается SEO анализом и приходится парсить позиции для большого количества проектов, особенно новых.

Код для открытия скрытого содержания в статьях блога 22423
Данный код действителен до 25.01.12 20:08.

Подборка статей по теме:

• Обзор Xweb Human Emulator программа web автоматизации (6)
• Обзор AddStudio 2 в выгодах и недостатках (1)
• Необходимые программы начального уровня для блогинга. (8)
• Description и keywords без плагинов в WordPress (31)

До недавнего времени, для отслеживания количества просмотров, я использовал простое решение от Kama. Но возникла необходимость учитывать только уникальных посетителей и главное чтобы при включенном кеше счетчик не кешировался. К сожалению такого плагина не нашел. Пришлось на основе решения от Kama написать свой плагин.

Плагин ABC_POST_VIEVS

Плагин «ABC_POST_VIEVS» – предназначен для подсчета количества просмотров постов и страниц вашего блога. Главное отличие данного плагина от аналогов в том что можно отключить влияние кеша счетчик. Подключив кеширование вашего блога плагин будет считать и выводить количество просмотров на ваших страницах. Данная технология основана на внешнем подключении через javascript по типу facebook. Результат работы плагина вы видите под заголовком данной статьи.

Функциональность:

1. Ведется подсчет просмотров постов и страниц с записью счетчика в произвольное поле и выводом в шаблоне.
2. Фильтр на посещение роботами
3. Фильтр учитывающий только: всех, только гостей, только зарегистрированных пользователей
4. Фильтр учитывающий только уникальных посетителей по кукам
5. Включение функции внешнего подключения при включенном кешировании

Все настройки плагина, как видите, меняются в панели настроек из админки WordPress

Скачать плагин «ABC_POST_VIEVS»
можно как обычно по ссылке ниже:

Установка плагина ABC_POST_VIEVS

1. Скачайте плагин по ссылке выше.
2. Установите и активируйте плагин стандартным способом WordPress
3. Настройте плагин перейдя в панель администрирования Админка\Параметры\abc_PostVievs
4. В файлах single.php и page.php в нужном месте вывода счетчика вставьте код <?php if(function_exists("abc_postvievs_out")) abc_postvievs_out();?>

Все, плагин готов к работе.

Развитие плагина ABC_POST_VIEVS

В планах, на ближайшее будущее, сделать панель с выводом статистики и рейтингом по количеству просмотров.

Все пожелания, вопросы и замечания пишите, как обычно, в комментариях к данной статье.

Приятного пользования.

Код для открытия скрытого содержания в статьях блога 22423
Данный код действителен до 25.01.12 20:08.

Подборка статей по теме:

• Удаляем ревизии, плагин DelRevision – удаление ревизий в WordPress (76)
• Страница плагина – виджета WP_Anons (31)
• Статистика RSS – русский FeedStats, описание и перевод плагина. (5)
• Русский Download Monitor и его описание (97)
• Русификация плагина wpSeo (2)

Данной статьей я открываю цикл статей о инструментарии которым я пользуюсь в своей работе. У меня довольно много как приобретенных программ так и собственных разработок.

Что в AddStudio 2 меня привлекло?

Не буду здесь описывать весь тот функционал который вы и так можете прочесть, или опробовать демо версию, на официальном сайте программы AddStudio2. Опишу только те выгоды, которые привлекли меня. Это не рекламная статья, я честно и не предвзято постараюсь описать выгоды и недостатки существующей на сегодня версии программы.

Я активно занимаюсь оптимизацией сайтов и блогов на WordPress, под поисковое продвижение. Также, предоставляю консультации и услуги по продвижению сайтов. Для того чтобы работать быстро и качественно, в руках должны быть профессиональные и качественные инструменты, которые существенно экономят время. Основное для меня преимущество AddStudio 2 в ее простом и понятном интерфейсе, быстроте работы, великолепных модулях анализа оптимизации сайта по отношению к конкурентам.

Кратко об интерфейсе и настройках AddStudio2

Программа похожа на браузер. То же, многовкладочное окно, в котором открываются модули программы. Стартовой страницей является краткий обзор статистики по проекту с кнопками для перехода в соответствующие модули. Там же имеется и сам браузер.

Здесь все просто и логично. Красное означает проблему, зеленое все ОК. Кликаем по красному попадаем в модулю для уточнения и анализа.

Кратко о настройках AddStudio2

Настройки программы минимальны. Для программы в основном настраиваются сетевые параметры парсинга, где присутствуют и прокси, причем с проверкой живучести и антикапча. Правда сервис антикапчи у них свой, не antigate и стоит он на сегодняшний день 10коп. за капчу.

Настройки проекта пошаговые и также очень минимальны.  В некоторых случаях даже не удобны. Например список ключевых фраз, на запуске проекта, вводится только по одному слову. Но если этот шаг пропустить,  потом фразы можно добавить списком из буфера обмена.

Два режима работы AddStudio 2

У программы имеется 2 режима работы: “Обычный” – стандартный краткий модуль и “Экспертный” – режим подробного анализа.

“Обычный” – пригодится тем кому нужно получить быстрый анализ основных параметров сайта и получить общую сводку рекомендаций программы по оптимизации. Полезно для новичков.

“Экспертный режим” - это режим в котором модуль разбит на несколько подмодулей, с помощью которых можно получить более подробную статистику. В “Экспертном режиме” программа также выдает подсказки, но в отличии от режима “Обычный”, для каждого параметра в отдельности.

К моему сожалению данные режимы не согласованы. То есть, если вы проведете анализ в “Экспертном режиме” а потом перейдете в “Обычный” режим, отчета вы не увидите. Вам придется для каждого режима запускать анализ заново.

Модули AddStudio2 для анализа и оптимизации сайта

Основные модули программы:

1. Стартовая страница
2. Обозреватель
3. Настройки
4. Запросы
5. Стоимость продвижения
6. Релевантные страницы
7. Внутренняя оптимизация
8. Оптимизация структуры сайта
9. Покупка ссылок
10. Определение позиций
11. Мониторинг

Модули “Внутренняя оптимизация” и “Оптимизация структуры сайта” это то, ради чего я захотел приобрести эту программу. С помощью данных модулей можно быстро и довольно качественно провести анализ контента и структуры сайта, по отношению к конкурентам.

Модуль “Внутренняя оптимизация” для анализа контента, с морфологической раскладкой, выдает статистику вхождения ключевых фраз в структуру контента. Подсказывает, на основе анализа контента конкурентов – где, на сколько и какие параметры изменить на страницах сайта.

Это вид “Общего” режима. Тут все просто, под каждой ключевой фразой список конкурентов с параметрами, а в таблице текущие мои и средний показатель суммы конкурентов. Красный крестик говорит что есть проблемы. Нажав на крестик появляется подсказка и советы что нужно делать. В экспертном режиме статистика поинтереснее и побольше.

Модуль Оптимизация структуры сайта!

Это самый вкусный для меня модуль. Я не встречал аналога или альтернативы этому модулю. Если кто знает подскажите. Дело в том, что для качественной перелинковки сайта нужно спрогнозировать перетекание весов страниц и на основе этого построить схему перелинковки. Это один из самых важных и сложных пунктов в оптимизации сайта.

Если сайт новый и не большой и структура простая, схему можно просчитать на бумаге. Но, если сайт существующий, с большой и сложной структурой, проанализировать все можно только программно.  До этого я использовал свои программные разработки, но это фигня по сравнению с тем модулем, который есть у AddStudio2.

В Экспертном режиме можно визуально увидеть связи ваших страниц

Но для меня визуальные связи не так интересны, важно то, что модуль строит карту сайта просчитывая вес каждой страницы, причем можно учитывать PR, показывает какие ссылки с каких страниц сайта ведут на данную страницу. Там же, показывает внешние и внутренние ссылки для каждой страницы сайта с анализом их на noindex nofollow.

О недостатках AddStudio 2

1. Слишком мало настроек проекта для профессионального использования. Все время хочется что-то подправить или добавить ручками.
2. В программе имеется модуль прогноза бюджета по продвижению. Считает прогноз AddStudio2 по каким-то своим внутренним алгоритмам. К сожалению проверить точность мне не удалось, модуль упорно на всех проектах показывает “Бюджет не определен”.
3. Практически то же самое и с модулем “Покупка ссылок”. На шаге подбора площадок все заканчивается ошибкой “Поиск площадок заблокирован. Обратитесь в службу технической поддержки”. Обратился, обещали разобраться. Кстати, ссылки закупаются пока только в Sape, с помесячным бюджетом, через аккаунт на сайте promo-soft.ru, за это они берут 10%. Честно говоря, на сегодняшний день Сапы маловато. Поэтому, как для меня, модуль закупки ссылок пока бесполезен.
4. На среднем, по количеству страниц, сайте модули анализа структуры и оптимизации сайта начинали виснуть. Значения удавалось получить после 3й попытки. Причем существенное уменьшение количества потоков парсинга не помогало. Разработчики пока разбираются с этой проблемой.
5. Модуль подбора ключевых фраз для профессионального использования довольно примитивен, по сравнению с мощным KeyCollector. Но для быстрого анализа и подбора слов, может пригодиться.
6. Есть еще некоторые не удобства и ошибки. В поддержке пообещали исправить ошибки в ближайшем обновлении. Кстати, среднее время реакции поддержки на вопросы в тикете 2-3 дня.

Что мне понравилось в AddStudio2 больше всего

1. Программа активно развивается и по сравнению с первой версией вторая стала намного удобнее и безглючнее. Разработчики обещают обновлять программу 3 раза в месяц. Если замечания и пожелания пользователей будут учитываться в каждой версии, программе не будет альтернатив.
2. В едином интерфейсе я получил довольно мощный, шустрый инструмент для SEO аудита, последующего мониторинга и быстрой оптимизации сайта. Это важно если в работе находится большое количество сайтов.
3. Постоянный сравнительный анализ с конкурентами дает четкое представление о направлении оптимизации и необходимых действиях. У SEO оптимизаторов существует правило “Не знаешь как оптимизировать сайт, посмотри как оптимизированы конкуренты”. С помощью AddStudio2 анализ конкурентов проводится довольно легко.
4. В программе присутствует планировщик. Каждое действие вы можете запланировать. Удобно если нужно перенести парсинг на ночь.
5. AddStudio 2 сохраняет все исследования привязывая их к дате. Вы всегда сможете открыть и сравнить отчеты. Кстати, все отчеты экспортируются в разные форматы txt, html, xml, xls для последующей обработки.

В программе еще большое количество полезного функционала, все в одной статье не опишешь, тестируйте сами. статью буду поправлять с учетом выхода новых версий и исправления существующих ошибок.

О стоимости AddStudio2

Программу AddStudio2 предлагают купить за 3 990 руб.. Много это или мало, не знаю. Мое мнение, если программа начнет развиваться больше в сторону профессионального использования, то это не деньги за такой комплекс аналитики. В любом случае, тестируйте программу  перед покупкой.

Если есть вопросы по программе, спрашивайте, всегда рад помочь.

Код для открытия скрытого содержания в статьях блога 22423
Данный код действителен до 25.01.12 20:08.

Подборка статей по теме:

• Обзор Xweb Human Emulator программа web автоматизации (6)
• Обзор SERP Parser – программа определения позиций блога в поисковиках (4)
• Расследование, валидность SEO блогов (11)
• Расследование по SEO блогам буржунета, как они прописывают теги. (5)
• Ошибки верстки приводят к бану страниц в Google (30)

Ни для кого не секрет что WordPress с каждой версией все больше требует ресурсов хостинга. Это нормально, исходя из того функционала который предоставляет WordPress неискушённому в программировании пользователю. Но вот в локализации WordPress разработчики переусердствовали.

Ранее, до версии 2.9.2, данную проблему исправлял файл русификации от Lecactus. На момент написания статьи актуальна версия 3.0.2, но русификатора от Lecactus все нет.

Какие есть варианты оптимизации русификации WordPress?

Погуглив на эту тему, я нашёл 2 интересных плагина “WPLANG Lite” и “Pure PHP Localization” от русского программиста Сергея Бирюкова. Протестировав эти плагины я решил поделится своими мыслями и результатами с вами. Кстати, услуга оптимизации русификации идёт в базовом комплекте услуги Блог под ключ.
Ниже, таблица с результатами тестов, в которой я сравнил прожорливость двух версий WordPress 2.9.2. и 3.0.2 и оптимизацию русификации с помощью плагинов и файла от Lecactus.

В начале краткое описание теста:

1. Тест проводился на локальном сервере в Denwer
2. Были загружены и установлены с одинаковыми минимальными настройками WordPress 2.9.2. и 3.0.2.
3. Тема для тестов использовалась для 2.9.2 – Default, 3.0.2 – Twenty Ten
4. Показатели снимались в начале без плагинов, потом подключив плагины и виджеты – Akismet + виджет, NextGen + виджет, All in One SEO Pack, TinyMCE Advanced
5. Расшифровка аббревиатур:
   1. Стандарт, главная – главная страница сайта  без оптимизации со стандартными настройками WP.
   2. Стандарт, админка- главная страница админки сайта  без оптимизации со стандартными настройками WP.
   3. WPLL – подключён плагин WPLANG Lite
   4. PPHPL – подключён плагин Pure PHP Localization
   5. WPLLF – сгенерирован файл русификации плагином WPLANG Lite и сам плагин отключен.

Выводы по результату тестирования двух версий WordPress:

1. К сожалению русификатора от Lecactus для версии WordPress 3+ еще нет. Как появится я обязательно добавлю показатели в данную таблицу.
2. Версия WordPress 3.0.2 потребляет в среднем на 1,5 мб. памяти больше чем WordPress 2.9.2
3. Версия WordPress 3.0.2 делает на 1-2 запроса к базе меньше чем WordPress 2.9.2
4. Используя плагины оптимизации русификации для WordPress, скоращение потребления памяти в среднем на 3,5 мб.

Мои мысли по поводу русификации от Lecactus.

Спасибо Сергею Бирюкову за два замечательных плагина. Мое мнение, нет необходимости ждать очередной русификатор от Lecactus, плагины в полной мере решают поставленную задачу.

Расскажу как правильно подключить плагины для максимальной оптимизации русификации, по шагам:

1. Открываем файл wp-config.php и проверяем чтобы была раскомментирована строка

   define ('WPLANG', 'ru_RU');

2. Качаем плагины “WPLANG Lite” и “Pure PHP Localization” по данным ссылкам, но пока не подключаем.
3. Активируем WPLANG Lite и проверяем появился ли в папке на сервере /wp -content/languages/ файл ru_RU_lite.mo. Если нет, выставтье права CHMOD на директорию /languages/ 755 или 777 и повторите активацию.
4. После появления файла ru_RU_lite.mo деактивируем плагин WPLANG Lite.
5. Правим файл wp-config.php, закомментировав строку:

   //define ('WPLANG', 'ru_RU');

   А вместо нее пропишите вот такую строку:

   if (strpos($_SERVER['REQUEST_URI'], 'wp-admin')) define ('WPLANG', 'ru_RU'); else define ('WPLANG', 'ru_RU_lite');

6. Активируем плагин Pure PHP Localization

Все, на этом ваша оптимизация русификации WordPress завершена.

Для тех кто хочет поподробнее узнать или обсудить плагины, ссылки ниже:

Обсуждение плагина WPLANG Lite

Обсуждение плагина Pure PHP Localization

Если есть вопросы по оптимизации всегда рад ответить в комментариях.

Код для открытия скрытого содержания в статьях блога 22423
Данный код действителен до 25.01.12 20:08.

Подборка статей по теме:

• США хостит зону .ru (8)
• Расследование, валидность SEO блогов (11)
• Расследование по SEO блогам рунета, как прописывают теги. (13)
• Расследование по SEO блогам буржунета, как они прописывают теги. (5)
• Ошибки верстки приводят к бану страниц в Google (30)

wpAutomateSEO - продолжение и полностью переписанная версия скрипта SEO, для автоматической оптимизации блога на WordPress под поисковое продвижение. Старую версию скрипта можно посмотреть здесь Description и keywords без плагинов в WordPress. Новая версия скрипта полностью переписана, с учётом современных тенденций поисковой оптимизации блогов и решает множество проблем дублирующего контента.

Идея SEO скрипта для WordPress

К моему сожалению, платформа WordPress ещё далека от достаточной оптимизации для продвижения. Конечно, платформа предоставляет массу средств для SEO, но чтобы воспользоваться всем функционалом, пользователю придётся стать программистом и потратить кучу сил и нервов для реализации задуманного.

Главная идея скрипта wpAutomateSEO – максимальная автоматизация процесса генерирования уникальных мета-тегов и заголовков, закрытия дублирующего контента от индексации поисковиками. Подключая скрипт, вы из “коробки” получаете максимально оптимизированный по мета-тегам ресурс.

Разработчики тем для WordPress, получают удобный инструмент оптимизации своих шаблонов, непосредственно в комплекте, без подключения и настройки сторонних плагинов.

Note: There is a poll embedded within this post, please visit the site to participate in this post's poll.

Основные преимущества и недостатки SEO скрипта wpAutomateSEO

1. Как я уже говорил, это не плагин, это скрипт. Вы подключаете его в файле function.php одной строкой и пользуетесь без дополнительных телодвижений. Скрипт оптимально настроен для оптимизации и сразу включается в работу после подключения.
2. Скрипт совместим с другими аналогичными плагинами. Импортирует ранее указанную информацию из плагинов Platinum SEO, wpSEO, All in One Seo, Light SEO  о мета-тегах и использует её по назначению. Вы можете не беспокоится о потере данных в мета-тегах, при отключении данных плагинов.
3. Все мета-теги уникальны. Скрипт решает проблему с мета-тегами и title для постраничной навигации. Теперь нет необходимости закрывать постраничную навигацию главной страницы и навигацию при разделении статьи на части.
4. В скрипте реализована очистка мета-тегов, что исключает проблему дублирования.
5. Скрипт оптимизирован по нагрузке на сервер. По результатам тестов нагрузки на сервер, увеличение памяти на 15 кб. Скрипт практически не создаёт нагрузку, по сравнению с аналогами.
6. В зависимости от настроек, скрипт автоматически закрывает от индексации дублирующие страницы (метки, архивы, поиск и т.д.). Это поможет вам избежать санкций от поисковиков и предоставить посетителям удобный функционал.
7. Самое важное преимущество, актуальное для рунета под Яндекс, автоматическое закрытие от индексации ссылок на закрытые страницы. Данную проблему многие видят в панели вебмастера Яндекс. В панели появляются замечания об открытых ссылках на закрытые от индексации страницы. Теперь поисковый робот будет тратить свои ресурсы только на актуальный контент вашего блога. Это увеличит число проиндексированных страниц роботом за одно посещение.
8. И ещё одно преимущество, в панели редактора, под самим редактором появилась панель для индивидуального прописывания мета-тегов к статье. Да, такая панель есть почти у всех аналогичных плагинов. Но панель скрипта более информативна и интерактивно даёт рекомендации по оптимальному количеству символов, слов и фраз для мета-тегов.
9. Недостаток скрипта пока я вижу только один. Т.к. это не плагин, то о новых версиях скрипта вы узнаете, подписавшись на новости моего блога, по RSS. Я уверен, для вас это не сложно.

Проблемы и решения SEO автоматизации

1. Есть проблема с автоматическим, полным, закрытием ссылок постраничной навигации от индексации. Скрипт закрывает ссылки только “Вперед” и “Назад”. Но вот ссылки 1 2 3 4 5 и т.д. скриптом не закрываются. Это связано с генерацией ссылок самими плагинами. Единственное,  пока найденное мной решение  – доделка данных плагинов с добавлением функционала. На данный момент добавлен функционал в последнюю версию популярного плагина wpPageNavi.
   

   На картинке видно, что добавлены опции для выборочного запрета индексации постраничной навигации разделов блога. В ближайшее время я напишу автору плагина с просьбой внести данный функционал в его плагин.

2. Вторая проблема, которой я пока не нашёл решения, также связана с закрытием ссылок постраничной навигации разделённых на части статей. Статьи, тесты которых разделены на части тегом nextpage имеют свою постраничную навигацию. Решение данной задачи пока не найдено и, надеюсь, будет реализовано в следующей версии.
3. При поверхностных тестах новой таксономии в WordPress 3, проблем работы скрипта не выявлено. Все работает. Но, к сожалению, полностью протестировать таксономию пока нет возможности. Надеюсь на ваши отзывы в комментариях.

Скачать скрипт SEO автоматизации wpAutomateSEO

Для всеобщего пользования выложена только облегчённая версия скрипта.
Ограничения облегчённой версии:

1. не присутствует закрытие ссылок и страниц блога от индексации.
2. нет удобной панели под редактором

Для многих разработчиков этого функционала достаточно, остальное можно добавить самому.

А для пользователей, можно получить полную версию двумя способами:

1. Все мои клиенты, заказавшие какую либо услугу, от 30$, получают полную версию скрипта с установкой.
2. Для остальных желающих:
   1. Опубликуйте на своём ресурсе статью-обзор о скрипте wpAutomateSEO. Сайт обязательно должен быть индексируемый поисковиками, и создан для людей.
   2. Статья должна быть не менее 1000 символов, с открытой ссылкой на данную страницу.
   3. Пришлите мне письмо со ссылкой на опубликованный обзор, в ответ я вышлю вам полную версию.
   4. Для особо отличившихся (статья очень понравилась, статья размещена на авторитетном форуме или в соц. сети), я вышлю подправленный мной плагин постраничной навигации wpPageNavi, с функциями закрытия ссылок постраничной навигации от индексации.

Скачать облегченную версию скрипта wpAutomateSEO

• Подключение

  • Требования для работы скрипта:
    Скрипт тестировался на WordPress версий 2.9 – 3.01
    В более ранних версиях проблем быть не должно, но отзывы по тестам принимаются

    Подключение скрипта:

    1. Перепишите данный файл в каталог с файлами вашего шаблона
    2. Откройте в редакторе файл functions.php и в конце файла вставьте строку <?php include_once "seo.php"; ?>
    3. Удалите все мета-теги title, description, keywords в файле header.php или включите в настройках скрипта "clean_meta"=>1.
    4. Проверьте имеется ли в файле header.php строка <?php wp_head(); ?> если нет – внесите.
    5. Для автоматической чистки хедера необходимо, чтобы тег wp_head(); находился перед </head>
    6. Пропишите главные title, description, keywords для всего сайта в настройках скрипта.
    7. Измените, если желаете, настройки скрипта на свой вкус.
    8. Скрипт готов к работе.

    Это все, что нужно для работы скрипта.

• Опции и настройки

  • Опции для настройки скрипта:

    **** Очистка header шаблона ******
    Внимание, для правильной очитки хедера в шаблоне, wp_head() должен стоять в самом конце хедера, перед <head>
    в случае проблем установите параметры ниже, вручную удалите в шаблоне вывод мета-тегов.
    ‘clean_meta’ =>1, Исключаем дублирование мета-тегов (title,description,keywords), которые уже есть в шаблоне.
    ‘clean_code’ =>0, Чистка хедера от комментариев и переносов строк. Внимание, данная функция может удалить полезные комментарии. ПРОВЕРЯЙТЕ после включения функции.

    **** Мета-теги для главной страницы ******
    ‘title_home’ =>”, Пусто для авто генерации title на главной, или впишите title через запятую, если не нужна авто генерация.
    ‘descr_home’ =>”, Пусто для авто генерации description на главной, или впишите description через запятую, если не нужна авто генерация.
    ‘key_home’ =>”, Пусто для авто генерации ключей на главной, или впишите ключи через запятую, если не нужна авто генерация.

    **** Подстановочные переменные ******
    ’sep’ =>’|', Разделитель для title
    ‘nsep’ =>’,', Разделитель для нумерации
    ‘prefcat’ =>’Рубрика -’, Префикс для рубрики, который идет перед названием рубрики.
    ‘prefarh’ =>’Архив за’, Префикс для рубрики, который идет перед названием рубрики.
    ‘preftag’ =>’Метка -’, Префикс для рубрики, который идет перед названием рубрики.
    ‘prefavt’ =>’Статьи автора:’, Префикс для рубрики статей автора, который идет перед названием рубрики.
    ‘prefserch’ =>’Результаты поиска по запросу -’, Префикс для страницы поиска.
    ’stranica’ =>’Страница ‘, Префикс постраничной навигации в страницах и постах тега nextpage.
    ‘chast’ =>’Часть ‘, Префикс постраничной навигации в страницах и постах тега nextpage.
    ‘titl404′ =>’Ошибка 404, страница не найдена’, title для страницы ошибки

    **** Схемы для генерации title ******
    %npage% - нумерация страниц
    %nsep% – разделитель для нумерации
    %prefpag% – префикс для страницы, заменяется на подстановочные префиксы из блока выше.
    %titlcur% - title текущей страницы
    %sep% - разделитель
    %tithom% - title главной страницы
    ’scheme_hom’ =>’%npage%%nsep% %tithom% ‘, Схема генерации title для главной
    ’scheme_cat’ =>’%npage%%nsep% %prefpag% %titlcur% %sep% %tithom%’, Схема генерации title для рубрик
    ’scheme_arh’ =>’%npage%%nsep% %prefpag% %titlcur% %sep% %tithom%’, Схема генерации title для архивов
    ’scheme_tag’ =>’%npage%%nsep% %prefpag% %titlcur% %sep% %tithom%’, Схема генерации title меток
    ’scheme_avt’ =>’%npage%%nsep% %prefpag% %titlcur% %sep% %tithom%’, Схема генерации title авторов
    ’scheme_serch’=>’%npage%%nsep% %prefpag% %titlcur% %sep% %tithom%’, Схема генерации title поиска
    ’scheme_post’ =>’%npage%%nsep% %titlcur% %sep% %tithom%’, Схема генерации title для страниц и статей

    **** Настройки генерации мета-тегов ******
    ‘nodeskrp’ =>0, Запретить description ресурса, поставьте 1 для запрета
    ‘nokeywrds’ =>0, Запретить keywords ресурса, поставьте 1 для запрета
    ‘noforms’ =>0, Запретить форму под редактором, поставьте 1 для запрета
    ‘impold’ =>1, Импортировать данные из старой версии скрипта (только настройки title,description,keywords для внутренних постов. Остальные указывайте в настройках скрипта)
    ‘impplug’ =>1, Импортировать данные из плагинов: Platinum SEO, wpSeo, All in One Seo,Light SEO (только настройки title,description,keywords для внутренних постов. Остальные указывайте в настройках скрипта)
    ‘kolhomkey’ =>15, Количество ключевых слов на главной странице. Если не указаны слова в key_home
    ‘kolpagkey’ =>9, Количество ключевых слов на внутренних страницах.
    ‘koldeskpost’ =>23, Количество слов для description в публикациях при автоматической вставке.
    ‘descpos’ =>1, С какого по счету предложения в посте начинать формировать description

    **** Закрываем от индексации разделы блога в мета тегах, ссылки и постр. навигацию ******
    ‘noindxhpag’ =>0, Закрывать от индексации постраничную навигацию главной (Пока в разработке)
    ‘noindxpgpst’ =>0, Закрывать от индексации постраничную навигацию постов сформированных тегом nextpage. (Пока в разработке)
    ‘noindxtag’ =>1, Закрывать от индексации страницы и ссылки метки, постр навигацию
    ‘noindxcom’ =>1, Закрывать от индексации страницы и ссылки комментариев, постр навигацию
    ‘noindxcat’ =>0, Закрывать от индексации страницы и ссылки рубрики, постр навигацию
    ‘noindxarh’ =>1, Закрывать от индексации страницы и ссылки архива, постр навигацию
    ‘noindxavt’ =>1, Закрывать от индексации страницы и ссылки авторов, постр навигацию
    ‘noindxsch’ =>1, Закрывать от индексации страницы и ссылки поиска, постр навигацию
    ‘nofollnk_blgrl’ =>1, Закрывать выборочно от индексации ссылки в блогролле, если при добавлении ссылки в админке атрибуты поставить все в НЕТ, то будет nofollow
    ‘nofollnk_blgrlall’ =>0, Закрывать от индексации все ссылки в блогролле. Отменяет предыдущую опцию и закрывает все ссылки в блогролле.

• История и планы

  • История:
    12.10.2010 – выход версии 2.5,

    1. Исправлены мелкие недочеты.

    22.09.2010 – выход версии 2.4,

    1. исправлена ошибки в полной версии с дублированием в ссылках атрибута rel.
    2. отменил конвертацию символов в html сущности в  тайтлах
    3. добавлен параметр %blog_name% который подставляет только название блога прописанное в админке. Для использования в схемах.
    4. Исправлены мелкие недочеты.

    22.09.2010 – выход версии 2.1,

    1. исправлена ошибка с генерацией title на главной при указании title в настройках скрипта.
    2. добавлено автоматическая конвертация не безопасных символов в html сущности

    21.09.2010 – выход второй, обновлённой версии скрипта под названием wpAutomateSEO.
    07.10.2009 – выход первой версии скрипта SEO. скачали 440 раз.

    Планы:
    Для всех версий:

    1. Жду отзывов, на основании которых будет улучшен и расширен функционал скрипта.

    Для полной версии:

    1. Добавление панели создания “Цитата ” для рубрик. Исключает дублирование контента Главная-Рубрики.
    2. Закрытие ссылок постраничной навигации от индексации или создание генерации навигации в самом скрипте
    3. Создание еще более информативной панели под редактором, на основании отзывов о ее работе.

    Ваши замечания и пожелания по скрипту приветствуются в комментариях к данной странице.

Когда-то я купил полную версию плагина wpSEO. До сегодняшнего дня, плагин отлично поработал на моём сайте. Теперь я перехожу  на свой скрипт – wpAutomateSEO, что и вам советую.

Note: There is a poll embedded within this post, please visit the site to participate in this post's poll.

Код для открытия скрытого содержания в статьях блога 22423
Данный код действителен до 25.01.12 20:08.

Подборка статей по теме:

• Использовать description и keywords или нет? За и Против. (12)
• Description и keywords без плагинов в WordPress (31)
• Удаляем ревизии, плагин DelRevision – удаление ревизий в WordPress (76)
• Страница плагина – виджета WP_Anons (31)
• Статистика RSS – русский FeedStats, описание и перевод плагина. (5)

Что случилось? Где искать проблему?

Бан в Google произошел на 8й день после полного обновления дизайна и структуры блога, и на 3й день после полного обновления самой страницы. После таких глобальных изменений, я не представлял себе, где искать причину бана страницы. Неужели весь мой труд ушел “коту под хвост”?

Как я искал причину бана страницы в Google.

Техника поиска проблемы проста, двигаться  “От общего к частному”. Данный метод позволяет логическими цепочками выявить проблемное место. Мне это часто помогало.

1. Первое, что пришло в голову – глобальные изменения дизайна, структуры, перелинковки, это и есть причина бана.
   Как проверить?
   Я пошел смотреть статистику в панелях вебмастера Google и Yandexa, и проверять позиции по другим страницам. Как оказалось, в Яндексе все было ОК, страница в поиске.  В Google есть проседание по некоторым запросам и практически полное отсутствие запросов, связанных со страницей  Заказать блог под ключ. Один из запросов оказался в поиске, но смотрел уже не на эту страницу, а на Главную. Проблем в панелях вебмастера, как в Гугле так и в Яндексе, не обнаружено. Никаких претензий или сообщений нет.
   Все это означало, что проблема не глобальная по блогу, а местная и связана именно с этой страницей. Это меня обрадовало.
2. Вторая мысль, перед глобальным изменением страницы Заказать блог под ключ, я вывесил заглушку на эту страницу и изменил ее URL, на более релевантный будущим запросам. Конечно с 301 редиректом. Заглушка провисела 5 дней, с парой строк текста. Может быть после этого Гугл обиделся и решил забанить страницу, но как-то не логично.
   Как проверить эту гипотезу?
   Я внимательно изучил график позиций в поисковой выдаче, сразу по нескольким запросам, по периодам. Обнаружил, что при отсутствии контента в странице, позиции просели, по запросам касающимся именно этой страницы, примерно на 10 позиций.  После появления обновленного контента, позиции практически вернулись на прежние места, продержались 3 дня и пошло обрушение.
   Вывод, проблема где то в самой странице. Теперь попробуем сузить поиск.
3. Третья мысль, на странице много текста. Я действительно полностью переписал данную страницу и текста стало намного больше чем было ранее, около 26000 символов только текста, не включая окружение. Причем в странице задействованы скрипты и css, скрывающие часть контента в разворачивающихся блоках. Возможно Гугл такой текст не охотно индексирует, а скрытые блоки добавили недоверия к странице и приводят к бану.
   Как проверить?
   Я пошел искать по инету сайты с большим количеством текста на страницах.  Далеко идти не пришлось. У одного из моих клиентов, которому я делал блог, было несколько страниц с еще большим количеством символов. Я узнал, по каким запросам он продвигает свои страницы и посмотрел выдачу. Все ОК. Данные страницы нормально висели в топе выдачи по данным ключевикам. Но вот только таких вкладок как у меня, у него не было. На старой странице у меня тоже были вкладки и все было ОК. Да и на многих ресурсах сейчас можно встретить вкладки.
   Вывод, страницы с большими текстами и раздвижными блоками для Гугла не проблема. Интуиция мне подсказывала, что проблема в другом.
4. Чисто интуитивно, я кликнул на странице в браузере правой кнопкой мыши, выбрал “Исходный код страницы” и стал его просматривать. При беглом осмотре, ничего не найдя, собирался уже закрыть страницу кода, когда мне на глаза попался текст title в header страницы. Он явно не совпадал с тем текстом, который был в заголовке браузера. Как такое может быть? И тут, я обнаружил первую ошибку, в странице было два title! Потом, я прогнал еще страницу через валидатор Markup Validation Service и обнаружил еще ошибки.
   Вывод. Это первая проблема, с которой необходимо начать возвращать страницу к жизни после бана. Исправляем и смотрим результат.
   Из заголовка поста вы поняли, что это и есть причина бана страницы в Google, о которой я расскажу далее.

Как я исправлял ошибки и где был источник

1. Первым делом нужно было найти источник появления двух title. Тут все просто. Первый title прописан в коде шаблона, а вот второй ставиться плагином wpSeo. Но почему раньше этой проблемы не возникало? Просто потому, что много месяцев назад настроив данный плагин я уже забыл, какие опции, на что влияют. В данном плагине есть одна интересная опция, она проверяет на дублирование мета-тегов и убирает лишние. Подсказка у данной опции на английском и с непонятным описанием. После обновления блога я конечно же перенастраивал все плагины и отключил данную опцию в плагине.
2. Чтобы не получить данную ошибку в будущем и гарантированно иметь только один title, я удалил прописанный в шаблоне динамический title. Советую и вам обратить внимание на данную проблему. Если вы используете плагины для генерации title и мета-тегов, не исключено что и у вас могут появиться данные проблемы.
3. И самым последним, я подчистил все возможные ошибки в верстке, которые нашел валидатор. Их оказалось не много и связаны были в основном с разметкой. Некоторые теги были не закрыты, у некоторых одиночных тегов не стоял в конце слеш и т.д. Остались ошибки, связанные с кодом плеера Youtube, странно, что их код не валиден, но это не критические ошибки и не должны влиять на поисковую выдачу.

Результат изменений и возвращение к жизни после бана

После исправления всех ошибок, я стал ждать очередного прихода робота от Google. Но к моему сожалению,  робот, посещая мой блог, все время обходил обновленную страницу стороной. Я попробовал стандартные средства. Обновил страницу в редакторе, с пингом в Гугл, обновил sitemap.xml в панели вебмастера Гугла. Ничего. Гугл посещает каждый день кучу страниц моего блога, но эту обходит.

Через пару дней я применил проверенный способ, изменил адрес в 2х внешних ссылках (беках) на мой сайт, которые до этого смотрели на главную и направил их на мою обновленную страницу. Ссылки довольно жирные. Результат получил в тот же день. Робот Гугла зашел на страницу, аж 2 раза. Видно ему понравилось обновление страницы.

Я думал, что для возврата позиций, после бана,  потребуется как минимум несколько дней. Но как я удивился, когда обнаружил в поиске свою страницу уже через 4 часа после прихода робота. Вот это оперативность!

Я проверил все запросы, которые касались данной страницы и как оказалось, позиции в Google выросли существенно. Одни запросы получили первые места, другие вторые. В основном 1-2 места. Раньше у этих запросов были 1-6 места. Вот спасибо!

Выводы:

1. Ошибки в коде страницы существенно влияют на поисковую выдачу страницы в Google, вплоть до временного бана страницы. Есть подозрение, что из-за этого могут просесть в выдаче и другие страницы блога.
2. Ошибки в коде страницы не влияют на поисковую выдачу страницы в Yandex. Страницы блога не поменяли своих позиций. Причем в снипете используется второй по счету title. На данный момент в снипете находится не обновленная информация со старой страницы с ошибками. Возможно в Яндекс обновление поисковой выдачи происходит не так быстро как в Гугле и нужно подождать. Позже отпишу здесь о результатах.
3. Необходимо стараться использовать валидные шаблоны и почаще проверять страницы на валидность. Я заметил, что сам редактор WordPress иногда любит создавать ошибки, особенно если неправильно использовать вставку текста из Word.
4. Нужно отслеживать корректность изменений, которые вносят плагины. Ошибки возможны не только из-за не правильной работы самого плагина, но и из-за неправильной их настройки.
5. К счастью, после исправления ошибок, страницы быстро возвращаются на свои места в поисковой выдаче, с бонусом. Что очень радует.

Для тех кому интересно, чем я отслеживаю поисковых роботов, даю ссылки на 2 плагина:

1. Crawl Rate Tracker – плагин выводит в админке минимальную статистику по заходам роботов. Минусы: некоторые поисковики приходится добавлять в код плагина вручную. У меня работал с глюками, в частности, не работал график.
2. Bot Tracker – это не просто плагин, это целый комбайн по отслеживанию роботов с интеграцией в WordPress. Я использую его. Но с ним также есть проблемы. Не на всех хостингах он просто подключается. На моем, в частности, пришлось помучаться, пока я смог его подключить. Но в остальном его работа мне нравится. Он показывает не только статистику посещения роботами, но и статистику по индексации, ключевым словам, попыткам взлома. Правда с запросами на кириллице он не дружит. Зато у него самая большая база поисковых ботов и можно добавить свои, через панель.

Надеюсь, читать было интересно и мой опыт вывода страницы из бана в Google поможет и вам.

P.S. Если у кого-то были аналогичные проблемы, с поисковой выдачей, связанные с ошибками в коде страницы, добро пожаловать в комментарии.

Код для открытия скрытого содержания в статьях блога 22423
Данный код действителен до 25.01.12 20:08.

Подборка статей по теме:

• Расследование, валидность SEO блогов (11)
• Расследование по SEO блогам буржунета, как они прописывают теги. (5)
• Обзор AddStudio 2 в выгодах и недостатках (1)
• Как правильно прописать html теги в своих темах WordPress ч.2 (8)
• Как правильно прописать html теги в своих темах WordPress ч.1 (7)

Давайте попробуем разобраться в этих новинках Яндекса .

Не большая предыстория атрибута rel=nofollow

Что такое rel=nofollow?

Rel=” “ – атарибут в ссылке <a>, указывающий отношение ссылки к целевой странице. Также есть еще атрибут Rev=” “ указывающий отношение целевой страницы к ссылке, например (ссылка с rev=”sponsor” указывает что это спонсорская ссылка). Но об этом в следующей статье.

Nofollow – статус, говорящий о том,что вы не одобряете данную ссылку.

Исходя из вышесказанного:

Rel=nofollow – определяет отношение вашей ссылки к целевой странице как не одобряемое. Применительно к поисковикам, данный атрибут указывает индексирующим роботам, что по данной ссылке не следует переходить на целевую страницу.

Rel=nofollow был введен и стандартизирован в 2005 году, в ответ на многочисленный ссылочный спам, присутствующий в блогах. Инициатором введения была поисковая система Google, источник.

Google, встречая ссылку с данным атрибутом, не следует по данной ссылке и не передает вес PR целевым страницам. Также, данные ссылки не учитывались в расчетах распределения ссылочного веса по ссылкам страницы. Но, так было до 2010 года. На данный момент, Google, также не передает ссылочный вес и не следует по ссылкам с rel=”nofollow”, но вот ссылочный вес, внутри страницы, стал распределятся и на эти ссылки но впустую. То есть, если у вашей страницы PR-10 и 10 ссылок на странице, где 5 из них закрыты, то каждая открытая ссылка передавала по 2PR на целевую страницу. Теперь каждая открытая ссылка будет передавать 1PR по открытым ссылкам и по 1PR в пустоту по закрытым. Но эта статья не о Google, вернемся к Яндексу.

Yandex, до апреля месяца 2010г., не учитывал данный статус. В рекомендациях Яндекса находим нашумевший тег <noindex>, который позволял сделать тоже самое и больше. Теперь там и nofollow.

В чем разница rel=nofollow и <noindex>

Так в чем же проблема?
Зачем Яндексу понадобилось вводить поддержку rel=”nofollow”?

Все дело в том, что тег <noindex> это личная инициатива Yandex. Данный тег нигде в мире, кроме самого Яндекс, не поддерживается и не стандартизирован. При проверке ресурса на ошибки в коде и поддержке web-стандартов, веб-мастера всегда получали “не валидный” код. То есть, ваш ресурс содержит ошибки. Но, спешу вас успокоить, это не критическая ошибка и практически ни на что не влияет. Для тех кому важен валидный код, вот структура, рекомендованная самим Yandex для валидности вашего кода:

<!--noindex-->Блок вашего закрываемого текста<!--/noindex-->


Еще одна проблема тега <noindex> в том, что зарубежные веб-мастера, не ведая о данном теге, не используют его в разработках своих плагинов к WordPress. Приходится данные плагины адаптировать под Яндексовскую реальность.
Если в комментариях блога ссылки были закрыты атрибутом rel=”nofollow”, то для Яндекса эти ссылки были открыты. Это означало, что роботу приходилось путешествовать по всем ссылкам указанным в комментариях.

Атрибут со статусом rel=”nofollow” стандартизирован и используется во всем мире для указания поисковикам, что ссылка не одобрена автором и  по ней не нужно следовать.
Например, если закрыть служебную страницу от индексации в robots.txt, а ссылку оставить открытой, робот проследует на данную страницу, но не проиндексирует ее. Зачем тогда тратить ресурсы робота на переходы по ненужным страницам? Еще есть один нюанс, если на вашу служебную страницу ведут открытые ссылки с других внешних источников, то ваша, как бы закрытая страница, попадет в поиск, даже если она закрыта в robots.txt. Об этом также расскажу в следующих статьях.

Исходя из всего этого, по многочисленным просьбам и жалобам веб-мастеров, Яндекс ввел поддержку стандартизированного W3C атрибута со статусом rel=”nofollow”. Атрибут закрывает ссылки от переходов роботом и не передает вес. Теперь многое стало проще. Но есть один нюанс. Анкоры ссылок будут проиндексированы как текст.

Зачем нужен <noindex>?

Тег <noindex> очень важен, если вы хотите чтобы часть текста, со всеми анкорами ссылок и т.д., не индексировалась и не попала в поисковую базу Yandex.
Например, у вас на странице может быть служебная информация, или блок текста с сайта, который используется как негативный пример. Вы не хотите, чтобы поисковик  связал ваш сайт с данным текстом или индексировал служебную информацию и сохранил у себя в базе. Для этого данный блок обрамляется тегом <noindex>.

К сожалению, такого инструмента для Google не существует. Вполне возможно, что Google или консорциум W3C в будущем обратят внимание на данный тег или придумают свой, и веб-мастера получат в свой инструментарий еще один полезный инструмент.

Как правильно прописать rel=nofollow и <noindex>

1. Для закрытия ссылок от индексации, с помощью rel=”nofollow”,  используется простая схема:
   <a rel=”nofollow” href=”http://www.site.com” title=”Подсказка”>Ссылка на сайт</a>
   перехода по ссылке не будет.
2. Для закрытия блока текста тегом <noindex>, со всем содержимым, в том числе и с анкорами ссылок, используется схема:
   <!--noindex-->Блок вашего закрываемого текста<!--/noindex-->
данный текстовый блок не будет проиндексирован в Яндекс, со всеми текстами ссылок.
3. Для закрытия блока текста тегом и ссылок в блоке, используется схема:
   <!--noindex-->Блок вашего закрываемого текста <a rel="nofollow" href="http://www.site.com" title="Подсказка">Текст анкор ссылки</a> Блок вашего закрываемого текста<!--/noindex-->
данный блок не будет проиндексирован в Яндекс, со всеми ссылками содержащимся в данном блоке.

Что изменилось с вводом поддержки rel=nofollow?

1. Для тех, кто ведет ресурсы для людей и не использует спам-продвижения, почти ничего не изменится. Возможно некоторое уменьшение числа внешних ссылок, закрытых с rel=”nofollow”.
2. Для тех, кто использовал в продвижении ссылочный спам (спам в комментариях, спам в форумах, соц. сетях, википедии и т.д), и у кого основная ссылочная масса, дающая ТИЦ, состояла из таких ссылок, будет существенное снижение ТИЦ и как правило, проседание в поисковой выдаче Yandex.

Источник

Кратко, о новинках апреля 2010 года в Яндекс:

1. У страницы поисковой выдачи Яндекс теперь фиксированная ширина.
2. Появились в выдаче навигационные цепочки, у некоторых сниппетов и даты публикации.
3. Появился колдунщик видео.
4. В панели веб-мастера появилась возможность просмотра статистики по собственным ключевым словам.

P.S. Теперь осталось дождаться включения поддержки Яндексом канонического атрибута rel=”canonical”, о котором я писал в статье о дублированном контенте, и многие блогеры вздохнут с облегчением.
Хорошая новость, в конце мая 2011г. Яндекс стал учитывать атрибут rel=”canonical”. Принесет это облегчение или нет, покажет время.

Код для открытия скрытого содержания в статьях блога 22423
Данный код действителен до 25.01.12 20:08.

Подборка статей по теме:

• Ошибки верстки приводят к бану страниц в Google (30)
• Как правильно прописать html теги в своих темах WordPress ч.2 (8)
• Как правильно прописать html теги в своих темах WordPress ч.1 (7)
• Как не допустить дублированный контент в WordPress (41)
• Использовать description и keywords или нет? За и Против. (12)

Дублированный контент – одинаковый текст или часть текста, к которому можно обратиться по разным URL. Дублированный контент может располагаться как в пределах одного ресурса, так и на просторах всего интернет.

Проиллюстрирую:

1. Ссылка на созданный пост имеет вид http://www.site.ru/post.html
2. Многие блоггеры используют кроспостинг для повышения тематической ссылочной массы и для быстрой индексации, возьмем, к примеру, бесплатные блоги на livejornal, ссылка будет выглядеть так: http://site.livejornal.ru/post.html
3. Если у вас украли статью или вы сами разместили ее на каком-либо ресурсе с обратной ссылкой, опять же тот же текст можно прочесть по новой ссылке: http://www.othersite.ru/post.html
4. Часто на главной странице своего сайта выводят несколько последних статей в полном виде. Получается дубль текста вашего поста по ссылке: http://www.site.ru/
5. Если статей много, то создается постраничная навигация, новые статьи вытесняют старые статьи на последующие страницы. Если вы используете полный вывод статьи на главной, то ваш пост можно будет прочитать по ссылке:  http://www.site.ru/page.html/page/2
6. Такая же ситуация, как и с главной страницей, и для Рубрик сайта. Если вы отдаете статьи полностью в Рубрики, значит, появляется новая ссылка со страницы рубрики: http://www.site.ru/category/
7. Страницы архива также, как и рубрики, дублируют контент: http://www.site.ru/2010/, но при этом, даже если у вас выводится часть статьи или цитата, то в архиве вы все равно получите дублирующую ссылку вида: http://www.site.ru/2010/post.html
8. Страницы тегов полностью аналогичны страницам рубрик: http://www.site.ru/tag/nametag/
9. В этот комплект дублей добавляет еще свою ссылку Поиск по сайту: http://www.site.ru/?s=search
10. И даже на самой странице поста можно получить как минимум 2 ссылки, дублирующих контент:
    1. Ссылка появляется при большом количестве комментариев и включении режима постраничной навигации по комментариям, вида: http://www.site.ru/page.html/comment-page-1#comments
    2. Ссылка появляется если у вас длинная статья, и вы решили разделить ее на несколько частей тегом <!–nextpage–>, который вставляет постраничную навигацию еще в сам пост. Ссылка на 2 страницу поста будет иметь вид: http://www.site.ru/page.html/2

Что в результате?

В результате, при неумелом пользовании функционалом WordPress, вы рискуете получить как минимум 8 дублирующих ссылок одной статьи внутри самого ресурса + дубли с размещения статей на внешних ресурсах.

Как правильно настроить и организовать ваш блог на WordPress, не создавая дублированного контента?

Начнем по порядку пунктов указанному выше:

1. На страницах постов, статических страницах, всегда используйте мета-тег rel=’canonical’. Он позволяет указать поисковикам правильный источник контента внутри сайта и для многих внешних ресурсов.
2. Старайтесь при кроспостинге, все-таки не отдавать всю статью ресурсу. Урежьте ее как минимум до 50%. Обязательно проставляйте ссылки на источник, 2-3 штуки, с разными анкорами. Если есть возможность изменять на мета-теги на кроспостинговом ресурсе, уберите мета-тег rel=’canonical’.
3. Если вы размещаете статью на внешних ресурсах и нет возможности ее уникализировать, действуйте по принципу п.1 + измените хотя бы некоторые абзацы вашего текста. Обязательно проставляйте обратные ссылки на вашу статью – источник и сам блог. Эта рекомендация часто помогает при воровстве контента. Т.к. многие воры копируют контент на автомате,специальными скриптами и в большинстве случаев ссылки не затираются.
4. Практически с самого начала существования WordPress, разработчиками был продуман функционал, который позволял вывести на главной текст на вашу статью без дублирования контента.
   Зайдите на страницу редактора в админ – панели WordPress. На странице, под самим редактором найдете вкладку «Цитата (Excerpt)». Вот она и предназначена для вывода анонса статьи на главной, в рубриках, архиве, поиске и т.д. При создании статьи используйте это поле для создания уникального анонса статьи, который будет мотивировать посетителя кликнуть по ссылке «Читать далее» и прочесть вашу статью.
   Кроме исключения дублей у поля «Цитата», есть еще одна полезная особенность, этот текст вы можете оптимизировать под ключевые слова необходимые для Главной, Рубрики и т.д.
5. Постраничную навигацию, навигацию по комментариям, Архивы, Теги, поиск по сайту лучше всего закрыть от индексации в robots.txt:
   Disallow: */comments*
   Disallow: /search
   Disallow: /?s=*
   Disallow: /author/*
   Disallow: /tag/*
   Disallow: /trackback
   Disallow: /20*/*
   Disallow: /page/*
   Disallow: /comment-page*
   Disallow: /*?replytocom*

1. От дублирования контента в Рубриках избавляемся тем же способом, как и для Главной страницы блога. Либо закрыть и ее от индексации. Решать вам.
2. Осталась одна ссылка – дубль, возникающая при разделении страницы на части и создающая постраничную навигацию для самого поста. Как с ней бороться, пока не знаю. Мой совет, постарайтесь не использовать этот функционал. Лучше разделите статью на реальные части и создайте для каждой части отдельный пост.

При шаблонном подходе, на страницах вашего сайта вы всегда найдете дублирующий контент.

Например:

• Виджеты в сайдбаре
• Шапка и подвал сайта
• Какие-то вставки в самом посте.

Важно, чтобы на каждой странице внутри вашего сайта, всегда были уникальны:

1. Заголовок страницы (title).
2. Мета – тег описания страницы (description).
3. Как минимум (мое мнение) 50% совокупного текстового наполнения страницы.

Все остальные страницы сайта, которые формируют свой контент на основании текста самих постов, должны быть закрыты от индексации.

При таком подходе, у вас наименьшие шансы получить наказание от поисковиков за дублированный контент.

Мифы связанные с дублированным контентом:

1. Ссылка с «якорем» типа http://www.site.ru/page.html#якорь создает дублированный контент для поисковиков.
   Это утверждение не верно, т.к. данный якорь всего лишь позиционирует страницу в окне браузера при переходе по ссылке и не является динамическим параметром. Поисковики давно уже научились отличать «якоря» от динамических параметров ссылок. Поэтому использование ссылок «Читать далее» в WordPress более чем безопасно.
2. Новый мета-тег <link rel=’canonical’ href=’ http://www.site.ru/page.html ‘ /> спасет весь мир и решит проблему дублированного контента.
   К сожалению и это утверждение не верно. Представьте ситуацию, когда вы создали статью, а кто-то ее украл в течении часа, например используя ваш RSS, и разместил у себя на новой странице сайта. У него также появится мета-тег rel=’canonical’. Если рейтинги вашего сайта примерно одинаковые, как вы думаете, как поисковики определят первоисточник? Тот к кому придет первым робот, тот и будет в выигрыше. Стопроцентного решения данной проблемы нет. Если для вас это важно, Google вам в помощь.
   Данный мета-тег скорее помогает решить проблему с дублированным контентом в пределах одного ресурса. Используя собирающие страницы сайта (рубрики, архивы, теги, поиск по сайту, главная) важно следить, чтобы у этих страниц данный тег отсутствовал. Тогда, присутствие rel=’canonical’ только в страницах статей дает весомые гарантии уникальности вашего контента.
3. Рерайт или синонимизация сделает текст уникальным.
   К счастью, поисковики научились распознавать и рерайт. Большинство сайтов использующих рерайт, банят в течении 1-2 месяцев. Я одно время увлекся рерайтом, даже купил не дешевый софт. Мое мнение, качественный и быстрый рерайт, на сегодняшний день, написание новой – уникальной статьи на ту же тему. Все остальное – впустую потраченное время.

P.S. В этой статье, я старался доступным языком объяснить, что такое дублированный контент в WordPress и как от него можно избавиться внутренним функционалом платформы. Если я что-то  упустил или вы знаете еще проблемные места в Wordpress, создающие дублированный контент, добро пожаловать в комментарии.

Жду ваших вопросов.

Код для открытия скрытого содержания в статьях блога 22423
Данный код действителен до 25.01.12 20:08.

Подборка статей по теме:

• Обзор AddStudio 2 в выгодах и недостатках (1)
• Используем rel=nofollow и noindex для Yandex (63)
• SEM. Зачем вам поисковое продвижение блога? (14)
• Расследование, валидность SEO блогов (11)
• Расследование по SEO блогам буржунета, как они прописывают теги. (5)