Рад сообщить, что вышла 5 версия программы, которая теперь называется d-zerber.

Раньше было 2 ветки программы 3х и 4х, это создавало путаницу и сложности в поддержке пользователей и развитии программы.

В программе были устаревшие системы лицензирования, обновления и установки. Это так же затрудняло развитие программы и усложняло ее использование. Все это не могло продолжаться бесконечно и вот наконец вышла новая версия программы.

У программы появился свой собственный сайт, все материалы теперь будут собираться на нем: d-zerber.ru

Что изменилось в новой версии, можно почитать тут.

Как обновиться старым пользователям можно почитать тут.

Если у вас еще нет d-zerber, спешите купить с хорошей скидкой:

В дайджесте улучшений я поделился тем, что улучшилось в программах за последние месяцы, а сейчас пришло время рассказать о том, что планируется реализовать в ближайшее время.

Если говорить коротко, то следствием этих улучшений будут новые версии программ, а именно: d-zerber ver.5, d-zeus ver.2, d-parser ver.2, d-wp ver.3

В первую очередь я планирую обновить d-zerber. На данный момент существует 2 ветки программы 3.x и 4.x. Это путает пользователей и затрудняет разработку и обновление справки. Поэтому появится новая 5-я версия программы, которая заменит собой 3-ю и 4-ю ветки программы. Так же Zerber будет переименована в d-zerber, чтобы соответствовать неймингу других моих программ и получит новый отдельный сайт.

Свое логическое продолжение в развитии получат программы d-zeus и d-parser. Тут все просто, софт уже достаточно стабилен, чтобы наращивать новый функционал, который сделает программы еще более эффективными.

Так же в рамках этой серии обновлений я планирую объединить 2 различные ветки d-wp. Как известно сейчас никак не обновляется версия d-wp для обычных сайтов на WP, а версия для d-zeus активно развивается. В скором времени все эти улучшения, а так же много новых перекочуют на основную ветку, а редакция для d-zeus перестанет существовать.

Цербер обновится первый, а дальше начнутся обновления всего комплекса и будут выходить постепенно. По закрытию всех пунктов плана, программы сменят свои основные версии. Пользователям не нужно будет что-либо доплачивать за переход на новые версии. Обновления будут проходить постепенно и автоматически, с тестированием каждой функции.

Да, кстати, если у вас еще нет моих программ, то советую обратить внимание на горячую летнюю акцию и успеть забрать свой промокод.

Ниже я описал план развития по каждой отдельной программе.

d-zerber ver.5

Слияние всех веток программ в одну. Zerber ver.3, Zerber ver.4 => d-zerber ver.5

Исключение из программы устаревших функций:
- commander
- морфологический движок (а так же соответствующие генераторы и синонимайзеры)
- граббер rss

Исключение из программы устаревших движков:
- blogger
- Блоголет
- Liveinternet
- Livejournal
- Ucoz

Улучшение производительности.

Возможность публикации в WordPress через Web интерфейс.

Улучшение интерфейса.

Улучшение инсталлятора и системы обновлений.

Новый сайт программы.

d-zeus ver.2

Переход с SQLite на MySQL.

Переход с http на https.

Новый механизм добавления доменов, а так же новый механизм публикации статей с возможностью дозаливки.
- домены будут добавляться в менеджере доменов, при этом будет создаваться сайт с пустым WordPress (со всеми настройками сборки)
- генератор будет заливать статьи, которые необходимо опубликовать в уже установленный движок

Перенос доменов, система бэкапов и новый механизм создания сборок.
- возможность переносить домены между серверами
- возможность создания и разворачивания бэкапов
- сборки будут создаваться только на сервере, локальный инструмент d-wordpress-customizer будет убран из программы

Перенос расчета статистики на сервер.

Новый интерфейс программы.

Архитектурный задел на будущее развитие.

d-parser ver.2

Возможность использовать десктопный парсер + совмещать с серверным.

Возможность использовать прокси.

Возможность парсинга Google и Яндекс.

Поддержка большего количества языков.

Возможность парсинга большего количества элементов.

Возможность проверки на битые картинки.

d-wp ver.3

Слияние основной и d-zeus веток плагина с внедрением всех наработок.

Поддержка SSL (https).

Исключение функций имитации виджетов.

Улучшение функций кэша.

Улучшение функций для работы с SEO.

Улучшение фукнций для показа рекламы и слива трафика, интеграция клоакинга от ZTDS и Keitaro.

Новый интерфейс.

Новая структура папок.

Система обновления из админ панели.

Помимо обновлений стабильности программы так же обзавелись новыми функциями, о которых я расскажу ниже.

Увеличилась скорость генерации и заливки контента на сервера. Некоторые механизмы ускорились в десятки раз. Генерация дорвея из своих файлов, например, 100к страниц по 20к символов занимает около 3 минут, это включая создание домена на сервере, установку движка и заливку файлов.

Одним из главных нововведений стал серверный парсер, который позволил все медленные операции при генерации дорвея перенести на сервер.

Парсер же, в свою очередь, получил поддержку большего кол-ва языков.

Серверная часть под управлением d-panel стала более быстрой и стабильной. Сервера отдают контент быстрее, а нагрузку при этом создают меньше.

Плагин d-wp подолжил развитие в рамках ветки d-zeus. Но уже скоро d-zeus ветка сольется с основной и будет единая версия d-wp, которую можно будет устанавливать на любые WP сайты.

А теперь самые интересные улучшения по каждой программе отдельно.

d-wp

С даты прошлого дайджеста выпущено 16 обновлений плагина.

Самые интересные улучшения:

Теперь в head сайта можно выводить не только html, js, css и текст, но и php. Так же возможно отключить кэширование результатов выполнения php скрипта.

При выполнении php в содержимом, теперь можно использовать переменную $d_wp_title, которая хранит заголовок текущей страницы. С помощью этой функции монжно, например, передавать ключевик на ТДС.

Кэш БД полностью переведен на memcached. Ускорен кэш БД, момент, когда кэш разогревался стал проходить гораздо быстрее. Уменьшено количество обращений в БД.

Добавлена поддержка серверного парсера и генератора.

Добавлена возможность выводить количество статей в удаленном управлении. Помимо прочего выводится количество статей из очереди на генерацию.

Повышена безопасность. Теперь при неверной авторизации плагин делает искусственные задержки, чтобы еще больше сократить количество попыток перебора паролей, а также дать больше времени на анализ логов серверной защите d-panel.

Если во время генерации страницы произойдет какой-либо сбой, она не попадет в кэш.

Кэш теперь занимает меньше дискового пространства.

Добавлена возможность автоматически выводить в качестве миниатюры первую картинку из статьи.

Улучшена функция кэширования для работы с ajax запросами.

Добавлена возможность отключать проверку форм, что позволяет восстановить работоспособность ajax и других форм на закэшированных страницах.

Уменьшена нагрузка на БД при публикации отложенных статей.

d-panel

С даты прошлого дайджеста выпущено 25 обновлений панели.

Самые интересные улучшения:

Добавлено автообновление серверных версий парсера и генератора. Добавлены отчеты о состоянии сервеного генератора и парсера. Добавлена возможность просмотра логов генератора и парсера в режиме реального времени. Уменьшение нагрузки на сервер за счет синхронизации прекэшера и серверного генератора.

Улучшен механизм сбора статистики. Теперь так же собирается информация о количестве статей (всего, опубликовано, запланировано, очередь на генерацию), а так же необработанные данные по индексации, для возможности постобработки в случае смены верстки у ПС.

Добавлена полноценная поддержка IDN доменов (англ. Internationalized Domain Names — Доменные Имена на Национальных языках, например, .рф).

Добавлена возможность запрашивать статистику в реальном времени.

Увеличена отзывчивость панели при больших нагрузках на сервере. Во время активной генерации и большой нагрузки, панель лучше отзывается на команды.

Оптимизировано развертывание движка на сервере. Теперь файлы WordPress, которые являются общими для всех сайтов не дублируются в папках сайтов, а лежат в одной папке, которая к тому же закэширована в оперативной памяти. Таким образом, доступ к большинству файлов WordPress, осуществляется практически моментально. Так же это улучшение положительно сказывается на загруженности диска, уменьшая количество обращений.

Добавлена защита от утечек памяти, которые могут быть вызваны сторонними плагинами WordPress.

Добавлена функция слежения за свободным местом на диске. Теперь, если на диске осталось меньше 95% свободного места, d-panel очистит часть кэша d-wp, чтобы обеспечивать работоспособность системы.

d-parser

С даты прошлого дайджеста выпущено 8 обновлений парсера.

Самые интересные улучшения:

Появилась стабильная версия серверного парсера, которая сейчас используется при генерации контента Зевсом.

Улучшено соответствие языка собираемых предложений поисковому запросу.

Добавлена поддержка новых языков: испанского, немецкого, французского, итальянского, шведского, украинского, польского.

d-zeus

С даты прошлого дайджеста выпущено 20 обновлений.

Самые интересные улучшения:

Добавлен серверный парсер и генератор. Теперь часть макросов обрабатываются на сервере. В первую очередь это макросы парсера, а так же некоторые макросы перелинковки.
Таким образом все медленные действия теперь будут проходить на сервере. Подробно это обновление описано тут (http://d-zeus.ru/versions/1.6.0).

Улучшена информативность менеджера серверов. Теперь помимо прочей информации отображается информация о лицензиях d-zeus, d-parser, d-wp и о версиях WordPress и d-wp на сервере.

Добавлена полноценная поддержка IDN доменов (англ. Internationalized Domain Names — Доменные Имена на Национальных языках, например, .рф).

Улучшена статистика. Улучшены механизмы обновления статистики, теперь программа все операции делает в фоне и намного быстрее. Полностью переписан механизм анализа логов, статистика стала более точной. По предварительным тестам показывает точнее счетчиков liveinternet. Добавлена возможность обновлять статистику в реальном времени (все кроме индекса, индекс по прежднему проверяется раз в сутки). Добавлена возможность просмотривать статистику по дням. Помимо прочих данных теперь отображается количество запланированных статей и статей в очереди на генерацию. Уменьшено место занимаемое логами. Добавлено средство очистки диска.

Добавлена поддержка мультикея.

Добавлена поддержка новых языков для парсера: испанского, немецкого, французского, итальянского, шведского, украинского, польского.

Добавлена поддержка меток для доменов и возможность фильтровать по ним.

Увеличена скорость работы генератора. Особенно эти улучшения будут заметны с источником статей "Файлы", но при обычной генерации улучшения так же будут заметны. Генератор оптимизирован для работы с большими объемами статей. Значительно ускорены функции подготовки статей и проверки на дубли.

d-zerber

Начата работа над новой версией программы. Подробности будут чуть позже.

Скачать с Яндекс.Диска

Напомню, если у вас есть какие-нибудь вопросы по d-zeus, можете обращаться в поддержку, так же у программы есть своя конференция в телеграмм.

Не так давно в конференции по дорвеям обсуждали js, с помощью которого можно определить гуглбота, а заодно выясняли заходит ли гуглбот под видом обычного пользователя или нет. Далее реальный пример.

Анализировал я логи одного своего дорвея и мое внимание привлекло поведение следующего IP:

• 66.102.8.217 - - [28/Mar/2018:03:02:04 +0300] "GET /page/ HTTP/1.1" 200 8407 "http://www.google.com/url?..." "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko"

На первый взгляд ничего необычного. Переход с гугла, браузер IE11. Дальше, как обычно ведет себя браузер пользователя в подобных ситуациях — загрузил скрипты, стили и картинки:

• 66.102.8.217 - - [28/Mar/2018:05:38:48 +0300] "GET /wp-content/themes/quickpress/style.css?ver=4.9 HTTP/1.1" 200 3893 "http://site.ru/page/" "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko"
• 66.102.8.217 - - [28/Mar/2018:03:02:05 +0300] "GET /wp-content/plugins/contact-form-7/includes/js/scripts.js?ver=4.9.2 HTTP/1.1" 200 14092 "http://site.ru/page/" "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko"
• 66.102.8.217 - - [28/Mar/2018:03:02:34 +0300] "GET /wp-content/uploads/2017/10/img.jpg HTTP/1.1" 200 732 "http://site.ru/page/" "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko"

Я обратил внимание на этот запрос, только потому что с этого IP поступали и другие запросы, но уже с другим UserAgent-ами.

• Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko
• Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko
• Mozilla/5.0 (Windows NT 6.1; Trident/7.0; rv:11.0) like Gecko

Пробил IP по Whois:

И стало понятно, что IP принадлежит Гуглу.

Бот это или нет, пока не понятно, буду изучать дальше. Было бы прикольно пробить его с помощью того же js. Как минимум это ручные заходы от сотрудников гугла (наверное это Сергей, Лари и Эрик хотели посмотреть на мои доры).

В первую очередь, хочу сказать, что проделана большая работа по внутренней инфраструктуре программ: обновлены сайты, улучшены механизмы публикации и распространения обновлений. Это уже дало результаты в том плане, что теперь обновления начали выходить гораздо чаще, практически каждый день что-нибудь да обновляется.

d-wp

После долгого перерыва началась активная разработка d-wp. Пока обновляется только редакция для d-zeus, но скоро эта редакция заменит основную версию, т.е. будет только одна единая редакция.

d-panel

Панель управления сервером d-panel полностью перешла на php 7.2.3, opcache и memcached. Это дало хорошоий прирост производительности. Кэширование запросов к БД полностью переведено на memcached. От версии к версии, панель становится все более технологичной и WordPress начинает работать все быстрее. Теперь WordPress и d-wp обновляются на серверах автоматически. Как только выходит новая версия, на всех серверах и всех дорвеях софт обновляется в течении часа. У панели начал развиваться сайт, там уже есть история версий, так же через него распространяются обновления.

d-parser

d-parser окончательно выделился в отдельную программу, у него появился свой сайт и полноценный инсталлер. Так же уже появилась первая dev-версия серверного парсера. Она пока не доступна для пользователей, т.к. тестируется и дорабатывается.

d-zeus

Не прекращаются работы по улучшению d-zeus. Программа становится все лучше и стабильнее. Обновились некоторые разделы справки, а так же добавлено несколько руководств.

• Инструкция по созданию шаблона
• Серверы для d-zeus
• Покупка первого сервера (на примере firstvds)
• Домены для d-zeus
• Привязка домена к серверу
• Инструкция по прявязке домена к серверу с помощью DNSManager (на примере firstvds)
• Шаблоны

Zerber

В планах навести порядок с Zerber. В первую очередь, конечно, навести порядок с версиями (сейчас есть две ветки, а надо, чтобы была одна и пользователи не путались) и перевести его на отдельный домен. Так же хочется научить Цербера работать с d-parser и скорректировать список движков. Еще из задач по Церберу это увеличение скорости работы: старые версии разрабатывались с учетом, что у большинства пользователей было 1-2 Гб ОЗУ, сейчас же картина изменилась и можно ускорить работу программы за счет большего использования ОЗУ.

Блог

Так же планирую писать в блог, в частности, будут статьи о дорвеях. У меня собралось много заготовок и идей, буду стараться найти время на их написание. Так же возможно сделаю пару новых видео по работе с моим софтом.

Как и обещал, представляю свой новый дорген.

Вся необходимая информация о нем собрана на сайте программы. Там вы найдете и описание и видео и справку, в общем все необходимое.

Обещанные промокоды уже начал рассылать. Если вы не получите ваш промокод в течении ближайших 3-4 часов, обязательно напишите в поддержку, все решим.

Перед покупкой обязательно читайте справку и манифест программы. Манифест создан специально для того, чтобы не было сюрпризов после покупки. В нем описаны все ограничения, связанные с программой.

Хочу отметить, что программе еще предстоит пережить то, что называют "детскими болезнями". Чтобы это сгладить, я провел довольно обширное тестирование в течении 4-х месяцев, в котором участвовало более 15 человек. Но, если вы и встретите такие проблемы, то просьба сообщать о них в поддержку программы, это будет самый быстрый путь к улучшению программы.

Еще хочу добавить, что дорвеи это довольно сложные технологии, которые требуют довольно высокого порога знаний для входа в эту область. Так происходит, потому, что еще особо никто не задавался целью сделать мощный дорген, при этом, чтобы им было удобно и главное просто пользоваться. Именно создание интерфейса, который поможет разобраться с дорвеестроительством даже новичку, без потери функционала, и стало одной из основных задач при разработке программы.