Markus Blog

Преимущества и хитрости использования виртуальных карт

2014-07-18T09:28:00.000+06:00

Предназначение виртуальных карт.
Виртуальные карты - виртуальный аналог пластиковых карт VISA и MasterCard. C их помощью вы сможете покупать товары и оплачивать услуги во всех онлайн-магазинах, принимающих к оплате обычные банковские карты.

Процесс оформления виртуальных карт.
Виртуальные карты можно выписывать и покупать. Многие российские банки позволяют создавать виртуальные карты. Но для обычного вебмастера полезнее всего будет непрямая покупка виртуальной карты или же создание оной с использованием сервисов сопровождения и выпуска международных платежных карт(например, wm-card.com).

Преимущества использования виртуальных карт.
Далеко не секрет, что многие онлайн-магазины лукавят и сохраняют не только номер карты, но код защиты, что сильно снижает уровень защиты финансовых средств клиентов. Поэтому в целых безопасности для совершения любых интернет-платежей банками рекомендуется использование виртуальных карт. Храня нужное количество денег на такой карте вы сможете в любое время вернуть средства на свой счет или заблокировать карту. При этом даже в случае взлома и доступа злоумышленников к данным такой карты потери для клиента окажутся минимальными.

Хитрости использования.
Вверху была небольшая вводная статья для тех, кто еще считает использования банковских карт небезопасным методом оплаты покупок в сети интернет или вообще до сих пор не использовал карты. Теперь перейдем к самому интересному, а именно к вопросам использования virtual card непосредственно веб-мастерами. В настоящее время широкое распространение получают методы оплаты в виде подписок, те покупаете какую-то услугу или берете тестовый доступ, например, на месяц, а выставление счета осуществляется позднее. Все бы было ничего, если бы можно было вовремя отписаться. Однако, не на всех сервисах отписка от ежемесячных платежей происходит как положено. С вас сначала спишут деньги за использование, а только потом могут перевести аккаунт с платной подписки на обычный. Поэтому в целях экономии денежных средств и нервов решил написать данную статью. Понятно, что есть много других различных применения виртуальных карт, но я опишу только два примера, как наиболее полезных для пользователя и веб-мастера. Почти 3 года назад я писал про бесплатное использование платных музыкальных сервисов. Замечу, что хотя прошло достаточно долгое время Spotify в Россию до сих пор не пришел. Однако, появился небольшой вариант как можно получить Spotify Premium бесплатно на месяц:
1) Покупаете VPN или находите бесплатный доступ и регистрируете на Spotify USA-аккаунт или любой другой. Главное, чтобы сервис был доступен в данной стране.
2) Создаете на wm-card.com виртуальную карту сроком на месяц. К концу срока действия виртуальной карты средства сразу можно вернуть на кошелек. Пополнять, рекомендую, на сумму не менее 100 рублей.
3) Заходите в Spotify. Нажимаете на "получить тестовый период" и после этого вас просят ввести платежных данные. После ввода которых, выскочит сообщение о возникших проблемах и попросят вас изменить страну или ввести другие платежные данные. Меняем страну на Малайзию (Malaysia). В поле платежных данных вбиваем информацию, полученную после покупки виртуальной карты. Секрет здесь в том, что для Малайзии доступна оплата российскими картами и цены для этой страны на порядок меньше. Проходите по пунктам каждый месяц и получаете Spotify Premium бесплатно, хотя мне больше всего была интересна возможность оплата российскими картами.
Теперь поговорим о сервисах для вебмастеров, которые предоставляют бесплатный тестовый период или у которых счета выставляются не сразу, а по окончанию месяца, но по-прежнему требующие ввода платежной информации (например, Semrush). Сразу скажу, что придется изрядно попотеть для бесплатного получения заветного аккаунта Pro:
1) Ищите в поиске промо-коды по запросам "semrush promo code". По сроку действия тестового периода как повезет, от 14 дней до одного месяца и больше.
2) Создаете виртуальную карту, если уже есть, то ничего делать не надо.
3) Регистрируетесь в Semrush, использую платежную информацию виртуальной карты и получаете бесплатно аккаунт Pro.

Всем приятного дня и спасибо за потраченное время.

Распознавание простых капч

2014-03-24T01:28:00.002+06:00

Этой статьей начинается серия статей, посвященных оптическому распознаванию символов. Тема достаточна актуальная и применить полученных знания можно будет как в своих программах, так и в чужих (например, в виде плагинов). Для первого эксперимента возьмем достаточно простую капчу и попытаемся ее распознать.

Хронология распознавания капчи в картинках.

Оригинал

Очищен фон от примесей

Обработанная капча

Предварительная обработка изображения.
Заключается, например, в изменении размера изображения. У нас размер изображения вполне комфортный. Но, если вдруг необходимо увеличить картинку, то сделать это можно так:


/// <summary>
/// Ресайз изображения
/// </summary>
/// <param name="image">Оригинальное изображение</param>
/// <param name="width">Ширина выходного изображения</param>
/// <param name="height">Высота выходного изображения</param>
/// <returns>Модифицированное изображение</returns>
public Bitmap ResizeImage(Bitmap image, int width, int height)
{
    Bitmap newImage = new Bitmap(width, height);
    using (Graphics g = Graphics.FromImage(newImage))
    {
        g.SmoothingMode = SmoothingMode.HighQuality;
        g.InterpolationMode = InterpolationMode.HighQualityBicubic;
        g.PixelOffsetMode = PixelOffsetMode.HighQuality;
        g.DrawImage(image, 0, 0, width, height);
    }
    return newImage;
}

Подготовка к программированию.
Для более приятного кодинга создадим абстракции наиболее мелких частей предметной области.


/// <summary>
/// Базовый интерфейс линии
/// </summary>
public interface ILine
{
    Point PointStart { get; set; }
    Point PointEnd { get; set; }
}

/// <summary>
/// Базовой интефейс точки
/// </summary>
public interface IPoint
{
    int X { get; set; }
    int Y { get; set; }
    Color Data { get; set; }
}

/// <summary>
/// Модель линий
/// </summary>
public class Line : ILine
{
    /// <summary>
    /// Конструктор
    /// </summary>
    /// <param name="start">Начальная точка</param>
    /// <param name="end">Конечная точка</param>
    public Line(Point start, Point end)
    {
        PointStart = start;
        PointEnd = end;
    }

    public Point PointStart { get; set; }
    public Point PointEnd { get; set; }
}

/// <summary>
/// Модель точки
/// </summary>
public class Point : IPoint
{
    /// <summary>
    /// Конструктор точки
    /// </summary>
    /// <param name="x">Координата х</param>
    /// <param name="y">Координата y</param>
    /// <param name="data">Цветовые данные</param>
    public Point(int x, int y, Color data)
    {
        X = x;
        Y = y;
        Data = data;
    }

    public int X { get; set; }
    public int Y { get; set; }
    public Color Data { get; set; }
}

Этапы распознавания капчи.
Этап I. Очистка фона.
Как можно заметить, картинка имеет светлый фон, хотя неоднородный. Поэтому, для очистки фона быстро пробежимся по пикселям и заменим все цвета, у которых значения компонентов цветовой модели RGB больше 200, на белый цвет rgb(255,255,255).


/// <summary>
/// Заполняет фон определенным цветом
/// </summary>
/// <param name="image">Изображение</param>
/// <param name="color">Цвет</param>
/// <returns>Список всех точек, включая замещенные цветами</returns>
public void FillBackground(Bitmap image, Color color)
{
    for (int y = 0; y < image.Height; y++)
    {
        for (int x = 0; x < image.Width; x++)
        {
            Color currentColor = image.GetPixel(x, y);
            if (currentColor.B > 200 && currentColor.G > 200 && currentColor.B > 200)
            {
                image.SetPixel(x, y, color);
                currentColor = color;
            }
            _points.Add(new Point(x, y, currentColor));
        }
    }
}

Этап II. Удаление шума.
Удаление шума можно производить двумя методами: универсальным и специализированным. Сразу скажу, что универсальный метод работает намного дольше. В этой статье будут использоваться оба метода очистки шума.

Метод 1. Специализированный метод удаления шума.
Взглянув на несколько десятков изображений, можно прийти к выводу, что положение сетки не меняется. Хотя то, что толщина и цвет линий сетки различны немного портит общую картину. Намного проще удалить сетку одноцветную и толщиной в 1px. Поэтому будем основываться на том, что цифры и буквы имеют более насыщенный оттенок.
Алгоритм сравнения:


/// <summary>
/// Линейно заполняет пиксели определенный цветом
/// </summary>
/// <param name="image">Оригинальное изображение</param>
/// <param name="pointStart">Начальная точка</param>
/// <param name="pointEnd">Конечная точка</param>
/// <param name="color">Цвет заполнения</param>
/// <returns>Модифицированное изображение</returns>
public Bitmap FillImageLinear(Bitmap image, Point pointStart, Point pointEnd, Color color)
{
    for (int y = 0; y < image.Height; y++)
    {
        for (int x = 0; x < image.Width; x++)
        {
            if ((x <= pointEnd.X && x >= pointStart.X) &&
                (y <= pointEnd.Y && y >= pointStart.Y))
            {
                // Диапазон насыщенности от 0.0 до 1.0, 
                if (Math.Abs(image.GetPixel(x, y).GetBrightness()
                                - pointEnd.Data.GetBrightness()) <= 0.15)
                {
                           
                    image.SetPixel(x, y, color);
                }
            }
        }
    }
    return image;
}

Очистка шума:


private void Click(object sender, EventArgs e)
{
    foreach (PictureBox control in Controls.OfType<PictureBox>())
    {
        Bitmap image = (Bitmap) control.Image;
        FillBackground(image, Color.White);
                
        List<Line> lines = new List<Line>()
        {
            new Line(new Point(5, 0, image.GetPixel(5, 0)),
                new Point(5, image.Height - 1, image.GetPixel(5, image.Height - 1))),
            new Line(new Point(66, 0, image.GetPixel(66, 0)),
                new Point(66, image.Height - 1, image.GetPixel(66, image.Height - 1))),
            new Line(new Point(26, 0, image.GetPixel(26, 0)),
                new Point(26, image.Height - 1, image.GetPixel(26, image.Height - 1))),
            new Line(new Point(25, 0, image.GetPixel(25, 0)),
                new Point(25, image.Height - 1, image.GetPixel(25, image.Height - 1))),
            new Line(new Point(46, 0, image.GetPixel(46, 0)),
                new Point(46, image.Height - 1, image.GetPixel(46, image.Height - 1))),
            new Line(new Point(45, 0, image.GetPixel(45, 0)),
                new Point(45, image.Height - 1, image.GetPixel(45, image.Height - 1))),
            new Line(new Point(86, 0, image.GetPixel(86, 0)),
                new Point(86, image.Height - 1, image.GetPixel(86, image.Height - 1))),
            new Line(new Point(87, 0, image.GetPixel(87, 0)),
                new Point(87, image.Height - 1, image.GetPixel(87, image.Height - 1))),
            new Line(new Point(107, 0, image.GetPixel(107, 0)),
                new Point(107, image.Height - 1, image.GetPixel(107, image.Height - 1))),
            new Line(new Point(106, 0, image.GetPixel(106, 0)),
                new Point(106, image.Height - 1, image.GetPixel(106, image.Height - 1))),
            new Line(new Point(127, 0, image.GetPixel(127, 0)),
                new Point(127, image.Height - 1, image.GetPixel(127, image.Height - 1))),
            new Line(new Point(126, 0, image.GetPixel(126, 0)),
                new Point(126, image.Height - 1, image.GetPixel(126, image.Height - 1))),
            new Line(new Point(0, 11, image.GetPixel(0, 11)),
                new Point(image.Width - 1, 11, image.GetPixel(0, 11))),
            new Line(new Point(0, 10, image.GetPixel(0, 10)),
                new Point(image.Width - 1, 10, image.GetPixel(0, 10))),
            new Line(new Point(0, 22, image.GetPixel(0, 22)),
                new Point(image.Width - 1, 22, image.GetPixel(0, 22))),
            new Line(new Point(0, 21, image.GetPixel(0, 21)),
                new Point(image.Width - 1, 21, image.GetPixel(0, 21)))
        };
        foreach (Line line in lines)
        {
            image = FillImageLinear(image, line.PointStart, line.PointEnd, Color.White);
        }
        string text = RecognizeImage2(image);
        control.Image = image;
        Controls.OfType<TextBox>().Single(
            c =>
                c.Name.Contains(string.Format("textbox_{0}",
                    control.Name.Split(new[] {"_"}, StringSplitOptions.RemoveEmptyEntries)[1]))).Text = text;
    }
}

Метод 2. Универсальный метод удаления шума.
Данным методом можно удалять: точки, линии, кривые, сетку. Заключается он в сравнении цвета ближайших 8 пикселей для каждого пикселя изображения. Если цвет пикселей в большей степени белый, то есть вероятность, что текущий пиксель является шумом и его следует перекрасить в белый цвет.


/// <summary>
/// Тестовый алгоритм заполнения по сравнению со смежными пикселями
/// </summary>
/// <param name="image">Оригинальное изображение</param>
/// <param name="color">Цвет для заполнения</param>
/// <returns>Обработанное изображение</returns>
public Bitmap FillImageWithSurroudPoints(Bitmap image, Color color)
{
    for (int y = 0; y < image.Height; y++)
    {
        for (int x = 0; x < image.Width; x++)
        {
            int counter = 0;

            List<int[]> surroudPoints = new List<int[]>()
            {
                new[] {x - 1, y - 1},
                new[] {x, y - 1},
                new[] {x + 1, y - 1},
                new[] {x - 1, y},
                new[] {x + 1, y},
                new[] {x - 1, y + 1},
                new[] {x, y + 1},
                new[] {x + 1, y + 1},
            };
            foreach (int[] surPoint in surroudPoints)
            {
                foreach (Point point in _points.Where(p => p.X == surPoint[0] && p.Y == surPoint[1]))
                {
                    if (point.Data.ToArgb() == color.ToArgb())
                    {
                        counter++;
                    }
                }
            }

            if (counter > 0)
            {
                image.SetPixel(x, y, color);
            }
        }
    }
    return image;
}

Этап III. Распознавание символов.
Для распознавания символов возьмем уже давно написанные библиотеки: Puma.NET и Tesseract.
Распознавание символов с помощью Puma.NET:


/// <summary>
/// Распознать с помощью Puma.NET
/// </summary>
/// <param name="image">Оригинальное изображение</param>
/// <returns>Модифицированное изображение</returns>
public string RecognizeImage(Bitmap image)
{
    string text = null;
    using (PumaPage pumaPage = new PumaPage(image))
    {
        // Выходной формат
        pumaPage.FileFormat = PumaFileFormat.TxtAscii;
        // Автоповорот изображения
        pumaPage.AutoRotateImage = false;
        // Включение словаря
        pumaPage.EnableSpeller = false;
        // Распознавать таблицы
        pumaPage.RecognizeTables = false;
        // Настройка шрифтов
        pumaPage.FontSettings.DetectBold = true;
        pumaPage.FontSettings.DetectSize = true;
        pumaPage.FontSettings.DetectItalic = true;
        // Язык текста
        pumaPage.Language = PumaLanguage.English;
        try
        {
            text = pumaPage.RecognizeToString();
        }
        catch (RecognitionEngineException)
        {
        }
    }

    return text;
}

Распознавание символов с помощью Tesseract:


/// <summary>
/// Распознать с помощью Tesseract3
/// </summary>
/// <param name="image">Оригинальное изображение</param>
/// <returns>Модифицированное изображение</returns>
public string RecognizeImage2(Bitmap image)
{
    string text = null;
    using (TesseractEngine engine = new TesseractEngine(@"./tessdata", "eng", EngineMode.Default))
    {
        using (Page page = engine.Process(image))
        {
            text = page.GetText();
        }
    }
    return text;
}

Выводы: оптическое распознавание объектов довольно сложное и увлекательное занятие, поэтому мы продолжим развиваться в этом направлении. Замечу, что процент распознавания капчи составил около 56,3%. Думаю, это вполне приемлемо.

HomeFolder - плагин для PandoraBox

2014-03-24T01:28:00.001+06:00

Плагин, открывает корневую директорию программы. Выкладывается исключительно для удобства пользователей. Кидаете библиотеку в папку Plugins. При желании можете переименовать ee, чтобы повыше в списке плагинов была.


using System.IO;
using System.Diagnostics;

namespace PandoraBox
{
    public class Program
    {
        public static void Exec(params object[] args)
        {
            Process.Start(Directory.GetCurrentDirectory());
        }
    }
}

Скачать: Яндекс.Диск | Google Drive

Краткая информация и отзыв о SpinnerChief Ultimate

2014-02-27T02:00:00.000+06:00

Продолжаем старую традицию проверять софт для поисковой оптимизации на вшивость. Сразу стоить отметить, что таких постов будет достаточно много по причине высокой цены, а также недостаточной жесткой критики SEO-продуктов со стороны русскоязычного сегмента интернета. Итак, покупка программы c учетом скидок и обновлений обошлась в $127 + $49 = $176.
SpinnerChief предназначен для рерайтинга статей (синонимизации). Поддерживает три режима переработки текста (super spin, spin, batch-spin) и три варианта использования словарей (cloud-словари разработчиков, cloud-словари сообщества, собственные или купленные). А также множество других ненужных мне вещей. Словарей, между делом, имеется огромное количество, однако, русский язык поддерживается слабо. Поэтому покупать ее, если вы не собираетесь работать за рубежом, не стоит.
При использовании софта трудностей не возникло. Понравилось, в первую очередь, качество контента, которое можно также балансировать на грани между уникальностью и читабельностью. Отлично подойдет для написания и модификации большого количества статей. Главное в этом деле - не переборщить с размером статей. Так как программа 32-разрядная, то имеется ограничение на объем занимаемой оперативной памяти. Поэтому, если набухаете достаточно много информации, то может и не переварить. Как следствие, несколько часов ожиданий, потраченных зря. Программа из-за достаточно сложной схемы реализации работает не очень быстро, то такой прокол будет стоить дорого.
Вот и все!

Регистрация доменов через SOAP-интерфейс системы регистрации R01

2014-01-23T19:53:00.000+06:00


<?php
#####################################################
# DOMAIN SNATCHER ~ 2013 | (с) Markus 
#####################################################

ini_set("display_error",1);
ini_set("error_reporting",E_ALL);
ini_set('soap.wsdl_cache_enabled', 0);
ini_set('session.name', 'SOAPClient');
ini_set('time_limit',0);

// НАСТРОЙКИ
$settings = array(
    //пользователь
    "user" => "",
    //пароль
    "pass" => "",
    //url SOAP-сервера
    "url" => "https://panel.reghouse.ru:1443/partner_api.khtml",
    //минимальный баланс на счете при котором скрипт не будет срабатывать
    "balance" => 900,
    //максимальное обращение к API 60 запросов/минута, поэтому задержка в секундах
    "delay" => 0,
    //пробовать заново зарегистровать проваленные задания
    "repeat" => false
);



class Domain{
    //название домена
    public $name;
    //нс-сервера (формат: domain ip\ndomain ip) or (domain\ndomain)
    public $ns = "host\nhost\nhost";
    //nic-handle администратора
    public $admin = 'OF_******-R01';
    //описание домена
    public $desc = '';
    //проверять ли по whois доступность домена (1 - истина (по-умолчанию), 0 - ложь)
    public $check_whois = 1;
    //скрыть ФИО (1 - скрывать, 0 - не скрывать, -1 по-умолчанию (не скрывать))
    public $hide_name = -1;
    //скрыть почту (1 - скрыть email, 0 - не скрывать, -1 по умолчанию (не скрывать))
    public $hide_email = -1;
    //контроль спама: 0 - обработка выключена, 1 -  помечать подозрительные письма, 2 - удалять подозрительные письма, -1 - по-умолчанию
    public $spam_process = -1;
    //1 - скрыть телефон, 0 - Не скрывать, -1 - по умолчанию (нескрывать)
    public $hide_phone = -1;
    //e-mail для приема голосовой почты. Если не введён - используеться e-mail администратора
    public $hide_phone_email = '';
    //идентификатор регистратора
    public $registrar = '';
    //количество лет, на которое регистрируется домен (для международных доменов). От 1 до 10. По-умолчанию: 1 год.
    public $years = 1;
    //отключить проверку DNS-серверов. 1 - отключить, 0 - не отключать, по-умолчанию: 1(только для ru/su доменов)
    public $ns_notest = 1;
    function __construct(){
        $args = func_get_args();
        $this->name = !isset($args[0]) ? $this->name : $args[0];
        $this->ns = !isset($args[1]) ? $this->ns : $args[1];
        $this->admin = !isset($args[2]) ? $this->admin : $args[2];
        $this->desc = !isset($args[3]) ? $this->desc : $args[3];
        $this->check_whois = !isset($args[4]) ? $this->check_whois : $args[4];
        $this->hide_name  = !isset($args[5]) ? $this->hide_name : $args[5];
        $this->hide_email = !isset($args[6]) ? $this->hide_email : $args[6];
        $this->spam_proccess = !isset($args[7]) ? $this->spam_process : $args[7];
        $this->hide_phone = !isset($args[8]) ? $this->hide_phone : $args[8];
        $this->hide_phone_email = !isset($args[9]) ? $this->hide_phone_email : $args[9];
        $this->registrar = !isset($args[10]) ? $this->registrar : $args[10];
        $this->years = !isset($args[11]) ? $this->years : $args[11];
        $this->ns_notest =  !isset($args[12]) ? $this->ns_notest : $args[12];
    }
    function __toString(){
        return $this->name;
    }
}

class DomainSnatcher
{
    private $client;
    private $url;
    private $user;
    private $pass;
    private $isLogged;


    function __construct($user,$pass,$url){
        $this->user = $user;
        $this->pass = $pass;
        $this->url = $url;
    }
    // Подключается к SOAP-серверу
    public function LogIn(){
        if($this->client == null){
            try{
                $this->client = new SoapClient(null,
                    array(
                        "location" => $this->url,
                        'uri' => 'urn:RegbaseSoapInterface',
                        'exceptions' => true,
                        'user_agent' => 'RegbaseSoapInterfaceClient',
                        'trace' => 1 )
                );
            }
            catch(SoapFault $exc){
                echo $exc->faultstring;
                exit();
            }
        }
        try{
            $loginresult = $this->client->logIn($this->user,$this->pass);
        }
        catch(SoapFault $exc){
            echo $exc->faultstring;
            exit();
        }
        if ($loginresult->status->code == '0'){
            echo $loginresult->status->name;
            exit();
        }
        else{
            $this->client->__setCookie("SOAPClient", $loginresult->status->message);
            $this->isLogged = true;
        }
    }

    // Проверяет домен на доступность
    public function VerifyDomainAvailable($name){
        $availability = $this->client->checkDomainAvailable($name);
        return $availability->status->name;
    }
    // Получает баланс
    public function GetBalance(){
        $balance = $this->client->getBalanceInfo();
        if($balance->status->code != '1'){
            return $balance->status->name;
        }
        return (int)$balance->data->balance;
    }
    // Добавляет домен
    public function AddDomain($domain){
        if($this->isLogged != true || !($domain instanceof Domain)) {
            throw new UnexpectedValueException;
        }
        // Прежде чем добавлять параметры их следует переконвертировать в Utf8
        $add = $this->client->addDomain(
                                 DomainController::EncodingToUtf8($domain->name),
                                 $domain->ns,
                                 $domain->admin,
                                 DomainController::EncodingToUtf8($domain->desc));

        if($add->status->code == '1'){
            return (int)$add->taskid;
        }
        return $add->status->name;
    }
    // Проверяет задания на результат
    public function VerifyTask($id){
        $task = $this->client->checkTask($id);
        return $task->status->name;

    }
    // Разлогинивает
    public function LogOut() {
        if($this->isLogged){
            try{
                $this->client->logOut();
                $this->isLogged = false;
                $this->client = null;
            }
            catch(SoapFault $exc) {
                echo $exc->faultcode;
            }
        }
    }
    function __destruct(){}
}

class DomainController{
    private $domains;
    private $tasks;
    private $filename;
    private $taskfilename;

    function __construct() {}

    // Считывает исходный файл с домена и создает модели
    public function Open($filename){
        if(!file_exists($filename)){
            throw new UnexpectedValueException;
        }
        $this->filename = $filename;
        $domains = file_get_contents($filename);
        $domains = array_map("trim",explode("\n",$domains));
        foreach($domains as $domain){
            if(!empty($domain)){
                $this->domains[] = new Domain($domain);
            }
        }
    }
    // Логика работы программы
    public function Proccessing(){
        global $settings;
        $skip_domains = array();
        $ds = new DomainSnatcher($settings["user"],$settings["pass"],$settings["url"]);
        $ds->LogIn();
        $this->Open("domains.txt");
        if($this->GetDomainsCount() == 0){
            $ds->LogOut();
            exit();
        }
        $this->GetTasks();
        $tasks = $this->tasks;
        // Проверяем предыдущие задания на результат выполнения
        foreach($tasks as $domain=>$task_id){
            $task = $ds->VerifyTask($task_id);
            switch($task){
                // Если успешно то удаляем домен
                case Constants::GetConstantName(0):
                    $index = $this->GetDomainIndex($domain);
                    if(!is_null($index)){
                        $this->RemoveDomain($index);
                        $this->RemoveTask($domain);
                    }
                    break;
                // Если провалилось, то решаем по месту что делать
                case Constants::GetConstantName(1):
                    if($settings['repeat'] == true)
                    {
                        $this->RemoveTask($domain);
                    }
                    else{
                        $index = $this->GetDomainIndex($domain);
                        if(!is_null($index)){
                            $this->RemoveDomain($index);
                            $this->RemoveTask($domain);
                        }
                    }
                    break;
                // Если еще выполняется, то задание сохраняем, а домен пропускаем
                case Constants::GetConstantName(2):
                    $skip_domains[] = $domain;
                    break;
                // Иначе произошли какие-то некорректные ошибки
                default: $this->RemoveTask($domain);

            }
        }
        //Начинаем регать
        foreach($this->domains as $domain){
            sleep($settings["delay"]);
            //Проверяем доступность
            $available = $ds->VerifyDomainAvailable($domain->name);
            switch($available){
                // Домен доступен для регистрации
                case Constants::GetConstantName(3):
                    //Проверяем есть ли домен уже в заданиях
                    if(!in_array($domain->name,$skip_domains)){
                    // Проверяем баланс
                        $balance = $ds->GetBalance();
                        if(is_int($balance) && $balance > $settings["balance"])
                        {
                            // Пробуем зарегистрировать
                            $add = $ds->AddDomain($domain);
                            // Если задание поставлено в очередь
                            if(is_int($add)){
                                //Добавляем в хеш
                                $this->AddTask($domain->name,$add);
                            }
                        }
                        else{
                            $ds->LogOut();
                            exit();
                        }
                    }
                    break;
                default:
                    continue;


            }
        }
        // Сохраняем задания
        $this->SaveTasks();
        // Сохраняем домены
        $this->Save();
        // Выходим
        $ds->LogOut();
    }
    // Получить индекс объекта по его имени
    public function GetDomainIndex($name){
        foreach($this->domains as $k=>$domain){
            if($domain->name == $name){
                return $k;
            }
        }
        return null;
    }
    // Получить список запущенных заданий
    public function GetTasks(){
        if(!isset($this->filename)){
            throw new UnexpectedValueException;
        }
        $info = pathinfo($this->filename);
        $taskfilename = $info['filename'].".json";
        $this->taskfilename = $taskfilename;
        if(file_exists($taskfilename)){
            $json = file_get_contents($taskfilename);
            $json = json_decode($json, true);
            $this->tasks = $json;
        }
        else{
            $this->tasks = array();
        }
    }
    // Удаляет домен из кучи
    public function RemoveDomain($index){
        unset($this->domains[$index]);
    }
    // Удалить задание из очереди
    public function RemoveTask($domain){
        unset($this->tasks[$domain]);
    }
    // Добавить новое задание в очередь
    public function AddTask($domain, $task){
        if(!isset($this->tasks)){
            $this->tasks = array();
        }
        $this->tasks[$domain] = $task;
    }
    // Сохранить задания
    public function SaveTasks(){
        file_put_contents($this->taskfilename,json_encode($this->tasks));
    }
    // Сохранить домены
    public function Save() {
        $domains  = array();
        foreach($this->domains as $domain){
            $domains[] = $domain->name;
        }
        file_put_contents($this->filename,join("\n",$domains));
    }
   // Перекодировать строку в Utf-8
    public function EncodingToUtf8($str){
        $encoding = mb_detect_encoding($str);
        if($encoding != "UTF-8"){
            $str = iconv($encoding,"UTF-8",$str);
        }
        return $str;
    }
    // Получить количество исходных данных
    public function GetDomainsCount(){
        return count($this->domains);
    }


};


class Constants{
    const TASK_SUCCESS = 0;
    const TASK_FAILURE = 1;
    const TASK_QUEUED = 2;
    const DOMAIN_AVAILABLE = 3;
    const OK  = 4;
    // Получить константу по значению
    public static function GetConstantValue($name){
        $constants = self::GetConstants();
        return self::KeyExists($name,$constants);
    }
    // Получить константу по имени
    public static function GetConstantName($value){
        $constants = self::GetConstants();
        $constants = array_flip($constants);
        return self::KeyExists($value,$constants);
    }
    // Проверить существование ключа массива
    private function KeyExists($value, $arr){
        if(array_key_exists($value,$arr)){
            return $arr[$value];
        }
        return null;
    }
    // Получить массив констант
    private function GetConstants(){
        $class = new ReflectionClass('Constants');
        $constants = $class->getConstants();
        return $constants;
    }
}

$dc = new DomainController;
$dc->Proccessing();

?>

Первоначальная настройка:
Пароль для API необходимо сгенерировать: для этого заходим в панель администратора, далее мои данные, а потом изменить пароль доступа к API. В классе Domain указываем Handle-Администратора: узнать можно, проверив информацию о любом зарегистрированном домене. Так же необходимо добавить ns-сервера в формате host1\nhost2\nhost3, где \n - ОБЯЗАТЕЛЕН.

Конфигурационные файлы:
domains.txt - список доменов к регистрации;
domains.json - очередь заданий;

Парсер Yahoo - пользовательский макрос для PandoraBox

2014-01-23T19:26:00.000+06:00


using System;
using System.Collections.Generic;
using System.Linq;
using System.Net;
using System.Text;
using System.Text.RegularExpressions;

namespace PandoraBox{   
    public class YahooParserPlugin : IPluginMacro
    {
        Regex _block = new Regex(@"{YAHOO-(\d+)}(.*?){/YAHOO}", RegexOptions.Compiled | RegexOptions.Singleline);

        public string Execute(string template, PluginMacroArgs args)
        {
              template = _block.Replace(template, delegate(Match match)
            {
                int count = int.Parse(match.Groups[1].Value);

                string text = match.Groups[2].Value;  
                try{  
                    Yahoo yahoo = new Yahoo(text, count);
                    yahoo.Proccessing();                        
                    return yahoo.Text;
                }
                catch{
                    return string.Empty;
                }
               
            });

            return template;
        }
  
        public ushort Level
        {
            get { return 10; }
        }

        public string Name
        {
            get { return "Парсер Yahoo"; }
        }
    }

    class Yahoo : IParser
    {
             
        // Ключ
        public string Key { get; set; }

        // Количество страниц для парсинга
        public int Count { get; set; }

        // Данные
        private List<string> _text = new List<string>();

        // Спарсенный текст
        public string Text
        {
            get
            {
                Random r = new Random();
                return string.Join(" ", _text.OrderBy(x => r.Next()).ToList());
            }
        }

        public Yahoo(string key, int count)
        {
            Key = key;
            Count = count;
        }     

        // Функция парсинга конкретной страницы
        private List<string> Parse(string data)
        {
            Regex exp = new Regex("(?<=<div class=\"abstr\">).*?(?=<span class=url>)", RegexOptions.IgnoreCase);
            MatchCollection matches =  exp.Matches(data);
            List<string> texts = new List<string>();
            foreach (Match match in matches)
            {
                string text = Regex.Replace(match.Value, "<[^>]+>", string.Empty);
                texts.Add(text);
                
            }
            return texts;
        }

        // Функция для получения ссылок для парсинга
        private List<String> GetPages()
        {
            int step = 1;
            List<string> sentences = new List<string>();
            for (int i = 0; i < Count; i++)
            {
                sentences.Add(string.Format("http://search.yahoo.com/search;_ylt=A7x9Qb0oaXpS3jEAQ2eT.Qt.?p={0}&fr=yfp-t-722&fr2=sfp&xargs=0&pstart=1&b={1}", Key, step));
                step += 10;
            }
            return sentences;
        }

        // Функция для получения содержимого страницы
        private string GetContent(string url)
        {
            WebClient client = new WebClient();
            client.Encoding = Encoding.UTF8;
            string content = client.DownloadString(url);          
            return content;
        }

        // Логика работы программы
        public void Proccessing()
        {
            foreach (string page in GetPages())
            {
                List<string> texts = Parse(GetContent(page));
                _text.AddRange(texts);
            }

            
        }
    }

    interface IParser
    {
       string Key { get; set; }

       int Count { get; set; }

       string Text { get;}

       void Proccessing();

    }
}

Использование {YAHOO-n}[KEYWORD]{/YAHOO}, где n-количество страниц для парсинга.

Генерация видео из изображений

2013-12-09T08:22:00.000+06:00

Как сделать видео из своих картинок или уже готовых изображений вы сразу поймете, прочтя этот довольно простой пример кода, написанный с использованием библиотек OpenCV и PIL на языке Python.


#!/usr/bin/env python
#-*-coding: utf-8-*-
from PIL import Image, ImageDraw, ImageFont
import cv
import random
import os.path, os
import random

directory = u"test"
current_path = os.getcwdu()

def generate_image(directory):
    files = os.listdir(directory)
    rand_image = random.choice(files)
    im2 = Image.open(directory+os.path.sep+rand_image)
    # создаем новое изображений
    im = Image.new("RGB", (640, 390), "#ffffff")
    draw = ImageDraw.Draw(im)
    # подключаем TrueType-шрифт
    font = ImageFont.truetype(u"arial.ttf", 17)
    color = [u"black",u"blue",u"orange",u"green"]
    x, y = im.size
    # рисуем тест на изображении
    draw.text((150, 25), u"Test"), font=font, fill=random.choice(color))
    # вставляем нашу картинку на исходное изображение
    im.paste(im2,(180, 80))
    return im

"""
Названия кодеков лежат тут http://www.fourcc.org/codecs.php
параметры:
1 - полный путь до файла
2 - кодек
3 - частота кадров 
4 - размер фрейма = размер изображения
5 - цветность
"""
for i in xrange(10):
    generate_image(directory).save("temp.png","png")
    writer = cv.CreateVideoWriter(u"video%d.avi" % random.randint(1000,10000),cv.CV_FOURCC('M','P','4','2'),1,(640,390),1)
    for i in xrange(30):
        for i in range(10):
            img = cv.LoadImage("temp.png")
            cv.WriteFrame(writer,img)
    # не забываем удалить кодировщик иначе мы не сможем финализировать видео
    del writer

Resharper не работают горячие клавиши в Visual Studio 2010-2013. Решение проблемы.

2013-12-09T08:21:00.002+06:00

Решение для Visual Studio 2010: удаляем каталог с проектами, удаляем папку в Application Data. Далее жмем Resharper Options и применяем комбинации для клавиатуры. Неполадки обычно идут в локализованных версиях. Проверено на Visual Studio 2010 - 2012.

Решение для Visual Studio 2013: сбрасываем комбинации для клавиатуры в меню IDE (сервис->параметры->клавиатура). В той секции VS переключаем язык на English и перезагружаем программу. Далее применяем комбинации клавиши в Resharper Options. Потом меняем язык Visual Studio на русский и снова перезагружаем программу.

Дополнительные варианты (следует проверить): изначально при всех действиях у Вас должно стоять все по-умолчанию как в VS, так и в Resharper. Далее можно, например, поменять схему клавиатуры студии на C# 2005 и заново применить настройки решарпера. Если раньше горячие клавиши работали, а потом перестали - можно попробовать переставить в секции Keyboard & Menus ползунок в положение None. А так же попробовать заново импортировать настройки Resharper из старых проектов через Manage Options.

Запустить Outlook в свернутом виде

2013-10-26T18:30:00.004+06:00

Написал небольшую программу для запуска Microsoft Outlook в свернутом виде (режиме). Сворачивание осуществляется в трей, а не в панель задач как прежде. Тестил на версии Outlook 2013, но думаю будет работать и на 2010. Добавляете лоадер в автозагрузку и радуетесь! Для работы программа требует установленный Microsoft .NET 4.0. Если будут пожелания, вопросы и предложения писать в комментарии. Скачать

Взаимодействие с COM-интерфейсом 1С Предприятие 8.2

2012-09-30T16:12:00.000+06:00

Небольшой примерчик, а также описание проблем и решений, которые могут возникнуть при работе.
Для работы с ком-интерфейсом нам потребуется библиотека PyWin32. Обращение к атрибутам осуществляется через функции getattr,setattr. Входные параметры всегда должны быть переведены в кодировку cp1251. Были замечены небольшие косяки: ошибки при получении функций на русском языке, как вариант их следует переименовать на англ, однако, почему-то получение глобальных переменных на русском работает отлично. Чтобы работало все без косяков следует:

Вынести все процедуры и функции в модуль объекта, исключить использование модуля формы.
Произвести экспорт переменных (объявляется в начале модуля объекта).
Произвести экспорт процедур и функций.
Использовать по возможности обращение к англоязычному варианту методов.


import win32com.client
from sys import exit
import pythoncom
class Connector(object):
    """ Взаимодействие с COM-интерфейсом 1С Предприятие 8.2 """
    def __init__(self, *args, **kwargs):
        self.__Server = kwargs[u'server']
        self.__Database = kwargs[u'database']
        self.__TypeConnection = kwargs[u'typeconnection']
        self.__File = kwargs[u'filename']

    conn = property(lambda self: self.__Connection)

    def connect(self):
        """ Функция подключения к серверу или файлу 1С """
        connectstring = u"Srvr={server};Ref={database};".format(
                        server = self.__Server, database = self.__Database) \
                        if self.__TypeConnection else u"File={filename};".format(filename = self.__File)
        pythoncom.CoInitialize()
        try:
            self.__Connection = win32com.client.Dispatch(u"V82.COMConnector").Connect(connectstring)
        except:
            msq  = u"возникли неполадки при подключении к серверу или файлу"
            raise error.ConnectionError(msq)

    def create(self):
        """ Новый экземляр обработки """
        try:
            Constant = getattr(self.__Connection.Constants,u"Наименование константы".encode(u"cp1251"))
        except:
            msq = u"не найдена константа <<Наименование константы>>"
            raise error.ObjectNotFound(msq)
        ConstantValue = Constant.Get()
        if ConstantValue:
            try:
                OuterDataProccessors = getattr(self.__Connection.Catalogs,u"ВнешниеОбработки".encode(u"cp1251"))
            except:
                msq = u"не найден справочник <<Внешние обработки>>"
                raise error.ObjectNotFound(msq)
            try:
                DataProccessor = OuterDataProccessors.FindByDescription(u"Наименование обработки".encode(u"cp1251"))
            except:
                msq = u"не найдена обработка <<Наименование обработки>>"
                raise error.ObjectNotFound(msq)
            Tempfile = self.__Connection.GetTempFileName()
            BinaryData = getattr(DataProccessor,u"ХранилищеВнешнейОбработки".encode(u"cp1251")).Get()
            BinaryData.Write(Tempfile)
            DataProccessorObject = getattr(self.__Connection,u"ВнешниеОбработки".encode(u"cp1251"))
            self.DataProccessorObject = DataProccessorObject.Create(Tempfile)
            self.__Funct  = getattr(self.DataProccessorObject,u'НаименованиеФункции'.encode(u"cp1251"))
        else:
            self.disconnect()
            exit(0)

    def disconnect(self):
       """ Отлючение от кома """
       del self.__Connection
################################################################
# ERROR CLASS
################################################################
class ConnectorError(Exception):
    pass

class ConnectorOptionError(ConnectorError):
    """ Неверная опция при запуске в режиме командной строки """
    def __init__(self,value):
        self.value = value.encode(u"cp866")
    def __str__(self):
        return self.value

class ConfigFileNotFound(ConnectorOptionError):
    """ Не найден конфигурационный файл """
    pass

class ConnectionError(ConnectorOptionError):
    """ Ошибка соединения """
    pass

class ObjectNotFound(ConnectorOptionError):
    """ Запрашиваемый объект не найден """
    pass

Запуск только одной копии приложения

2012-09-30T16:11:00.001+06:00



# coding: utf-8

from win32event import CreateMutex
from win32api import CloseHandle, GetLastError
from winerror import ERROR_ALREADY_EXISTS


class SingleInstance(object):
    """ Проверка на запуск только одной копии программы """
    def __init__(self):
        self.mutexname = u"test_{D0E858DF-985E-4907-B7FB-8D732C3FC3B9}"
        self.mutex = CreateMutex(None, False, self.mutexname)
        self.lasterror = GetLastError()


    def already_running(self):
        return (self.lasterror == ERROR_ALREADY_EXISTS)

    def __del__(self):
        if self.mutex:
            CloseHandle(self.mutex)
#Подключаем 
# coding: utf-8
from sys import exit
from singleinstance import SingleInstance
if __name__ == "__main__":
   instance = SingleInstance()
   if instance.already_running():
       exit(0)
   else:
        pass

Извлекаем информацию из PDF файлов

2012-09-16T03:19:00.001+06:00

Иногда может потребоваться извлечь информацию из PDF файла. Основную ценность представляет, конечно же , текст и изображения. Так давайте посмотрим как их быстро извлечь.
Перво-наперво, нам потребуется библиотека PDFMiner. Качаем и ставим как обычную питоновскую либу. Далее, несколько слов касательно формата PDF файла. Страница по версии библиотеки состоит из объектов данных и промежутков(отступов).

Для простого экстракта данных нам важно знать только об объектах данных страниц.
Каждый объект имеет свои свойства. Поэтому зная тип объекта мы можем применять те или иные методы. К основным объектам следует отнести: LTTextBox/LTTextLine - текст, LTFigure - составной элемент, LTImage - изображение (по базовым типам данных можно прочитать на сайте библиотеки).

# coding : utf-8
from pdfminer.pdfparser import PDFParser, PDFDocument, PDFNoOutlines
from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter
from pdfminer.converter import PDFPageAggregator
from pdfminer.layout import LAParams, LTTextBox, LTTextLine, LTFigure, LTImage
from binascii import  b2a_hex

def type_image(image):
    """ Узнаем формат изображения по первым 4 байтам """
    file_type = None
    bytes_as_hex = b2a_hex(image)
    if bytes_as_hex.startswith('ffd8'):
        file_type = '.jpeg'
    elif bytes_as_hex == '89504e47':
        file_type = '.png'
    elif bytes_as_hex == '47494638':
        file_type = '.gif'
    elif bytes_as_hex.startswith('424d'):
        file_type = '.bmp'
    return file_type

def parse_pages(doc):
    """ Функция парсинга страниц """
    rsrcmgr = PDFResourceManager()
    laparams = LAParams()
    device = PDFPageAggregator(rsrcmgr, laparams=laparams)
    interpreter = PDFPageInterpreter(rsrcmgr, device)

    for page in doc.get_pages():
        interpreter.process_page(page)
        # получаем объект LTPage
        layout = device.get_result()
        # layout - объект контейнер который может содержать другие объекты LTTextBox, LTFigure, LTImage
        yield layout

class PdfMinerWrapper(object):
    """ Контент менеджер """
    def __init__(self, pdf_doc, pdf_pwd=''):
        self.pdf_doc = pdf_doc
        self.pdf_pwd = pdf_pwd

    def __enter__(self):
        # открываем пдф-файл
        self.fp = open(self.pdf_doc, 'rb')
        # создаем объект парсера
        parser = PDFParser(self.fp)
        # создаем объект пдф документа
        doc = PDFDocument()
        # подключение парсера к объекту документа
        parser.set_document(doc)
        doc.set_parser(parser)
        # инициализация по паролю
        doc.initialize(self.pdf_pwd)
        return doc

    def __exit__(self, type, value, traceback):
        self.fp.close()

def main():
    with PdfMinerWrapper('part.pdf') as doc:
        for page in parse_pages(doc):
           for obj in page.__dict__['_objs']:
               if isinstance(obj,LTFigure):
                    # Если составной элемент
                    for childobj in  obj.__dict__['_objs']:
                        # Если изображение в составе
                        if isinstance(childobj, LTImage):
                            # filestream - данные изображения / typeimage - Тип изображения
                            filestream = childobj.stream.get_rawdata()
                            typeimage = type_image(filestream[0:4])
               elif isinstance(obj, LTTextBox) or isinstance(obj, LTTextLine):
               #Если текст
                    print obj.get_text()

if __name__ == '__main__':
    main()

Парсим XML от мала до велика

2012-08-12T18:58:00.001+06:00

2 примера парсинга XML-файлов на Python. Я не очень люблю SAX-парсеры, хотя у них есть свое преимущество - скорость. Первый пример кода написан с использованием xml.dom.minidom.


# coding: utf-8
import xml.dom.minidom
doc = xml.dom.minidom.parse(File)
   for item in doc.getElementsByTagName(u"item"):
      title = item.getElementsByTagName(u"title")
      link = item.getElementsByTagName(u"link")
      self.ui.plainTextEdit_3.appendPlainText(QtCore.QString(
                        "{l}||{t}".format(
                                            t = title[0].childNodes[0].data,
                                            l= link[0].childNodes[0].data
                                            ))
                    )

Второй пример кода написан с использованием lxml.


# coding: utf-8
import os
from StringIO import StringIO
from lxml import etree
files = os.listdir(u"source")
for File in files:
    with open(u"source\%s" % File) as src:
        res = src.read()
        context = etree.iterparse(StringIO(res), tag=u"offer")
        for action,elem in context:
            id = elem.get(u"id")
            for child in  elem.getchildren():
                if child.tag == u'picture':
                    picture = child.text
                if child.tag == u'title':
                    name = child.text
                if child.tag == u'description':
                    description = child.text
            try:
                with open(u"files\%d.txt" % int(id),'w') as src:
                    data = u"#title#{title}#title#\n#content# \
{content}#content#\n#picture#{picture}#picture#".format(
                        title = name,
                        content = description,
                        picture = picture)
                    src.write(data.encode(u"utf-8"))
            except:
                pass

Если вы собираетесь парсить файлы до 10 мб, то можно использовать DOM-парсеры, если файлы имеют больший размер, то лучше использовать последовательные парсеры и при этом не забывать еще очищать память elem.clear().

PharmCash под DOS-атакой

2012-08-12T18:33:00.002+06:00

Уже больше 2 суток лежит фарма-партнерка PharmCash. Отказали в обслуживании все биллинги, лежат все паблик-шопы, накрылся как сам сайт партнерской программы, так и зеркало. Одна грусть в целом.

XseoN Project Generator

2012-08-04T01:02:00.001+06:00

Небольшая программа для генерации контента для спама простынями.
htt_://sites.google.com/site/markuslibs/files/XseoN%20Project%20Generator.zip

OXONetwork закрывается

2012-07-05T20:57:00.004+06:00

Не очень хорошая новость для партнеров. Со слов владельца:

Хочу сообщить адвертам партнерки OXOnetwork, что мною было принято решение о ее закрытии. Уже официально. Чтобы не было глупых домыслов, считаю нужным объяснить причину.
Главное: Партнерка закрывается не из-за финансовых проблем. Тут нечего говорить даже, проект достаточно прибыльный.
OXOnetwork закрывается по причинам, связанным с дальнейшим ростом и более актуальными рынками для работы. Я не вижу развития и какой-либо перспективности на рынке фармы. Поэтому лучше уйти раньше, чем постоянно отвлекать силы на этот проект.
Поступило множество вопросов от адвертов по поводу закрытия/выплат/переносов доменов/реордеров и т.д. Обо всем по порядку:

1. Выплаты будут произведены в полном объеме, выплатим все балансы под 0. (всем, у кого не вбиты данные, будет сделана рассылка).
2. Реордеры будут считаться до 1 августа. (+ будет сделан прозвон кастомеров, чтобы поток реордеров увеличить).
3. Трафик и продажи будем считать только у тех людей, у которых были свои шопы, либо есть обстоятельства, при которых невозможно переключить трафик на другую ПП. (опять же до 1го августа).
4. Перенос доменов. Естественно всем, кто регистрировал домены через нас, мы домены отдадим. Для переноса доменов нужно обратиться в саппорт, он подскажет, что нужно сделать.
5. Перенос шопов к другим партнеркам. Мы постараемся помочь в этом вопросе, но скорее всего об этом проще будет попросить техническую команду партнерки, к которой вы захотите их перенести.

Если у вас есть еще какие-то вопросы, то стучите в саппорт, все будем решать.
Всем спасибо за работу.
Удачи! :)

У GlavMed проблемы с процессингом

2012-07-05T20:57:00.003+06:00

Цитируем:

Уважаемые Партнеры,

Как вы могли заметить, последние пару дней у нас проблемы с процессингом. Решение вопроса "подвисло" в воздухе, и пока не ясны окончательные сроки его разрешения.

Мы принципиально не хотим собирать "вейтинги" и по сути работать в батч. Мы так же не готовы рисковать вашими деньгами с малознакомыми и не очень серьезными посредниками. Поэтому с настоящего момента весь ГлавМед переходит в режим "ПАУЗА". Никакие новые заказы обрабатываться не будут до момента решения вопроса с процессингом. Все уже запроцешенные заказы будут выполнены, как и следует.

Убедительная просьба временно перевести свой трафик на другие шопы/проекты.

Точных сроков выхода из этого режима я прямо сейчас назвать не могу. Обнадеживать, что все решится вот прямо в понедельник тоже не стану. Надеемся, что к середине июля будет больше ясности и конкретики.

Прошу расценивать это объявление именно так, как оно написано. Мы не закрываемся, а притормаживаем текущую деятельность.

Все доступные к выплате деньги можно заказывать на вывод. Возможно, что если все разом ломанутся выводить, могут возникнуть некоторые задержки, т.к. общая сумма достаточно велика, но в любом случае, мы выплатим все до копейки. За это можете не волноваться.

Большая просьба: все вопросы/замечания/пожелания/слухи постить в этот топик. У меня нет возможности отслеживать все форумы и оперативно отвечать везде и всем.

Саппорт будет работать в штатном режиме. Если по какой-то причине они не могут помочь, или дело совсем плохо и нужна незамедлительная психологическая помощь, то можно обращаться ко мне напрямую в этот джаббер: dontworry@behappy.com.ru

Новость, конечно, неприятная, но не смертельная. Поэтому прошу не разводить панику, а обсуждать возникающие вопросы по существу.

ZennoPoster 4 Mental Power

2012-06-26T01:23:00.000+06:00

Небольшой пост, который поможет вам поближе познакомится с такой чудесной вещью как ZennoPoster 4.

Основные возможности ZennoPoster Mental Power.
IntelliSearch.
Это новая фича, которая позволяет:
- очень быстро создавать проект
- писать один проект для большого кол-ва похожих и не очень сайтов.
- повышает устойчивость выполнения проектов, заточенных под один сайт.
По сути это система распознавания полей ввода, кнопок, ссылок и т.д. на сайте. Вы заходите на сайт и, проходя по элементам веб страницы, по очереди указываете к какому классу относится элемент - логин, пароль, кнопка отправки формы и т.д. Далее, заходя на новую веб страницу, система начинает узнавать часть элементов сама, часть вы дообучаете. Чем больше примеров было указано, тем точнее система распознает новые элементы. На самом деле система уже имеет обученную базу, так что она сразу начнет узнавать большинство элементов веб страницы, вам нужно будет только дообучить некоторые. В итоге - берете тысячу сайтов на похожем движке, обучаете на 10 из них, после этого система уже сможет зарегистрироваться на, допустим, 50-ти из 1000, на которых ее не обучали. Дообучаете на некоторых из тех сайтов, которые не пробились, общий пробив повышается и т.д. В итоге можно создать мультипроект, способный обработать тысячи ресурсов.
IntelliSearch в проекте представлен в виде базы, ее можно добавлять в другой проект, дообучать и т.д. Есть установленные классы элементов, но можно добавлять свои.

Firefox движок.
Теперь ZennoPoster использует Firefox для эмуляции браузера. Благодаря этому:
+ эмулируется все, что хоть как-то может спалить бота: как в заголовках, так и при запросе параметров из JS (объекты navigator, screen и т.д.)
+ Полное управление DOM моделью
+ возросла устойчивость выполнения проектов
+ уменьшилась нагрузка на процессор
+ в несколько раз уменьшилось потребление оперативной памяти на инстанс
+ уменьшилось число полуоткрытых соединений, открываемых инстансом
+ поддерживаются SOCKS 5
+ очистка всех типов кук (более 10 видов)
+ флаг занятости браузера теперь реагирует на AJAX запросы
Короче, теперь есть полный доступ к любой фиче браузера и это использовано по максимуму

Проксичекер.
Если в двух словах - кладет сетевое оборудование
Тестировали на сервере от hetzner.de, выжал 15000 потоков чека, больше не получилось, т.к. там нельзя больше сетевых соединений открыть.
Может чекнуть миллион проксей за несколько минут, главное чтобы сетевое оборудование было хорошее.
Сильно оптимизирован и при нормальной эксплуатации практически не потребляет память и процессорное время.
Переделана база проксей, теперь она хорошо обрабатывает огромные списки проксей и быстро подгружается при открытии программы.
Проксичекер оснащен тестером сети, можно один раз сделать тест, он сам определит максимум потоков, которые можно запустить на вашей системе.
Чекает на все параметры, которые могут понадобиться.

Визуальный редактор.

Теперь:
+ поддерживает большие и очень большие проекты
+ миникарта
+ удобные формы редактирования параметров прямо в редакторе, отдельные для каждого типа экшенов
+ можно дописать проект, находящийся в редакторе.
И т.д. и т.п...

Новый интерфейс постера.

Выполнен в лучших традициях торрент клиентов
+ можно убрать окна инстансов
+ проект добавляется только один раз и не удаляется при перезапуске программы
+ категории проектов для быстрой ориентации
+ группирование проектов
+ новый шедулер

Эмуляция клавиатуры и мыши.
Многие интересные сайты теперь защищаются от ботов, отслеживая, нажимаются ли клавиши при заполнении полей ввода. Эмуляция мыши и клавиатуры поможет обойти эту защиту.
Во-первых, есть встроенная эмуляция, которая работает по дефолту при выполнении проекта, т.е. поля заполняются с помощью эмуляции клавиатуры, кнопки и ссылки кликаются эмуляцией мыши.
Во-вторых можно просто посылать на страницу нужные команды клавиатуры и клики кнопками мыши в указанные координаты.
Еще есть эмуляция мыши с использованием поиска по скриншоту, об этом дальше.

Клик по картинке.
Бывает нужно кликнуть по элементу, который не предназначен для клика, например сейчас в гугле используется div как select элемент при регистрации, или нужно кликнуть по флешке в определенное место, например нажать play у видео ютуба и т.д.
Еще у текстовых редакторов (в таком я сейчас пишу этот текст ) иногда нужно кликнуть на одну из его кнопок в панели инструментов. Все это поможет сделать новая фича "клик по картинке". Вызывается она из меню пкм на html странице при записи проекта. Указываете какую часть скриншота искать и куда относительно него кликать. Т.е. можно искать не сам элемент, на который нужно кликнуть, а область страницы рядом с ним, и уже относительно этой области кликать в нужное место.
Фича сильно оптимизирована и жрет не очень много проца.

Статические блоки.
У проекта теперь есть статические блоки - это настройки браузера, профиль, настройки эмуляции, таблицы, списки и т.д.
Эти настройки для удобства управления проектом. Отображаются внизу редактора проекта в отдельной форме.
Также отображаются и настраиваются при записи проекта внизу дерева проекта.

Вход, хороший и плохой выходы из проекта.
Проект начинает выполняться с места, указанного специальным элементом "вход", в редакторе он представлен серым кругом. Проект может завершиться с ошибкой или без, поэтому есть еще два выхода - "хороший" и "плохой" после выполнения прокта управление передается на один из них и можно сделать какие-то небольшие финальные действия в зависимости от успешности завершения проекта.

Новые типы данных в проекте.
Таблица и список - созданы для удобства работы с данными, особенно с файлами, которые часто надо представлять в виде списков и таблиц. Управляются из статических блоков и обычными экшенами.
Например, можно сразу спарсить все ссылки со страницы в список, отсортировать, удалить дубли и сохранить в файл.
При работе с таблицами поддерживаются таблицы xls, slsx, odt, csv. Поддерживается как чтение, так и запись.
Переменные - чтобы не заморачиваться с макрос-ссылками теперь есть переменные (а макрос ссылок больше нет). В переменные кладутся результаты каких-то действий, для доступа к значению переменной, записывается макрос этой переменной.

Шифрование проектов.
Теперь можно зашифровать свой проект и раздавать другим пользователям права таких типов: выполнение, чтение, запись, полный доступ.
Права раздаются по e-mail на который зарегистрирован ZennoPoster
Управление правами происходит из статического блока, добавляемого в проект перетаскиванием из панели инструментов в редакторе.

Обработка почты.
+ поддерживает IMAP протокол
+ появилась возможность работать без удаление писем с сервера
Теперь вам в большинстве случаев не нужно составлять никаких регулярных выражений.
Указываете email и пароль, настройки подключения определяются автоматически, скачиваете письма и выбираете по каким признакам искать письмо, если признаки указаны правильно, нужное письмо в списке писем подсветится зеленым. Если по этому признаку находится более одного письма, письма подсветятся красным. Далее выбираете из таблицы, какие данные вам нужны из письма (выбираете чекбоксы в строках с нужным текстов), указываете в какие переменные складывать найденный текст.

Профиль.
Для удобства генерации данных для заполнения форм создан профиль. Генерирует данные человека (русского или американца) с правильным статистическим распределением и учетом географии. Например если будет сгенерирован человек из Рязани, его имя, скорее всего будет что-то типа Петр Иванов, а если из Казани, то какой-нибудь Альберт Нургалиев.

Макросы.
Макросы теперь только только статичные. Все макросы, глобальные переменные, локальные переменные можно найти в таблице

FTP, SFTP, FTPS
FTP такой FTP. Ничего особенного, обычный FTP
+ управление файлами
+ управление каталогами

Конструктор регулярных выражений.
Теперь:
+ подсветка синтаксиса
+ поиск по Ctrl+F
Вызывается теперь из формы подтверждения по e-mail и с помощью кнопки на панели редактора шаблонов.

Логика
+ добавлен switch, т.е. выбор из нескольких вариантов

CodeCreator.
Пока не доделан, скоро выйдет и к нему добавится новая фича в проекте.
Там ничего кардинально не поменяется, просто перенесем его на Framework 4

Видео по работе с ZennoPoster 4.

Пример скрипта для ZennoPoster MP.
Скрипт автоматизации Wordpress для ZennoPoster 4.
https://sites.google.com/site/markuslibs/files/wordpress.rar

Увы, демо 4 версии пока не доступно для скачивания. Но можно получить доступ к бета версии, купив лицензию.

Wordpress Link Extractor

2012-05-27T11:36:00.002+06:00

Когда-то давно на одном форуме было обсуждение на тему "Как и чем собрать ссылки на посты в движке Wordpress". Тогда был предложен плагин. Я, напротив, предлагаю программу для этого дела.

Возможности:
[+] Создание списка вида ссылка||анкор из файлов экспорта Wordpress (xml).
[+] Настраиваемая система нахождения ссылок (XPath/CSS).
[+] Асинхронная загрузка данных.
[+] Функциональный импорт (в продукты MS только при наличии установленных программ).

Пример настройки:
Сайт: http://aroundufa.ru/
Строка поиска по XPath: //h2[@class="title"]/a
Строка поиска по CSS: .title>a

Скачать: sites.google.com/site/markuslibs/files/Wordpress%20Link%20Extractor.rar

Оптимизация VPS под управлением CentOS

2012-05-22T21:30:00.000+06:00

Потратив 5 минут на оптимизацию сервера вы увеличите скорость работы более чем в 2 раза. Перед нами стандартный набор веб-сервера: Apache, PHP, MySQL.

Оптимизация Apache.
Открываем конфиг апача.


nano /etc/httpd/conf/httpd.conf

Далее меняем значение параметров MaxClients в секциях worker MPM и prefork MPM. Устанавливаем значение в промежутке 20-30. Сохраняем.

Оптимизация MySQL.
По умолчанию конфиг MySQL имеет следующее расположение. Его то мы и будем редактировать.


nano /etc/my.cnf

Для начала нам необходимо скачать скрипт для тестирования СУБД.


wget https://github.com/rackerhacker/MySQLTuner-perl/tarball/master --no-check-certificate
tar xf master
cd rackerhacker-MySQLTuner-perl-71f14ea
chmod +x mysqltuner.pl
./mysqltuner.pl

После запуска вводим логин и пароль MySQL. Далее выполняем все рекомендации, которые предоставил нам скрипт.

Оптимизация сервисов.
Добавляем ulimit -s 1024 сверху в файлах сервисов rc, httpd, mysqld.


nano /etc/init.d/httpd
nano /etc/init.d/mysqld
nano /etc/rc

После всех махинаций перезагружаем сервисы.


service httpd restart && service mysqld restart

На этом шаге оптимизация нашего сервера закончена. Удачи!

Обмен данными между 1С Предприятие и SQL Server при выполнении регламентых заданий

2012-05-22T21:29:00.005+06:00

Для начала позволю себе небольшое отступление от темы. При создании регламентых заданий возникает довольно много ошибок, которые вы сможете избежать прочитав это предисловие.

1С Предприятие. Регламентные задания.
Создаются регламентые задания в конфигурации, элемент списка так и называется "Регламентые задания". После добавления задания следует выбрать процедуру, обычно это процедура из общего модуля (в свойствах модуля должно стоять возможность выполнения на сервере: общий модуль-правка-свойства-сервер-установить флажок). Далее вы настраиваете планировщик, те когда будут выполняться задания. Ресурсоемкие задания обычно выполняются либо ночью, либо после ухода работников, а затратные по времени - в выходные дни.

1С Предприятие. Видимость объектов.
Чтобы сразу избежать неутыков, запомните, что все интерактивные действия (работа с элементами формы) и некоторые функции на сервере не выполняются. Это объясняется тем, что модуль формы недоступен на сервере (в отличии от работы на клиенте), так что пользуйтесь модулем объекта.

1С Предприятие. SQL Server. Выбор и работа с провайдерами данных.
Есть одна интересная особенность при взаимодействии SQL Server и 1С Предпритие, которую удалось мне получить в ходе работы. Заключается она в методах подключения к серверу SQL (на клиенте/на сервере), а так же колоссальном различии выполнения пакетных запросов.
Предположим, что на клиенте вы используете такой метод подключения

СтрокаСоединения = ("DRIVER={SQL SERVER};DSN=источник данных;
                           UID=пользователь;PWD=пароль;SERVER=сервер");

Тогда на сервере должен быть такой


СтрокаСоединения = ("Provider=SQLOLEDB;Data Source=сервер;
                    Initial Catalog=база данных;UID=пользователь;PWD=пароль;");

При этом первый метод хорошо работает с пакетными запросами, а второй плохо. Не знаю правда в силу чего. Решение нашел только одно: разделить пакетный запрос на несколько запросов.

Вот такие пряники! Удачи!

Расширяем SQL Server Management Studio

2012-05-20T15:22:00.001+06:00

SSMSTools - очень хорошее расширение SQL Server Management Studio. Позволяет вести историю запросов, создавать структуру таблиц, анализировать "стоимость" выполнения запросов, создавать шаблоны запросов, создавать INSERTы таблиц. Последнее бывает полезным, если нет прав на дамп стандартными средствами. Если вы часто используете SQL Server, то рекомендую.

Дорвеи. Топы есть - будет, что поесть

2012-05-20T14:37:00.003+06:00

В последнее время я практически перестал посещать разделы известных форумов посвященным дорвеям. Так сказать, чтобы лишний раз не убеждать себя в ленивости и глупости нынешних любителей поделать доры, а также невежестве барыг продающих для первых свои курсы. Поэтому могу лишь судить о состоянии дел по собственному опыту и полученным результатам.
Где делать дорвеи.
Живы ли доры в настоящее время? Ответ однозначно да! Вы можете делать их на блогплатформах, фришках, ломах, дропах. И все они будут исправно приносить траф, вопрос только в количестве трафика и долгоживучести самого дорвея. Заметьте, что среди списка ресов нет обычных доменов. Чтобы вы поняли речь щас идет о тру дорвеях, а не о подобии СДЛ. Честно говоря, трудоры очень прихотливо ведут себя на свежерегах, поэтому надо 10 раз подумать прежде чем делать. Замечу, что тут разговор идет о сразу 2 системах - Яндексе и Гугле (мы берем золотую середину).
ТруДорвеи или копипаст или рерайт.
Парсенные сайты живут довольно неплохо в Яше: 50000 страниц, 4к - Yandex, 34к - Google, и самое интересное, что количество растет.
Ключи для дорвеев.
Для дорвеев используются низкочастотные ключи, отфильтрованные по частности Вордстата и конкуренции, например, в Google.
Вгон в поисковые системы.
Использую комлексные методы вгона. И в целом, постарайте не зацикливаться на одной теме. Это может быть твиттер, простановка комментариев на blogs.yandex.ru или же PR-стых страницах, ref-спам, простановка ссылок с морд сайтов/ломов, покупка ссылок и статей.
Технология спама.
Спамим как и раньше, профили/посты. Санкций, как таковых для сайтов нету. Бывает только либо недоспам, это когда доры туговато входят, либо переспам - дор попадает под фильтр, возможно частичное выпадение страниц из индекса, но потом все снова возвращается на нормальное состояние. Бытует мнение, что с введением новых алгоритмов количество ссылок с прямым вхождением надо чуть ли не до 30% уменьшать. Экспериментируйте, потом мне расскажете :)

Программирование для непрограммистов

2012-05-20T13:49:00.000+06:00

Случайно наткнулся на одну интересную программу, которая позволяет создавать программы без знания языков программирования: весь процесс разработки заключается в размещении объектов на форме и последующей визуальной привязки событий и обработчиков. Также данный софт позволяет экспортировать проект в VB.NET для последующей доработки.

Алгоритм 2 позволяет отправлять GET/POST-запросы, работает с медийным контентом, быстро создает клиент-серверные приложения, есть возможность поиска в тексте по регулярному выражению и многое другое. В этом году планируется выход Алгоритм 3, где как я понял будет много интересных вещей для работы с Web, новый дизайн и не только.
Расписывать примеры программ я не буду, так как после установки в папке Алгоритма лежат примеры сложных и простых проектов. Посмотрев и потрогав, думаю вы сами решите надо оно вам или нет.

Python и COM-интерфейсы

2012-05-19T23:44:00.001+06:00

Существуют достаточно сложные задачи, которые стандартными библиотеками решить нелегко. Поэтому, если не брать в расчет рекомендации "чистого питонического мышления", то сгодятся библиотеки адаптированные с других языков. В данном посте пойдет речь о библиотеке по работе с COM-интерфейсами PyWin32 и на примере двух, пожалуй, самых востребованных вещей при формировании отчетности покажу как вывести данные в Excel и Word.
Давайте напишем что-нибудь в ворде :).


import win32com.client

wordapp = win32com.client.Dispatch("Word.Application") # Создадим Word-объект
wordapp.Visible = 1 # Установим видимость программы
worddoc = wordapp.Documents.Add() # Создадим документ
worddoc.PageSetup.Orientation = 1 # Небольшие настройки документа
worddoc.PageSetup.LeftMargin = 20
worddoc.PageSetup.TopMargin = 20
worddoc.PageSetup.BottomMargin = 20
worddoc.PageSetup.RightMargin = 20
worddoc.Content.Font.Size = 11
worddoc.Content.Paragraphs.TabStops.Add (100)
worddoc.Content.Text = u"Привет вам от меня)"
worddoc.Content.MoveEnd
worddoc.Close() # Закрываем. Сразу же появится диалоговое окно сохранения файла
wordapp.Quit() # Выход

Теперь попробуем вывести данные в Excel (не стоит забывать о возможностях xlrd,xlwt).


import win32com.client

Obj = win32com.client.Dispatch("Excel.Application") # Cоздаем объект
Obj.Visible = 1
Obj.Workbooks.Add() # Добавляем книгу
Obj.Cells(1,2).Value = u"Меня зовут Маркус"
Obj.Save() # Сохраняем
Obj.Quit() # Выходим

P.S. не стоит забывать о том, что нумерация идет также как и в Excel при включенном стиле R1C1.

А теперь немного слов о том, как работать с другими объектами. Во-первых, к любому хорошему приложению есть документация, где в подробностях пусть и на других языках описаны объекты и их методы. Во-вторых, библиотека PyWin32 снабжена ком-обозревателем(COM-Browser), который позволяет просмотреть существующие ком-интерфейсы.