Markus Blog

Оптимизация VPS под управлением CentOS

2012-05-22T21:30:00.000+06:00

Потратив 5 минут на оптимизацию сервера вы увеличите скорость работы более чем в 2 раза. Перед нами стандартный набор веб-сервера: Apache, PHP, MySQL.

Оптимизация Apache.
Открываем конфиг апача.


nano /etc/httpd/conf/httpd.conf

Далее меняем значение параметров MaxClients в секциях worker MPM и prefork MPM. Устанавливаем значение в промежутке 20-30. Сохраняем.

Оптимизация MySQL.
По умолчанию конфиг MySQL имеет следующее расположение. Его то мы и будем редактировать.


nano /etc/my.cnf

Для начала нам необходимо скачать скрипт для тестирования СУБД.


wget https://github.com/rackerhacker/MySQLTuner-perl/tarball/master --no-check-certificate
tar xf master
cd rackerhacker-MySQLTuner-perl-71f14ea
chmod +x mysqltuner.pl
./mysqltuner.pl

После запуска вводим логин и пароль MySQL. Далее выполняем все рекомендации, которые предоставил нам скрипт.

Оптимизация сервисов.
Добавляем ulimit -s 1024 сверху в файлах сервисов rc, httpd, mysqld.


nano /etc/init.d/httpd
nano /etc/init.d/mysqld
nano /etc/rc

После всех махинаций перезагружаем сервисы.


service httpd restart && service mysqld restart

На этом шаге оптимизация нашего сервера закончена. Удачи!

Обмен данными между 1С Предприятие и SQL Server при выполнении регламентых заданий

2012-05-22T21:29:00.004+06:00

Для начала позволю себе небольшое отступление от темы. При создании регламентых заданий возникает довольно много ошибок, которые вы сможете избежать прочитав это предисловие.

1С Предприятие. Регламентные задания.
Создаются регламентые задания в конфигурации, элемент списка так и называется "Регламентые задания". После добавления задания следует выбрать процедуру, обычно это процедура из общего модуля (в свойствах модуля должно стоять возможность выполнения на сервере: общий модуль-правка-свойства-сервер-установить флажок). Далее вы настраиваете планировщик, те когда будут выполняться задания. Ресурсоемкие задания обычно выполняются либо ночью, либо после ухода работников, а затратные по времени - в выходные дни.

1С Предприятие. Видимость объектов.
Чтобы сразу избежать неутыков, запомните, что все интерактивные действия (работа с элементами формы) и некоторые функции на сервере не выполняются. Это объясняется тем, что модуль формы недоступен на сервере (в отличии от работы на клиенте), так что пользуйтесь модулем объекта.

1С Предприятие. SQL Server. Выбор и работа с провайдерами данных.
Есть одна интересная особенность при взаимодействии SQL Server и 1С Предпритие, которую удалось мне получить в ходе работы. Заключается она в методах подключения к серверу SQL (на клиенте/на сервере), а так же колоссальном различии выполнения пакетных запросов.
Предположим, что на клиенте вы используете такой метод подключения

СтрокаСоединения = ("DRIVER={SQL SERVER};DSN=источник данных;
                           UID=пользователь;PWD=пароль;SERVER=сервер");

Тогда на сервере должен быть такой


СтрокаСоединения = ("Provider=SQLOLEDB;Data Source=сервер;
                    Initial Catalog=база данных;UID=пользователь;PWD=пароль;");

При это первый метод хорошо работает с пакетными запросами, а второй плохо. Не знаю правда в силу чего. Решение нашел только одно: разделать пакетный запрос на несколько запросов.

Вот такие пряники! Удачи!

Расширяем SQL Server Management Studio

2012-05-20T15:22:00.001+06:00

SSMSTools - очень хорошее расширение SQL Server Management Studio. Позволяет вести историю запросов, создавать структуру таблиц, анализировать "стоимость" выполнения запросов, создавать шаблоны запросов, создавать INSERTы таблиц. Последнее бывает полезным, если нет прав на дамп стандартными средствами. Если вы часто используете SQL Server, то рекомендую.

Дорвеи. Топы есть - будет, что поесть

2012-05-20T14:37:00.003+06:00

В последнее время я практически перестал посещать разделы известных форумов посвященным дорвеям. Так сказать, чтобы лишний раз не убеждать себя в ленивости и глупости нынешних любителей поделать доры, а также невежестве барыг продающих для первых свои курсы. Поэтому могу лишь судить о состоянии дел по собственному опыту и полученным результатам.
Где делать дорвеи.
Живы ли доры в настоящее время? Ответ однозначно да! Вы можете делать их на блогплатформах, фришках, ломах, дропах. И все они будут исправно приносить траф, вопрос только в количестве трафика и долгоживучести самого дорвея. Заметьте, что среди списка ресов нет обычных доменов. Чтобы вы поняли речь щас идет о тру дорвеях, а не о подобии СДЛ. Честно говоря, трудоры очень прихотливо ведут себя на свежерегах, поэтому надо 10 раз подумать прежде чем делать. Замечу, что тут разговор идет о сразу 2 системах - Яндексе и Гугле (мы берем золотую середину).
ТруДорвеи или копипаст или рерайт.
Парсенные сайты живут довольно неплохо в Яше: 50000 страниц, 4к - Yandex, 34к - Google, и самое интересное, что количество растет.
Ключи для дорвеев.
Для дорвеев используются низкочастотные ключи, отфильтрованные по частности Вордстата и конкуренции, например, в Google.
Вгон в поисковые системы.
Использую комлексные методы вгона. И в целом, постарайте не зацикливаться на одной теме. Это может быть твиттер, простановка комментариев на blogs.yandex.ru или же PR-стых страницах, ref-спам, простановка ссылок с морд сайтов/ломов, покупка ссылок и статей.
Технология спама.
Спамим как и раньше, профили/посты. Санкций, как таковых для сайтов нету. Бывает только либо недоспам, это когда доры туговато входят, либо переспам - дор попадает под фильтр, возможно частичное выпадение страниц из индекса, но потом все снова возвращается на нормальное состояние. Бытует мнение, что с введением новых алгоритмов количество ссылок с прямым вхождением надо чуть ли не до 30% уменьшать. Экспериментируйте, потом мне расскажете :)

Программирование для непрограммистов

2012-05-20T13:49:00.000+06:00

Случайно наткнулся на одну интересную программу, которая позволяет создавать программы без знания языков программирования: весь процесс разработки заключается в размещении объектов на форме и последующей визуальной привязки событий и обработчиков. Также данный софт позволяет экспортировать проект в VB.NET для последующей доработки.

Алгоритм 2 позволяет отправлять GET/POST-запросы, работает с медийным контентом, быстро создает клиент-серверные приложения, есть возможность поиска в тексте по регулярному выражению и многое другое. В этом году планируется выход Алгоритм 3, где как я понял будет много интересных вещей для работы с Web, новый дизайн и не только.
Расписывать примеры программ я не буду, так как после установки в папке Алгоритма лежат примеры сложных и простых проектов. Посмотрев и потрогав, думаю вы сами решите надо оно вам или нет.

Python и COM-интерфейсы

2012-05-19T23:44:00.001+06:00

Существуют достаточно сложные задачи, которые стандартными библиотеками решить нелегко. Поэтому, если не брать в расчет рекомендации "чистого питонического мышления", то сгодятся библиотеки адаптированные с других языков. В данном посте пойдет речь о библиотеке по работе с COM-интерфейсами PyWin32 и на примере двух, пожалуй, самых востребованных вещей при формировании отчетности покажу как вывести данные в Excel и Word.
Давайте напишем что-нибудь в ворде :).


import win32com.client

wordapp = win32com.client.Dispatch("Word.Application") # Создадим Word-объект
wordapp.Visible = 1 # Установим видимость программы
worddoc = wordapp.Documents.Add() # Создадим документ
worddoc.PageSetup.Orientation = 1 # Небольшие настройки документа
worddoc.PageSetup.LeftMargin = 20
worddoc.PageSetup.TopMargin = 20
worddoc.PageSetup.BottomMargin = 20
worddoc.PageSetup.RightMargin = 20
worddoc.Content.Font.Size = 11
worddoc.Content.Paragraphs.TabStops.Add (100)
worddoc.Content.Text = u"Привет вам от меня)"
worddoc.Content.MoveEnd
worddoc.Close() # Закрываем. Сразу же появится диалоговое окно сохранения файла
wordapp.Quit() # Выход

Теперь попробуем вывести данные в Excel (не стоит забывать о возможностях xlrd,xlwt).


import win32com.client

Obj = win32com.client.Dispatch("Excel.Application") # Cоздаем объект
Obj.Visible = 1
Obj.Workbooks.Add() # Добавляем книгу
Obj.Cells(1,2).Value = u"Меня зовут Маркус"
Obj.Save() # Сохраняем
Obj.Quit() # Выходим

P.S. не стоит забывать о том, что нумерация идет также как и в Excel при включенном стиле R1C1.

А теперь немного слов о том, как работать с другими объектами. Во-первых, к любому хорошему приложению есть документация, где в подробностях пусть и на других языках описаны объекты и их методы. Во-вторых, библиотека PyWin32 снабжена ком-обозревателем(COM-Browser), который позволяет просмотреть существующие ком-интерфейсы.

Автоматическая смена аутов в SimpleTDS Mod

2012-04-23T00:33:00.002+06:00

Задача состояла в том, чтобы сделать автоматическую смену ccылки в ауте через заданное количество времени.

С этими скриптами мы сможет напрямую обновлять ауты ТДС, однако, не автоматически. В автоматизации процесса нам может помочь CRON или WEB-CRON. Вот небольшой список бесплатный веб-кронов:
http://webcron.ru/
http://onlinecronjobs.com/
http://setcronjob.com/
http://mywebcron.com/

Работаем с модулем Grab на примере парсера Ozon

2012-04-14T00:05:00.003+06:00

Автоматическое выключение ПК через заданное время

2012-04-13T23:35:00.000+06:00

Создаем .BAT и прописываем туда
%windir%\system32\shutdown.exe -s -f -t 7200 -c "ВНИМАНИЕ: %UserName% через 2 часа ПК будет отключен !!!", где 7200 - время заданное в секундах.

Сделать копию сайта одной командой

2012-01-15T04:28:00.002+06:00

Делаем копию сайта с последующим просмотром на локальной машине с помощью wget.



wget --mirror --no-clobber --page-requisites --html-extension --convert-links --restrict-file-names=windows --no-parent --execute robots=off --user-agent="Netscape Navigator" ya.ru

Просмотреть список всех команд можно через wget --help.

Пример парсера портала или собираем ключи сами

2012-01-15T04:27:00.000+06:00

Для использования потребуется Snoopy Class. Простой пример быстрой реализации парсинга сайта 2-степени вложенности (главная страница-категория).

Мини-руководство по настройке сервера

2011-12-19T21:59:00.001+06:00

Давненько ничего не было в этой рубрике. Исправляюсь. Итак, опять же статья поможет новичкам избежать кучу проблем с настройкой линукса. Знаю, что многие выбирают уже полностью настроенный сервер с панелью, у нас же будет только голый линукс. Почему чистый VPS лучше? Во-первых, удобство работы - что хочу, то и творю! (в рамках дозволенного). Во-вторых, установка любых программ и интерпретаторов по вкусу. Итак, имеем CentOS 5.5 и доступ по ssh.

Установка плюс настройка займет примерно пять минут в минимальной конфигурации без всяких сторонних "дверей" для гостей.

I Установка.
Устанавливаем Apache.


yum install httpd

Устанавливаем php и расширения.
Тут существует два варианта php5 или php4.
Установка php4 и 3 дополнительных модуля.


yum install php php-mcrypt php-mbstring

Установка php5.


yum install php53 php53-mbstring php53-mysql

Проверить наличие пакетов определенных версий php.


yum search php

Устанавливаем MySQL.


yum install mysql-server

Поменять пароль рут-пароль Mysql.


/usr/bin/mysqladmin -u root password '111111111'

II Настройка.
Старт сервисов.


service httpd start
service mysqld start

Добавляем автоматический старт при перезагрузке сервера.


/sbin/chkconfig mysqld on
/sbin/chkconfig httpd on

Проверка установки, если вдруг что-то случилось.


rpm -qa | grep -i mysql
which httpd php

Проверка apache поддержки php.


#папка по-умолчанию 
cd /var/www/
echo '< ?php phpinfo(); ?>' > 1.php

Переходим в браузере localhost/1.php. Если открылось, то все нормально.
Редактирование конфигов.


#php
nano /etc/php.ini
#apache
nano /etc/httpd/conf/httpd.conf

Забыли расположение конфига.


find / -name php.ini

Настройка виртуальных хостов.
Редактируем конфиг апача, а после создаем директории для будущих сайтов.

NameVirtualHost *:80
< VirtualHost *:80>
   ServerName domain.ru
   DocumentRoot "/home/dir/"
   < Directory "/home/dir/" >
     DirectoryIndex index.php index.html
   < /Directory>
< /VirtualHost>

Редактируем хосты.


/*заворачиваем на localhost
127.0.0.1 domain.ru */
nano /etc/hosts

Установка и настройка phpMyAdmin.
Скачиваем с оф. сайта. Далее распаковываем в директорию. Редактируем конфиг config.inc.php. Устанавливаем Blowfish Secret phpMyAdmin. На этом настройка окончена!

III Не менее важно знать!
Создание директорию.


mkdir markusblog

Удаление файлов и директорий.


rm markusblog.txt

Переименование файлов.


mv markusblog.txt markusblog.php

Работа с tar-архивами.


#Упакуем все файлы в текущей директории в архив
tar cf 1.tar *
#Извлечь файлы
tar -xf 1.tar

Импорт базы данных из консоли.


mysql -u root -p -h 127.0.0.1(хост) markus(база) < install.sql

Рекурсивное изменений прав.


chmod -R 777 *

Качалка файлов


wget урл-файла

ukrnames будет лочить домены

2011-12-19T21:59:00.000+06:00

В последнее время участились случаи абуз на фарма-сайты, не стал исключением и регистратор ukrnames.com. Довольно много сообщений можно увидеть на форумах партнерских программ о данном событии. Поэтому рекомендуется тем, кто держит фарма-шопы искать другого не раскрученного регистратора и прежде чем переносить или регать новые домены узнать как обстоят дела с фарма-тематикой у конкретного регистратора.

UniPic - уникализатор картинок

2011-12-06T01:43:00.003+06:00

Программа для уникализации ваших или чужих изображений. Лишние настройки убраны, функциональность компенсируется богатым выбором фильтров. Перед использованием настоятельно рекомендую нажать хелп! Для тех кто не знает английский программа не делает дубликатов, а полностью реплейсит оригиналы изображений: вы сможете применять фильтры один за другим, хотя одноразового перегона обычно хватает.
http://sites.google.com/site/markuslibs/files/UniPic.rar

Программы, плагины, скрипты для пентеста и эксплуатации уязвимостей веб-приложений

2011-12-05T03:00:00.003+06:00

Чтобы не плодить кучу статей про программы решил написать одну статью, где расскажу про различные x-тулзы, которые могут быть полезны пентестеру в его работе.

I. Плагины для Firefox.
Просмотр HTTP-заголовков. Позволяет просматривать содержимое и менять методы запросов GET/POST. http://livehttpheaders.mozdev.org/.
Hackbar. Позволяет чарить, урленкодить, хексить строки, а также ускоряет ввод колонок и вывод базовой информации при SQL Injection https://code.google.com/p/hackbar/.
Cookie Manager+. Работа с печеньками. Удобно использовать при Cookie Injection и для раскрытия путей https://addons.mozilla.org/en-US/firefox/addon/cookies-manager-plus/.
SQL Inject Me. Дополнения для тестинга форм на sql-уязвимости http://labs.securitycompass.com/index.php/exploit-me/.

II. Cканеры уязвимостей.
Acunetix Web Vulnerability Scanner - наверно один из лучших сканеров. В процессе пентестинга можно протестировать как веб-сервер так и само приложение (сайт) на XSS/SQL/RFI/LFI/Path Disclosure (причем последнее выявляется даже в коммерческих цмс (уязвимости в плагинах) правда не всегда) и другие уязы, а также поможет провести их эксплуатацию.
http://hi.baidu.com/52hmily/blog/item/27d8e68f6c2d03e0f01f36eb.html
WebCruiser Web Vulnerability Scanner - тоже неплохой сканер уязвимостей. Отличительной особенностью является массовая проверка сайтов. Так же работает с таким типом уязов XSS/SQL/RFI/LFI/Path Disclosure. Многопоточный.
http://sec4app.com/ таблетка (st0p.org:9EF6-CC8C-F068-B1D6)
Albaloo Web vulnerability Scanner - выявляет SQLi/XSS/LFI/RFI/PT&LFD/SCD/AppError/DirIndex/FullPathD
http://r3dm0v3.persianblog.ir/
JSky - Web Application Security Vulnerabilty Scanner - работает с SQLi/CSS/LPD/Server Misconfiguration/AppError
http://www.nosec-inc.com/en/products/jsky/
inspathx - Path Disclosure Finder - скрипт для проведения Full Path Disclosure, написанный на руби
http://code.google.com/p/inspathx/
plecost (Wordpress fingerprinting tool) - выявление установленных плагинов Wordpress
http://code.google.com/p/plecost/
WpScan - WordPress Security Scanner - обнаружение уязвимостей в популярной цмс
http://code.google.com/p/wpscan/
OWASP Joomla! Security Scanner - проект OWASP, направленный на поиск уязвимостей в популярном движке Joomla.
http://sourceforge.net/projects/joomscan/files/
NetDeviLz SQL Scanner - выявляет SQL/Blind SQL
SQL Exploit Scanner Tool (p0!z0neR) - выявляет SQL/RFI/LFI и другое на что настроите. Работает на парсинге дорков и последующем сканировании урлов.
Также следует обратить внимание на Burp,w3af,nikto. Замечу, что их достаточно много.

III. Эксплуатация уязвимостей.
Havij - предназначен в основном для раскричивания sql-инъекций и работает с MySQL/MsAccess/MsSQL/Oracle/PostgreSQL/SyBase/Blind
http://hi.baidu.com/52hmily/blog/item/6c9ffb01266ef61c1d9583ec.html
BSQL Hacker - служит для раскрутки Blind SQL
http://labs.portcullis.co.uk/application/bsql-hacker/
Pangolin - поддерживает проведение инъекций в Access,DB2,Informix,Microsoft SQL Server 2000,Microsoft SQL Server 2005,Microsoft SQL Server 2008,MySQL,Oracle,PostgreSQL,Sqlite3,Sybase. Имеет встроенный дампер и еще много чего.
http://hi.baidu.com/52hmily/blog/item/eef568878e75ee39c65cc324.html
SQLi Helper - sql-инъекции в MySQL/MsSQL/MsAccess.
Остальные программы не очень универсальны, поэтому остановлюсь на данных. Да и в принципе для раскрутки скул очень огромное количество тулз в сети в свободном доступе.

Музыкальные онлайн-сервисы. Слушаем музыку бесплатно

2011-12-05T02:59:00.002+06:00

Почти каждый человек любит слушать музыку. Конечно, разные музыкальные стили, но все же! Этот пост будет полезен для любителей послушать музыкальные новинки нахаляву и в огромном количестве.
Spotify. Предоставляет бесплатную возможность слушать радио или песни для следующих стран Finland, France, Norway, Netherlands, Spain, Sweden, United Kingdom, United States. Ну и как всегда России нет в этом числе :). Выглядит примерно так.

Попробуем обойти ограничение. Для этого:
1) Скачиваем любой VPN клиент с серверами, расположенными в вышеприведенных странах. Писать определенный сайт не буду, но скажу, что для регистрации хватит бесплатного VPN c ограничением либо по трафику либо по времени.
2) Регистрируемся в Spotify по кнопке Sign up. При регистрации вводим НЕ СВОЮ страну, а из вышеперечисленных (те с ip которой вам позволяет получить доступ VPN). В поле post code вводим опять же существующий пост код страны (найти можно в гугле по слову post code US/FR и так далее).
3) Примерно каждые 7 дней происходит перепроверка аккаунта и через некоторое время блок в случае если доступ идет в обход страны указанной в профайле. Поэтому подключаем опять же VPN и проходим перепроверку. И слушаем музыку дальше.
http://www.spotify.com/

QQMusic. Хороший сервис от наших китайский товарищей. Выглядит программа примерно так.

Следует отметить что вид может отличаться (есть возможность использовать шкурки).
До начала использования вам следует:
Скачать клиент с официального сайта http://music.qq.com/.
Cкачать английский язык для 2 версии QQMusic:
http://magazeta.com/soft/2010/12/03/qqmusic-english-edition/
Скачать креки:
http://hi.baidu.com/52hmily/blog/item/d73d09b51d6172d836d3cacd.html (2 версия)
http://hi.baidu.com/52hmily/blog/item/9e96a403fa0ec86f3912bbc7.html (3 версия)

Ищем шеллы по доркам и с помощью кравлера файлов

2011-11-17T00:03:00.001+06:00

В этой статье расскажу как можно заполучить шелл, когда хочется, но знаний нет.
1) Парсинг ресурсов с последующей выборкой. Например, шелл r57shell можно быстро отыскать по запросу intitle:"r57shell" или inurl:"r57.php". Те составляем поисковый запрос, включающий название или тайтл скрипта.
2) Кравлер файлов, он же сканер файлов и директорий сайта. Запускаем и ищем подозрительные файлы. Например, 22.php или Y8ds3a1.php.
3) RFI (remote file inclusion) - уязвимость, которая заключается в возможности подключения внешних файлов. Все что надо сделать это спарсить по доркам сайты и их проверить. Можно не парсить, а искать определенную версию скрипта с RFI и уже пытаться эксплуатировать уязу. Пример, index.php?id=shell.txt?

Расшифровка хешей

2011-11-17T00:03:00.000+06:00

Большим спросом пользуются md5,sha1 и другие виды хешей. Перечислять не буду, но в основном те которые идут в популярных CMS. Начинать любой брутфорс хешей следует с установления типа хеша: при этом учитывается длина, начальные символы и символы в целом. Посмотреть хеши полученные путем шифрования в различных алгоритмах можно тут http://www.insidepro.com/hashes.php?lang=ru. Основные методы крекинга хешей: онлайн сервисы баз хешей, брутфорс по словарю, брутфорс с перебором, брутфорс по таблицам. Теперь все по порядку.

Онлайн-сервисы баз хешей.

Сервисы в основном для md5 и sha1.

Брутфорсы хешей.
Существует достаточно много брутфорсов хешей, но хочется выделить данные как самые качественные и использующие мощь GPU для перебора. Extreme GPU Bruteforcer - платный брутфорс хешей http://www.insidepro.com/eng/egb.shtml. Либо бесплатный HashCat http://hashcat.net/oclhashcat-plus/. Оба поддерживают кучу алгоритмов шифрования. Для хеш-крекинга md5 путем перебора выделю российскую разработку Барс http://3.14.by/ru/md5.

Словари для брута.
http://www.insidepro.com/rus/download.shtml
ftp://ftp.cerias.purdue.edu/pub/dict/
ftp://ftp.ox.ac.uk/pub/wordlists/
ftp://ftp.funet.fi/pub/unix/security/dictionaries/

Вот и вся информация для тех кто хочет научиться самостоятельно крекать хеши.

Как парсить поисковые системы

2011-11-08T18:41:00.002+06:00

Продолжение давно забытой темы сбора ссылок под спам базу.
В настоящее время поисковики не сильно любят парсеры (с чем конкретно это связано точно сказать нельзя). Итак небольшие советы по парсингу поисковых систем:
1) Если парсите без прокси ставьте большую задержку между запросами.
2) Парсите партнеров поисковых систем (те такие сайты на которых доступен поиск отдельного поисковика)
3) Использование печенек аккаунта ПС заметно снизит затраты на каптчу.
4) Использование большого количества прокси снизит вероятность бана.
5) Так как имеется ограничение на количество выдаваемых ресурсов в Google (1000 ссылок), то разбавляйте поисковый запрос дополнительными фразами вида intext:, слово, daterange.
6) Парсинг не всех страниц SERPa позволит снизить количество выдаваемых дублей доменов (Google).

Ну и спешу потешить свое ЧСВ, тем что парсю Google в 500 потоков без прокси и без каптчи.

Моя небольшая наработочка :D. Всем удачи! Рад что посетили мой блог. Заходите почаще!

Анализатор ссылок

2011-11-08T18:41:00.000+06:00

Анализатор ссылок предназначен для выявления наиболее конкурирующих ресурсов в выдаче. Проще говоря прямой аналог RLytter и парсера Teimosa, за исключением, возможности парсинга ресурсов.
Для чего он нужен: нужен для поиска бонусников и фрихостов.
Как работать: парсите топы поисковых системы по запросам. Дальше скармливаете анализатору, он рассчитывает количество упоминаний хоста. Дальше сортируете по колонке упоминания. На выходе получаете рейтинг ресурсов. Естественно, что парсить надо по одной тематике.
Плюсы: полная независимость от парсера.
От меня: написана давно, но может кому пригодится.
ht_p://sites.google.com/site/markuslibs/files/analiz.rar

Полезные Unix/Windows команды

2011-09-02T01:22:00.000+06:00

В данном посте, попытаюсь рассказать о тех командах, которыми часто пользуюсь сам. Речь пойдет о shell-командах в двух операционных системах. Возможно, у вас не стоит полноценного Linux, но стоит, например, Cygwin или GnuWin32. Заранее извиняюсь, если пост получится немного сумбурным без разделения по типам команд. Замечу также, что про простые команды "копирование/удаление" файлов смысла рассказывать нет.

Убить процессы

taskkill [Windows]
kill [Linux]

Групповое переименование файлов

rename *.gif *.jpg [Windows]

Вывод данных в файлы

Privet > 1.txt [Windows]
echo Privet > 1.txt [Linux]

Перенаправление потоков вывода


c:\>mpcp --r 2>error.log [Windows]

Проверка наличия в системе


where tar python [Linux]

Объединение файлов по маске


cat *.txt >> outfile.txt [Linux]

Разбить файл на несколько


split -l 10 file.txt [Linux]

Удаление дублей строк


sort -u input.txt > output.txt [Linux]

Количество строк в файле


wc -l file.txt [Linux]

Поиск по регулярному выражению


grep -i .ru file.txt [Linux]

На последнюю команду следует обратить свое внимание в большей мере, т.к. полезность ее огромна.

Markus Parser Checker Proxy [Test 1]

2011-08-28T19:35:00.001+06:00

Возможности:

Парсинг прокси (2 регулярки)
Различные виды входных данных (сайт/список сайтов)
Многопоточность
Возможность настраивать различные параметры вручную
Автоматическое определение типа прокси


cd c:\
mpcp --resource=[ресурс|файл с ресурсами] --threads=10 (потоки по-умолчанию 10)

Опции, которые изначально включены:
--resource - ресурс или файл с ресурсами
--threads - потоки (по-умолчанию 10)
--lnk - ресурс для проверки
--chstr - строка для проверки
--timeout - таймаут (по-умолчанию 10)
Опции, которые изначально выключены:
-Опции работы с таймерами.
Cкачать: http://file.qip.ru/file/MPVX7buC/mpcp.html

Онлайн компилятор С/C++/Fortran/Java/Basic

2011-08-25T01:25:00.000+06:00

Данная вещь оказалась для меня скорее всего приятной неожиданностью, нежели каким-то открытием. Ведь теперь можно компилить сорцы C (сплойты) прямо в интернете без необходимости установки всеми любимого gcc.
сам адресок: onlinecompiler.net

Bing Keyword Scraper [Ревизия 1]

2011-07-06T16:59:00.003+06:00

Программа для сбора ключей

Удачи!

Parser Bing

2011-07-06T16:57:00.001+06:00

Удачи!