Чтобы не переделывать руками каждую запись через админку, было принято решение переделать все через консоль.

В итоге:

<?

if(!mysql_connect('host', 'user', 'password')){
    die(mysql_error());
}

if(!mysql_select_db('db')){
    die(mysql_error());
}

mysql_query("SET NAMES UTF8");

$tables = array(
                'news'  =>  array(
                                'id'        => 'id',
                                'content'   => 'content_field'
                            ),
                'pages' =>  array(
                                'id'        =>  'page_id',
                                'content'   => 'content_field'
                )
            );

$mask = array('mso', '\"');

foreach($tables as $table=>$data){
    
    foreach($mask as $mask_value){
        echo "Searching ".$mask_value."\n";
        $query = "SELECT COUNT(*) FROM ".$table." WHERE ".$data['content']." LIKE '%".$mask_value."%'";
        $result = mysql_query($query);
        $row = mysql_fetch_row($result);
        echo "\t".$row[0]." from ".$table."\n\n";
        while(true){
            
            $query = "
                    SELECT ".$data['id'].", ".$data['content']."
                    FROM ".$table."
                    WHERE ".$data['content']." LIKE '%mso%' LIMIT 1";
        
            $result = mysql_query($query);
            if($result && mysql_num_rows($result) == 1){
                $row = mysql_fetch_assoc($result);
                echo $row[$data['content']]."\n";
                echo "--------------------\n";
                $true_content = clean($row[$data['content']]);
                echo $true_content;
                echo "\n";
                echo 'Content is correct? [y\N] ';
                $d = trim(fgets(STDIN));
                if($d){
                    $query = "
                            UPDATE ".$table."
                            SET ".$data['content']." = '".mysql_real_escape_string($true_content)."'
                            WHERE ".$data['id']." = ".$row[$data['id']];
                    mysql_query($query);
                }
                continue;
            }
            break;
        }        
    }
}

function clean($content){
    $content = preg_replace("/\r/",'',$content);
    $content = stripslashes($content);
    $content = preg_replace('/<p[^>]+>(.+?)<\/p>/is', "<p>$1</p>", $content);
    $content = preg_replace('/<span[^>]+>(.+?)<\/span>/is', "<span>$1</span>", $content);
    $content = preg_replace('/<!.+?(?:\-\-|\])>/','',$content);
    $content = preg_replace('/<style.+?<\/style>/is','',$content);
    $content = preg_replace('/<xml.+?<\/xml>/is','',$content);
    $content = strip_tags($content,'<span><p><b><i><u><a><img><table><tr><th><td><thead><tbody><br>');
    $content = str_replace(" "," ", $content);
    $content = preg_replace("/<(?:span|p)>\s*<\/(?:span|p)>/is","",$content);
    $content = preg_replace("/\n\n+/","\n",$content);
    return $content;
}
?>

Ну, сразу перейду к расстройству что даже в Я.Вебмастер показывается только первая 1000 проиндексированных страниц — но парсер уже был готов, допиливать его не стал.

С использованием Jum::Web::Crawler — функцию под него я уже постил

use strict;
use Jum::Web::Crawler;

my $login = q[];
my $password = q[];
my $cookie_file = q[./yandex.cookie];

print qq[Enter site ID: ];
my $site_id = <STDIN>;
chop $site_id;
print $site_id." in process..\n";

my $webmaster_href = q[http://webmaster.yandex.ru/site/indexed-pages.xml?host=%d&path=*&page_num=%d];
my $auth_href = q[https://passport.yandex.ru/passport?mode=auth];
my $post_data = q[display=page];
$post_data .= q[&from=passport];
$post_data .= q[&idkey=%s];
$post_data .= q[&retpath=http://webmaster.yandex.ru];
$post_data .= q[&login=]$login;
$post_data .= q[&passwd=].$password;
$post_data .= q[&twoweeks=yes];
$post_data .= q[&timestamp=].time().q[520];

my $login_data = Jum::Web::Crawler::getURL({href=>$auth_href, cookie_file=>$cookie_file});
my $idkey = $1 if $login_data->{content} =~ /"idkey" value="([^"]+)/;

$post_data = sprintf($post_data, $idkey);

$login_data = Jum::Web::Crawler::getURL({
href => $auth_href,
post => $post_data,
cookie_file => $cookie_file,
referer => $auth_href
});

if($login_data->{content} =~ /Refresh" content="0;/){
print qq[Success!\n];
}

my $i = 0;
open F,">".$site_id.".links";
while(1){
my $href = sprintf($webmaster_href, $site_id, $i);
print qq[Getting $href ...\n];
$i++;
my $content = Jum::Web::Crawler::getURL({href=>$href, cookie_file=>$cookie_file});
while($content->{content} =~ /target="_blank" href="([^"]+)/isg){
my $found_href = $1;
print "\t".$found_href."\n";
print F $found_href;
}
# Цикл бесконечный - имейте в виду. Надо останавливать когда дошли до конца.
}
close F;

Одно расстройство с этой 1000 страниц. Прицельно бить Яндекс очень не хочется.

Просмотрел почту — валились такие письма уже месяца два. Написал в Hetzner — так мол и так — винт подох, не откликается по

hdparm -i /dev/sdb | grep SerialNo
HDIO_DRIVE_CMD (identify) failed: Input/output error
HDIO_GET_IDENTITY failed: No message of desired type

И пишут они мне человеческим языком — давайте, мол, запустим мы вам хардвар чек на 10 часов с отключением сервера.
Я так немножечко удивился — отвечаю — братюни, у меня винт из рейда выпал — вот, посмотрите —

cat /proc/mdstat

Personalities : [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md2 : active raid1 sda3[0]
1462516672 blocks [2/1] [U_]

md1 : active raid1 sda2[0]
524224 blocks [2/1] [U_]

md0 : active raid1 sda1[0]
2096064 blocks [2/1] [U_]

unused devices:

А они такие — ну отлично — давайте тогда мы вам винт поменяем просто. 20 минут работы всего делов.
Ну, я по scp слил бекапы /etc, /home и /var — и говорю — ну, меняйте, чертяки языкастые. Даром чтоль вам плачу-то.

Пишут через полчаса — поменяли, проверяйте. Проверяю — и вправду, диск подключили, серийник его высвечивается. А вот в рейд его не впихнули. Пишу — мол, своими руками-то в рейд его колбасить? Отвечают — ну, своими и колбась, вот тебе ссылка на нашу вики что и как там делать.

ОК. Посмотрел вики. Сделал первому винту fdisk /dev/sda -l — запомнил все, что написали. Начал делать такое же для второго, новенького.

А винты-то кстати на полтора тера оба.

И второй в GPT притом. Правда, не сразу заметил. Ну, в общем, шаманил и шаманил с fstab, sfstab, cfstab, — даже потом в parted полез, — чтоб убедиться что последний ext3 не знает как системы до сих пор.

Что-то вроде было:

sfdisk -d /dev/sda | sfdisk /dev/sdb
Checking that no-one is using this disk right now ...
OK

Disk /dev/sdb: 182401 cylinders, 255 heads, 63 sectors/track

sfdisk: ERROR: sector 0 does not have an msdos signature
/dev/sdb: unrecognized partition table type
Old situation:
No partitions found
New situation:
Units = sectors of 512 bytes, counting from 0

Device Boot Start End #sectors Id System
/dev/sdb1 2048 4194303 4192256 fd Linux raid autodetect
/dev/sdb2 4194304 5242879 1048576 fd Linux raid autodetect
/dev/sdb3 5242880 2930276351 2925033472 fd Linux raid autodetect
/dev/sdb4 0 — 0 0 Empty
Warning: partition 1 does not end at a cylinder boundary

sfdisk: I don't like these partitions — nothing changed.
(If you really want this, use the --force option.)
sfdisk -d /dev/sda | sfdisk /dev/sdb --force
Checking that no-one is using this disk right now ...
OK

Disk /dev/sdb: 182401 cylinders, 255 heads, 63 sectors/track

sfdisk: ERROR: sector 0 does not have an msdos signature
/dev/sdb: unrecognized partition table type
Old situation:
No partitions found
New situation:
Units = sectors of 512 bytes, counting from 0

Device Boot Start End #sectors Id System
/dev/sdb1 2048 4194303 4192256 fd Linux raid autodetect
/dev/sdb2 4194304 5242879 1048576 fd Linux raid autodetect
/dev/sdb3 5242880 2930276351 2925033472 fd Linux raid autodetect
/dev/sdb4 0 — 0 0 Empty
Warning: partition 1 does not end at a cylinder boundary
Successfully wrote the new partition table

Re-reading the partition table ...

If you created or changed a DOS partition, /dev/foo7, say, then use dd (1)
to zero the first 512 bytes: dd if=/dev/zero of=/dev/foo7 bs=512 count=1
(See fdisk (8).)
fdisk /dev/sda -l

Disk /dev/sda: 1500.3 GB, 1500301910016 bytes
64 heads, 32 sectors/track, 1430799 cylinders
Units = cylinders of 2048 * 512 = 1048576 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0005d36c

Device Boot Start End Blocks Id System
/dev/sda1 2 2048 2096128 fd Linux raid autodetect
/dev/sda2 2049 2560 524288 fd Linux raid autodetect
/dev/sda3 2561 1430799 1462516736 fd Linux raid autodetect
fdisk /dev/sdb -l

Disk /dev/sdb: 1500.3 GB, 1500301910016 bytes
255 heads, 63 sectors/track, 182401 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0×00000000

Device Boot Start End Blocks Id System
/dev/sdb1 1 262 2096128 fd Linux raid autodetect
Partition 1 does not end on cylinder boundary.
/dev/sdb2 262 327 524288 fd Linux raid autodetect
Partition 2 does not end on cylinder boundary.
/dev/sdb3 327 182402 1462516736 fd Linux raid autodetect

Ничем в общем все заканчивалось — видать, где-то сам дурак был, недоразметил ему шапку дисковую. Хотя и dd пробовал подтесать ему, и с fdisk ms-dos-ил... В итоге просто в какой-то момент переписка моя с саппортом зашла в тупик и полез курить маны, куренные в последний раз года три назад.

В итоге забил мощный болт на их вики и несколькими мощными рывками кончил процесс следующим:

dd if=/dev/sda of=/tmp/sda.mbr bs=512 count=1
dd if=/tmp/sda.mbr of=/dev/sdb bs=512 count=1
fdisk /dev/sdb

После чего сохранил разметку партиции — ну а дальше дело техники —

mdadm /dev/md0 -a /dev/sdb1
mdadm /dev/md1 -a /dev/sdb2
mdadm /dev/md2 -a /dev/sdb3

Осталось 3 часа до синхронизации последней партиции. Радуюсь.

Далее — про Win7/Vista, не помню и лениво было смотреть документацию для прочих.

Суть в том, что эта программа позволяет задать таймер для выключения или перезагрузки компьютера. У нее даже GUI есть (shutdown -i)

А я лентяй и мне гуи дергать и настраивать лениво — и накидал прогу которая через заданное количество секунд-минут-часов-лет вырубит комп через этот самый шатдаун. Потому что когда я лежу в кровати и знаю что фильм кончится через час — вставать и выключать через час комп мне лениво.

WindowsShutdownTimer

$ find . | xargs grep -l «<iframe src='badsite'» | xargs sed -i -e 's/bad_code_with_stripping_regex_chars//g'

Эта команда заменит весь вредоносный код на ничего.

Если у вас что-то запущено в консоли и вам надо уходить, забрав с собой компьютер — то все очень просто.

Ctrl+Z
Процесс вешается в паузу
А потом продолжаем его уже в фоне (а лучше в скрине) — kill -s CONT $PID

Или попросту bg в текущем экране. Признак того, что процесс продолжился в фоне — это то что будет написано при выводе команды jobs.

Вуаля!

После обновления PHP и либы mysqlnd один из production-серверов вскрякнул:

Warning: mysql_connect() [function.mysql-connect]: Premature end of data (mysqlnd_wireprotocol.c:554) in ...
Warning: mysql_connect() [function.mysql-connect]: OK packet 1 bytes shorter than expected in ...
Warning: mysql_connect() [function.mysql-connect]: mysqlnd cannot connect to MySQL 4.1+ using the old insecure authentication. Please use an administration tool to reset your password with the command SET PASSWORD = PASSWORD('your_existing_password'). This will store a new, and more secure, hash value in mysql.user. If this user is used in other scripts executed by PHP 5.2 or earlier you might need to remove the old-passwords flag from your my.cnf file in ...

Ларчик просто открывается — собственно, все и написано в ошибке. Старый хеш имеет длину в 16 символов, новые — в 41. До сих пор даже в самых последних версиях MySQL не могут по каким-то причинам отказаться от старых паролей и таскают в конфиге этот allow_old_passwords = 1.

Ну, надо идти в ногу со временем.

SELECT `user` FROM `mysql`.`user` WHERE LENGTH(`Password`) = 16;

Ну и

UPDATE `mysql`.`user` SET `Password` = PASSWORD('старый пароль') WHERE `user` = 'юзер со старым хешом';

Удивительно только как проникает-то туда! Подозреваю что это все злой phpMyAdmin с его автоматическими созданиями юзеров

Вычистил его корни отовсюду, запустил

sudo port install apache2 mod_perl2 mod_ssi_func mysql5-server mysql5-client php5 php5-mysql

ии кааак пойдет на взлет прошка моя — что прям думал со стола улетит — такой шум поднялся от кулеров — негодует видимо =)

В итоге наслаждаюсь нормальным «MAMP» набором :) Перевыкаю от путей конфигов — зато теперь все четко-четко, без хрени всякой — и рестартится нормально — и конфигурится по-людски.

Первым делом полез в БД — смотреть на хеши. Попробовал md5, потом все-таки полез в гугл искать алгоритм шифрования — оказалось SHA1. Но и с sha1 не пустило.

Смотрел таблицу users — поле hashed_password.

Взял готовый хеш пароля из db/migrate/001_setup.rb — тоже не подходит (ну и нечего удивляться — тот же sha1 от admin)

Загуглил вплотную — и помогла команда:
RAILS_ENV=production script/runner 'user = User.find (:first, :conditions => {:admin => true}) ; user.password, user.password_confirmation = «my_password», «my_password»; user.save!'

Вуаля, так пароль сбрасывается. Где хранится — прям вот в затруднениях. Но сбрасывается.

Буду дебютировать в роли докладчика на Perl-секции — http://devconf.ru/offers/24 , в 18-00, закрывая секцию.

«Концепция алгоритма построения стабильного многопоточного приложения которое обрабатывает слова, нормализуя их с помощью инструмента от Яндекса — mystem.»

Учитывая, что это будет мой первый доклад на конференции, волнуюсь и уже в третий раз переписал текст. Будет немного скучно, но полезно — для тех кто ещё не в теме.