Gentoo Way

WordPress – WEBO Site SpeedUp vs WP Super Cache

Дмитрий Бекетов — Tue, 27 Jul 2010 19:30:12 +0000

Попалась статейка на хабре про новую версию WEBO Site Speed Up и как выяснилось имеется версия и для WordPress-а - стало интересно т.к. сам пользуюсь WP Super Cache. Решил их сравнить.

Сравнил давно, выложить результаты время нашлось только сейчас.

Для сравнения результатов оптимизации были использованы следующие инструменты:

Плагин для FireBug-a YSlow
Плагин для FireBug-a Page Speed
Замер от webo.in
Стресс-тест с помощью loadimpact

Тестируемая версия WEBO Site SpeedUp - 1.2.1
Тестируемая версия WP Super Cache - 0.9.9.3
Тестируемый блог - этот

Т.к. loadimpact используется с бесплатными возможностями были выключены все счётчики и вся реклама т.к. при превышении лимита loadimpact не даёт тестировать если есть ресурсы (картинки, скрипты), запрашиваемые с других сайтов, а т.к. тестировал я несколько раз то лимиты были исчерпаны и пришлось ждать пока они восстановятся и проводить тест уже без внешних ресурсов.

При помощи YSlow также производились замеры размера страницы и скорости загрузки.

Сначала представлю сводную таблицу результатов и подведу итог, а уже если будут интересны подробности то их можно прочитать ниже:

	Чистый сайт	WEBO Site SpeedUp	WP Super Cache
Размер страницы, КБ	143.2	161.2	143.3
Рейтинг webo.in	70	82	70
Рейтинг webo.in, интегральный	73	65	73
Page Speed Score	82	83	86
YSlow Score	86	96	86
Среднее время загрузки (YSlow), секунд	2.69	2.86	1.91
Самый быстрый по версии Loadimpact	3	1	2
Цена, рублей	0	499-1999 (~120 тугриков в день на SaaS версии)	0

Исходя из сравнительного тестирования можно сделать вывод что WP Super Cache лучший и это так и есть, почти. Он подходит больше для «домашнего использования» т.к. бесплатный и механизм кеширования действительно позволяет выдержать довольно сильный наплыв посетителей.
Однако для серьёзных блогов я бы использовал WEBO т.к. у него огромное количество всевозможных настроек и оптимизаций которые позволят выжать из блога больше чем WP SP, например мне не удалось протестировать CDN и распределение данных по хостам за неимением оных.

Тестирование

Чистый блог

Сначала был протестирован чистый блог, получилась такая картина:
Рейтинг webo.in: 70/100, интегральный: 73/100
Рейтинг Page Speed: 82/100
Рейтинг YSlow: Overall performance score 86 Ruleset applied: Small Site or Blog
Результаты Loadimpact в целом получились предсказумыми, однако я не думал что сайт доживёт до конца тестирования, повезло
Табличка с замерами YSlow:

Размер страницы, КБ	Скорость загрузки, секунд
143.2	2.62
143.2	2.569
143.2	2.631
143.2	3.09
143.2	2.604

WEBO Site SpeedUp

Правила nginx:

if ($http_accept_encoding ~* deflate)
{
set $wssenc .df;
}

if ($http_accept_encoding ~* gzip)
{
set $wssenc .gz;
}

if ($http_user_agent ~ "MSIE 6")
{
set $wssbr .ie6;
}

if ($http_user_agent ~ "MSIE 7")
{
set $wssbr .ie7;
}

if ($http_user_agent ~ "MSIE 8")
{
set $wssbr .ie8;
}

if ($http_user_agent ~ "Android|BlackBerry|HTC|iPhone|iPod|LG|MOT|Mobile|NetFront|Nokia|Opera Mini|Palm|PPC|SAMSUNG|Smartphone|SonyEricsson|Symbian|UP.Browser|webOS")
{
set $wssbr .ma;
}

if ($request_method != POST)
{
set $cache_file_name $document_root/wp-content/plugins/webo-site-speedup/cache$request_uri/index$wssbr.html$wssenc;
}

if (-f $cache_file_name)
{
rewrite (.*) /wp-content/plugins/webo-site-speedup/cache$1/index$wssbr.html$wssenc break;
}

Рейтинг webo.in: 82/100, интегральный: 65/100
Рейтинг Page Speed: 83/100
Рейтинг YSlow: Overall performance score 96 Ruleset applied: Small Site or Blog
Результаты Loadimpact - очень не плохо, даже замечательно - почти горизонтальный график. 2 секунды тоже радуют.
Табличка с замерами YSlow:

Размер странички, КБ	Скорость загрузки, секунд
161.2	2.552
161.2	2.925
161.2	3.511
161.2	2.607
161.2	2.681

WP Super Cache

Правила nginx:

if (-f $request_filename) {
break;
}

set $supercache_file '';
set $supercache_uri $request_uri;

if ($request_method = POST) {
set $supercache_uri '';
}

if ($query_string) {
set $supercache_uri '';
}

if ($http_cookie ~* "comment_author_|wordpress|wp-postpass_" ) {
set $supercache_uri '';
}

if ($supercache_uri ~ ^(.+)$) {
set $supercache_file /wp-content/cache/supercache/$http_host/$1index.html;
}

if (-f $document_root$supercache_file) {
rewrite ^(.*)$ $supercache_file break;
}

Рейтинг webo.in: 70/100, интегральный: 73/100
Рейтинг Page Speed: 86/100
Рейтинг YSlow: Overall performance score 86 Ruleset applied: Small Site or Blog
Результаты Loadimpact - тоже не плохо, небольшое увеличение времени загрузки в конце но в целом отлично.
Табличка с замерами YSlow:

Размер странички, КБ	Скорость загрузки, секунд
143.3	1.863
143.3	2.099
143.3	1.996
143.3	1.792
143.3	1.795

Во всех тестах были активны следующие правила nginx:

# Static files
location ~* \.(jpg|jpeg|gif|png|ico|zip|tgz|gz|rar|bz2|doc|xls|exe|pdf|ppt|txt|tar|mid|midi|wav|bmp|rtf)$ {
access_log off;
log_not_found off;
expires max;
add_header Vary User-Agent;
add_header Vary Accept-Encoding;
add_header Cache-Control public;
}

# Static files
location ~* \.(css|js)$ {
access_log off;
log_not_found off;
expires max;
add_header Vary User-Agent;
add_header Vary Accept-Encoding;
add_header Cache-Control private;
}

Скриншоты результатов Loadimpact, на всякий случай:

В закладки!

Kubuntu 10.04 – Эффекты и проприетарные драйвера для ATI

Дмитрий Бекетов — Mon, 10 May 2010 14:30:23 +0000

После обновления (а точнее после чистой установки) Kubuntu 10.04 установил проприетарные драйвера для своей ATI Radeon HD 4800 Series и как обычно что-то сломалось...на этот раз сломались эффекты рабочего стола (Через XRender работали но уж очень медленно). Что впрочем не удивительно т.к. дрова свежие и ещё толком не обкатанные. К тому же это ведь ATI...

Для справки - драйвера можно установить через jockey-kde или же:

sudo apt-get update
sudo apt-get install linux-headers-`uname -r` fglrx fglrx-amdcccle fglrx-dev fglrx-modaliases
sudo aticonfig --initial
sudo reboot

Покопавшись в настройках обнаружил что эффекты будут работать если выставить флаг «Отключить внутреннюю проверку» в разделе Параметры системы - Рабочий стол - Эффекты рабочего стола - Дополнительно

Но нужно же что бы они работали и в обычном режиме

Для этого нужно проверить чтобы в соответствующих разделах xorg.conf были эти значения:

Section "Device"
Option "AllowGLXWithComposite" "true"
EndSection

Section "Extensions"
Option "Composite" "Enable"
Option "DAMAGE" "Enable"
Option "RENDER" "Enable"
EndSection

После применения настроек эффекты работают и при отключении «Отключить внутреннюю проверку».

В закладки!

KDE 4.4.0 – Поломался Skype – Kubuntu 9.10

Дмитрий Бекетов — Thu, 11 Feb 2010 11:49:42 +0000

С горем пополам обновился на KDE 4.4.0.

Всё красиво но сломался Smooth Tasks и Skype.
По Smooth Tasks отписал автору (не у меня одного такая проблема), а вот Skype пришлось реанимировать своими силами.

Запуск из консоли выдавал вот такой листинг и Skype намертво зависал

# skype
bt_audio_service_open: connect() failed: В соединении отказано (111)
bt_audio_service_open: connect() failed: В соединении отказано (111)
QInotifyFileSystemWatcherEngine::addPaths: inotify_add_watch failed: Нет такого файла или каталога

(process:7282): GLib-GObject-CRITICAL **: /build/buildd/glib2.0-2.22.3/gobject/gtype.c:2458: initialization assertion failed, use IA__g_type_init() prior to this function

(process:7282): GLib-CRITICAL **: g_once_init_leave: assertion `initialization_value != 0' failed

(process:7282): GLib-GObject-CRITICAL **: /build/buildd/glib2.0-2.22.3/gobject/gtype.c:2458: initialization assertion failed, use IA__g_type_init() prior to this function

(process:7282): GLib-GObject-CRITICAL **: /build/buildd/glib2.0-2.22.3/gobject/gtype.c:2458: initialization assertion failed, use IA__g_type_init() prior to this function

(process:7282): GLib-GObject-CRITICAL **: /build/buildd/glib2.0-2.22.3/gobject/gtype.c:2458: initialization assertion failed, use IA__g_type_init() prior to this function

(process:7282): GLib-GObject-CRITICAL **: g_type_add_interface_static: assertion `G_TYPE_IS_INSTANTIATABLE (instance_type)' failed

(process:7282): GLib-GObject-CRITICAL **: /build/buildd/glib2.0-2.22.3/gobject/gtype.c:2458: initialization assertion failed, use IA__g_type_init() prior to this function

(process:7282): GLib-GObject-CRITICAL **: g_type_add_interface_static: assertion `G_TYPE_IS_INSTANTIATABLE (instance_type)' failed

(process:7282): Gtk-CRITICAL **: gtk_widget_style_get: assertion `GTK_IS_WIDGET (widget)' failed

Ничего лучше в голову не пришло как переустановить GKT темы.

apt-get install gtk2-engines gtk2-engines-qtcurve

Как оказалось gtk2-engines у меня установлено не было (а может оно и не нужно).

После чего зашёл в настройки внешнего вида и заново выбрал тему для GTK+ - оказалось этого достаточно т.к. Skype заработал

Версия Skype 2.1.0.81 (ИМХО предыдущая была лучше, эта иногда виснет).

В закладки!

Linux – MySQL binary log

Дмитрий Бекетов — Sun, 10 Jan 2010 08:09:33 +0000

Основательно занявшись решением вопроса "Куда пропадает свободное место?" с удивлением обнаружил что оно занято файлами mysqld-bin.* в /var/lib/mysql

Это же надо было так проколоться. Сервер работает больше года и и за это время бинарные логи разрослись и заняли 14 гигабайт из 20 гиг выделенных на всю систему (не очень активно MySQL используется) но т.к. всегда было что удалить как-то не особо обращал на это внимание (то сорцы старые удалишь то ещё что-то).

Что можно было бы сделать в данной ситуации:

Перенести логи на другой раздел (мне не подходит)
Увеличить размер, выделенный под систему (тоже не подходит)
Уменьшить суммарный объём логов (самое оно)

Чтобы уменьшить занимаемое логами место можно в файл настроек /etc/mysql/my.cnf добавить следующую конфигурацию:

expire_logs_days = 5

Вообще не знаю зачем их хранить даже 5 дней, разве что делать репликацию на slave с задержкой до пяти дней...Да и восстаноление из них выглядит как-то сомнительно (хотя тоже имеет место быть).

Также можно удалить старые логи до нужного файла выполнив запрос:

PURGE BINARY LOGS TO 'mysqld-bin.000123';

А вообще если они не нужны (а не нужны они в 99% на единичном сервере) то их можно отключить (в /etc/mysql/my.cnf):

#log-bin

В закладки!

BIND – Настройка зоны и домены третьего уровня для сервера разработки.

Дмитрий Бекетов — Wed, 09 Dec 2009 18:27:25 +0000

В интернете можно найти много документации на тему настройки BIND на любом языке так что пусть это будет ещё один вариант настройки.

Данная настройка отличается тем, что предназначена (как видно из заголовка) в первую очередь для сервера разработки но также может быть использована в домашних сетях.

Краткое содержание:

Настройка своей зоны (в данном случае - home)
Настройка обратной зоны (PTR)
Настройка зоны третьего уровня для нужд разработки

Настройка зоны home. Вариант 1.

Предположим что DNS-сервер и сервер разработки совмещены, тогда настройка своей зоны будет выглядеть следующим образом:
добавить в настройки BIND (named.conf):

zone "home." {
type master;
file "pri/home.zone";
};
zone "1.168.192.in-addr.arpa" {
type master;
file "pri/192.168.1.in-addr.arpa";
};

Файл зоны pri/home.zone:

$TTL 38400
@ IN SOA ns.router.home. admin.gentooway.ru. (
200912091 ; Serial
10800 ; Refresh
3600 ; Retry
604800 ; Expire
38400 ) ; Minimum

IN NS ns.router.home.
ns.router.home. IN A 192.168.1.20
* IN A 192.168.1.20 ;; Если необходимо чтобы запросы на несуществующие домены
;; обрабатывал этот же сервер (типа asfafasfasf.home. или eerte.fgfgfg.home.)
router.home. IN A 192.168.1.20
IN TXT "Router"
IN HINFO "Intel(R) Celeron(TM) CPU 1400MHz" "Hardened Gentoo"
win-digger.home. IN A 192.168.1.198
IN TXT "My PC"
IN HINFO "Intel(R) Core(TM)2 CPU 6400 @ 2.13GHz" "Kubuntu"

Дополнительные поля можно вписывать, а можно и не вписывать...

Файл обратной зоны pri/192.168.1.in-addr.arpa:

$TTL 3600
@ IN SOA ns.router.home. admin.gentooway.ru. (
200912091 ; Serial
3600 ; Refresh
900 ; Retry
3600000 ; Expire
3600 ) ; Minimum

@ IN NS ns.router.home.
20 IN PTR router.home.
20 IN PTR ns.router.home.
198 IN PTR win-digger.home.

Проверим:

# host router.home
router.home has address 192.168.1.20

# host 192.168.1.20
20.1.168.192.in-addr.arpa domain name pointer ns.router.home.
20.1.168.192.in-addr.arpa domain name pointer router.home.

Собственно если в конфигурации было указано
* IN A 192.168.1.20
то все запросы на необъявленные имена будут обращены на
192.168.1.20, это облегчает работу т.к. не нужно обновлять записи на DNS сервере или редактировать файл hosts.

А что вообще подразумевается под сервером разработок?
Это машина на которой "хостятся" рабочие проекты доступные только локально по именам (например) project1.home best-site.home и т.д.

Настройка зоны home. Вариант 2.

(с доменами третьего уровня)
Отличие от варианта 1 в том, что DNS сервер и сервер разработки находятся на разных машинах.

Для данного варианта тестовые имена будут выглядеть так: project1.win-digger.home best-site.win-digger.home, а также все домены третьего уровня будут указывать на win-digger.home.

в named.conf необходимо добавить (помимо того, что указано в варианте 1):

// Сервер разработки
zone "win-digger.home." {
type master;
file "pri/win-digger.home.";
};

// DNS сервер
zone "router.home." {
type master;
file "pri/router.home.";
};

Обратная зона не изменилась, поэту её можно подсмотреть в первом варианте.

Файл зоны home
pri/home.zone

$TTL 38400
@ IN SOA ns.router.home. admin.gentooway.ru. (
200912091 ; Serial
10800 ; Refresh
3600 ; Retry
604800 ; Expire
38400 ) ; Minimum

IN NS ns.router.home.
ns.router.home. IN A 192.168.1.20

Файл зоны для DNS сервера:
pri/router.home.

$TTL 38400
@ IN SOA ns.router.home. admin.gentooway.ru. (
200912091 ; Serial
10800 ; Refresh
3600 ; Retry
604800 ; Expire
38400 ) ; Minimum

IN NS ns.router.home.
@ IN A 192.168.1.20
IN TXT "Router"
IN HINFO "Intel(R) Celeron(TM) CPU 1400MHz" "Hardened Gentoo"
ns IN A 192.168.1.20
* IN CNAME @

Файл зоны для сервера разработки:
pri/win-digger.home.

$TTL 38400
@ IN SOA ns.router.home. admin.gentooway.ru. (
200912091 ; Serial
10800 ; Refresh
3600 ; Retry
604800 ; Expire
38400 ) ; Minimum

IN NS ns.router.home.
@ IN A 192.168.1.198
IN TXT "My PC"
IN HINFO "Intel(R) Core(TM)2 CPU 6400 @ 2.13GHz" "Kubuntu"
* IN CNAME @

Проверяем:

# host win-digger.home
win-digger.home has address 192.168.1.198

# host 192.168.1.198
198.1.168.192.in-addr.arpa domain name pointer win-digger.home.

# host non-existent-or-custom-domain.win-digger.home
non-existent-or-custom-domain.win-digger.home is an alias for win-digger.home.
win-digger.home has address 192.168.1.198

Вот и всё, один раз настроить и не нужно больше никуда лазить и что-то где-то прописывать.

В закладки!

SSH – Авторизация по ключу, что делать если ключ украли.

Дмитрий Бекетов — Sat, 28 Nov 2009 16:07:29 +0000

Ни для кого ни секрет насколько удобна авторизация по публичному ключу, а если для кого-то секрет - то можете ознакомиться вот с этой статьёй.

Но случается и такое, что ключ нужно заменить, причины? Честно говоря вижу только две - ключ скомпрометирован и, что почти то же самое, его украли.

Заменить ключ не составляет особого труда - всего-то нужно удалить с серверов старый публичный и записать вместо него новый. Вроде бы всё предельно просто, а что если серверов не один, не два и не три, а 10, 20 и более? Вот тут-то и просыпается великая и могучая лень Но есть необходимость, а значит нужно что-то делать.

На этот случай и был написан небольшой скрипт:
renew.sh

#!/bin/bash
# Author: Dmitriy Beketov (freemandigger --@-- gmail.com)
# Site: http://gentooway.ru
# Licence: Attribution-Noncommercial 3.0 Unported (http://creativecommons.org/licenses/by-nc/3.0/)

USAGE="Usage: ${0#*/} [-i id_rsa.old] [-d] "

privkey=""
dryrun=0
# Parse command line
while getopts i:d opt; do
case "$opt" in
i) privkey="$OPTARG";;
d) dryrun=1;;
*) echo $USAGE;;
esac
done
shift $(($OPTIND - 1))
[[ "$1" == '--' ]] && shift
if [[ $# -lt 3 ]]; then
echo $USAGE
exit 1
fi
oldpubkey=$1
hostlist=$3
newpubkey=$2
# Check files for exist
if [ "$privkey" ]; then
if [ ! -f "$privkey" ]; then
echo $USAGE
echo "Old private key file not found"
exit 1
fi
privkey="-i $privkey"
fi
if [ ! -f "$oldpubkey" ]; then
echo $USAGE
echo "Old public key file not found"
exit 1
fi
if [ ! -f "$hostlist" ]; then
echo $USAGE
echo "Host list not found"
exit 1
fi
if [ ! -f "$newpubkey" ]; then
echo $USAGE
echo "New public key file not found"
exit 1
fi

# Get the part of old public key for grep
OLD=`cat $oldpubkey | awk '{print $2}'`

SSH='/usr/bin/ssh'
SSH_COPY='/usr/bin/ssh-copy-id'
SCP='/usr/bin/scp'

test $dryrun -gt 0 && echo "START DRY RUN" || echo "START"
for host in `cat $hostlist`
do
printf "Copy new key to $host\n"
$SCP -q $privkey $newpubkey $host:.ssh/newpubkey
if [ "$?" > 0 ]; then
printf "\t[OK]\n"
printf "\tAdding new key to authorized_keys\n"
test $dryrun -gt 0 && printf "dry run" || $SSH $privkey $host "cat ~/.ssh/newpubkey >> ~/.ssh/authorized_keys"
test $? -gt 0 && printf "\t[FAIL]\n" || printf "\t[OK]\n"
printf "\tDeleting temporary file of new public key\n"
$SSH $privkey $host "rm ~/.ssh/newpubkey"
test $? -gt 0 && printf "\t[FAIL]\n" || printf "\t[OK]\n"
printf "\tBackup authorized_keys to authorized_keys.bak\n"
test $dryrun -gt 0 && printf "dry run" || $SSH $privkey $host cp .ssh/authorized_keys .ssh/authorized_keys.bak
test $? -gt 0 && printf "\t[FAIL]\n" || printf "\t[OK]\n"
printf "\tDeleting old public key from authorized_keys\n"
test $dryrun -gt 0 && printf "dry run" || $SSH $privkey $host "cat ~/.ssh/authorized_keys.bak | grep -v '$OLD' > ~/.ssh/authorized_keys"
test $? -gt 0 && printf "\t[FAIL]\n" || printf "\t[OK]\n"

else
printf "\t[FALSE]\n"
fi
done
echo "FINISH"
exit 0

Параметры вызова (не обязательные):

-d - Тестовый запуск, скрипт попробует скопировать новый ключ во временный файл на удалённом сервере, а затем его же и удалить.
-i - Ключ для авторизации на серверах, на случай если в ~/.ssh/id_rsa уже установлен новый ключ то в данном параметре можно указать где брать старый.

Параметры вызова (обязательные):

id_rsa.pub.old - старый публичный ключ, который нужно заменить.
id_rsa.pub.new - новый публичный ключ.
host list - файл со списком пользователей/серверов, где нужно заменить ключ, формат user@host или из ~/.ssh/config

user1@host1
user2@host2
user223@host4
my_predefined_host
blabla@eee

Также можно скачать скрипт

В закладки!

Nginx – Как убрать вопрос «?» в строке адреса

Дмитрий Бекетов — Thu, 19 Nov 2009 19:14:09 +0000

Бывает необходимо сделать из адреса /index.php? просто /index.php (без ненужного вопроса). Для чего? Ну например для SAPE т.к. в индекс попадает страничка без вопроса в конце.

Помню что где-то видел решение, но где забыл, а заодно и забыл как это было сделано
Пришлось сделать своё, метод далеко не нов, но лучше я его запишу:

server {
...
set $rr 0;
if ($request_uri ~ ^/index.php\?$) {
set $rr 1;
}
if ($request_method = POST) {
set $rr 0;
}
if ($rr) {
rewrite .* /index.php permanent;
}
...
}

Очень просто.

В закладки!

Ubuntu – Шифруем home и swap в Ubuntu 9.10 Karmic

Дмитрий Бекетов — Tue, 17 Nov 2009 10:18:03 +0000

При установке (K)Ubuntu 9.10 Karmic (alternate) на очередную виртуальную машину обратил внимание на вопрос системы о том, желаю ли я зашифровать домашнюю директорию, я конечно же ответил "Да". Но при этом вспомнил что у самого домашняя машина была установлена без данной опции (давно устанавливалась, ещё 8.10 кажется была). Вобщем решил и себе сделать "апгрейд", а заодно зашифровать home и swap разделы...

Стоит заметить, что, проще наверное было бы переустановить систему с включенной опцией шифрования, но это же не "gentoo way"
К тому же стандартная поставка использует для шифрования eCryptfs и не шифрует swap. В чём разница? Это два разных подхода - eCryptfs шифрует на уровне файлов, а LUKS это блочное устройство (/dev/sdb5). Это как SSL и IPSec. У каждого есть свои плюсы и минусы.

Так что инструкция только для ознакомления. Внимание, при неосторожных действиях вы можете потерять весь домашний раздел...вобщем, вы предупреждены.

Используя Linux Unified Key Setup (LUKS) установка шифрованного раздела происходит очень быстро.

Подготовка

Установим необходимые пакеты:

apt-get install cryptsetup libpam-mount

device-mapper должен быть активирован (если нет - перезагрузитесь):

ls -l /dev/mapper/

итого 0
crw-rw---- 1 root root 10, 60 2009-11-16 21:12 control

...с поддержкой шифрования:

dmsetup targets | grep crypt

crypt v1.7.0

Отлично. Всё готово, приступим.

Часть 1. Шифруем swap.

1) Отключаем swap.

swapoff /dev/sda5

2) Заполняем swap случайными данными.

dd if=/dev/urandom of=/dev/sda5 bs=1M

957+0 записей считано
956+0 записей написано
скопировано 1003450368 байт (1,0 GB), 179,14 c, 5,6 MB/c

Этот процесс занимает некоторое время...

3) настраиваем шифрованный swap.

Добавьте в /etc/crypttab

cryptoswap /dev/sda5 /dev/urandom cipher=aes-cbc-essiv:sha256,size=256,hash=sha256,swap

Почему /dev/urandom, а не /dev/random? Потому что последний остановит загрузку пока не накопит достаточно энтропии (нажатие на клавиши ускорит этот процесс), а urandom не остановит.

Далее нужно заменить запись swap в /etc/fstab:

/dev/mapper/cryptoswap none swap sw 0 0

При каждой загрузке swap будет шифроваться разным ключом.

4) Проверяем.

Для проверки нужно перезагрузиться.
Теперь у нас есть зашифрованный swap:

cat /proc/swaps

Filename Type Size Used Priority
/dev/mapper/cryptoswap partition 979924 0 -1

cryptsetup status cryptoswap

/dev/mapper/cryptoswap is active:
cipher: aes-cbc-essiv:sha256
keysize: 256 bits
device: /dev/sda5
offset: 0 sectors
size: 1959867 sectors
mode: read/write

Готово.

Часть 2. Создание и подключение зашифрованного home раздела.

Я выбрал путь минимальных разрушений и выделил для домашней директории новый раздел на который потом скопировал данные с текущего.

1) Заполним будущий home всякой всячиной:

dd if=/dev/urandom of=/dev/sdb5

4080385+0 записей считано
4080384+0 записей написано
скопировано 2089156608 байт (2,1 GB), 639,055 c, 3,3 MB/c

Это может занять очень много времени (в зависимости от размера нового диска)

cryptsetup -c aes-cbc-essiv:sha256 -y -s 256 luksFormat /dev/sdb5

WARNING!
========
Данные на /dev/sdb5 будут перезаписаны без возможности восстановления.

Are you sure? (Type uppercase yes): YES
Enter LUKS passphrase:
Verify passphrase:
Команда выполнена успешно.

Мы используем шифр "aes-cbc-essi" т.к. дефолтный подвержен так называемой атаке "по следам" (Watermarking attack)

2) Создаём раздел

cryptsetup luksOpen /dev/sdb5 cryptohome

Enter LUKS passphrase:
key slot 0 unlocked.

Проверим что получилось

ls -l /dev/mapper/

итого 0
crw-rw---- 1 root root 10, 60 2009-11-16 23:02 control
brw-rw---- 1 root disk 252, 1 2009-11-16 23:38 cryptohome
brw-rw---- 1 root disk 252, 0 2009-11-16 23:02 cryptoswap

или так:

dmsetup ls

cryptoswap (252, 0)
cryptohome (252, 1)

3) Создадим файловую систему.

mkfs.ext4 -j -m 1 -O dir_index,filetype,sparse_super /dev/mapper/cryptohome

mke2fs 1.41.9 (22-Aug-2009)
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
127488 inodes, 509791 blocks
5097 blocks (1.00%) reserved for the super user
First data block=0
Maximum filesystem blocks=524288000
16 block groups
32768 blocks per group, 32768 fragments per group
7968 inodes per group
Superblock backups stored on blocks:
32768, 98304, 163840, 229376, 294912

Writing inode tables: done
Creating journal (8192 blocks): done
Writing superblocks and filesystem accounting information: done

This filesystem will be automatically checked every 37 mounts or
180 days, whichever comes first. Use tune2fs -c or -i to override.

4) Проверяем!

Начнём с того, что закроем раздел и откроем его заново, а затем примонтируем.

cryptsetup luksClose cryptohome
cryptsetup luksOpen /dev/sdb5 cryptohome

Enter LUKS passphrase:
Enter LUKS passphrase:
key slot 0 unlocked.
Команда выполнена успешно.

mkdir -p /mnt/cryptohome
mount /dev/mapper/cryptohome /mnt/cryptohome
touch /mnt/cryptohome/testfile
ls /mnt/cryptohome/

lost+found/ testfile

Также убедиться в работе можно посмотрев на вывод команды:

cryptsetup status cryptohome

/dev/mapper/cryptohome is active:
cipher: aes-cbc-essiv:sha256
keysize: 256 bits
device: /dev/sdb5
offset: 2056 sectors
size: 4078328 sectors
mode: read/write

Самое время скопировать текущий home на новый раздел.
После всего - размонтируем:

umount /mnt/cryptohome
cryptsetup luksClose cryptohome

5) Монтируем cryptohome при загрузке или при авторизации?

Теперь нужно сделать выбор. Можно монтировать раздел при загрузке системы, но тогда загрузка будет останавливаться и вам нужно будет каждый раз водить пароль. Если вы хотите чтобы раздел автоматически подключался при авторизации то пропустите этот пункт.

Избежать ручного ввода пароля можно сохранив ключ на usb носителе, как это сделать читайте тут (на английском).
Хотите включить подключение при загрузке?
Тогда добавьте в /etc/crypttab следующее:

cryptohome /dev/sdb5 none luks

и в /etc/fstab:

/dev/mapper/cryptohome /home ext4 relatime,errors=remount-ro 0 2

Если теперь вы перезагрузитесь то загрузка будет прервана с требованием ввести пароль LUKS. Если вы верно введёте пароль то подключится home раздел. Когда вы авторизуетесь то уже будете работать с шифрованным home.

Часть 3. Автоматическое подключение при авторизации.

Более элегантным будет подключение раздела при авторизации. Это подразумевает что у вас должен быть такой же пароль на вход, каким вы шифровали раздел. (На самом деле это не true и лучше было бы использовать внешний носитель для хранения ключа расшифровки но, в этой инструкции подразумевается что пароли одинаковые.)

1) Удаляем запись из /etc/fstab

Если в /etc/fstab есть запись для подключения зашифрованного раздела её нужно удалить:

/dev/mapper/cryptohome /home ext4 relatime,errors=remount-ro 0 2 # вот это нужно удалить

2) Изменяем /etc/crypttab

Убедитесь что в /etc/crypttab у вас записано именно это:

cryptohome /dev/sdb5 noauto luks

3) настраиваем pam_mount

Добавьте следующую строчку в /etc/security/pam_mount.conf.xml. Файл достаточно хорошо прокомментирован так что найти куда именно добавить не составит труда.

cipher="aes-cbc-essiv:sha256" path="/dev/sdb5" mountpoint="/home" />

Также нужно отредактировать ещё одну строчку таким образом:

wait="5000" hup="0" term="0" kill="yes" />

Это связано с тем, что при выходе не все процессы освобождают блокировку home от размонтирования.

4) Проверяем!

Входим и авторизуемся - у вас должен подключиться домашний раздел.

dmsetup ls

cryptoswap (252, 0)
_dev_sdb5 (252, 1)

и:

df -h

...
/dev/sdb5 2,0G 36M 1,9G 2% /home

Поздравляю. Теперь у вас есть зашифрованные swap и home.

Не забывайте делать бэкапы

В закладки!

Полезные команды MySQL

Дмитрий Бекетов — Thu, 12 Nov 2009 18:27:40 +0000

Авторизация на сервере (из консоли), -h при необходимости авторизации на удалённом сервере

mysql -h hostname -u root -p

Создание БД

mysql> create database `databasename`;

Создание БД с указанием необходимой кодировки

mysql> create database `databasename` default character set 'utf8' collate 'utf8_unicode_ci';

Получить список всех БД на сервере

mysql> show databases;

Переключится на БД

mysql> use `db name`;

Получить список таблиц в базе

mysql> show tables;

Посмотреть структуру таблицы

mysql> describe `table name`;

Ещё один вариант

mysql> show columns from `table name`;

Удалить БД

mysql> drop database `database name`;

Удалить таблицу

mysql> drop table `table name`;

Показать все данные в таблице

mysql> SELECT * FROM `table name`;

Показать строки, где поле `field name` имеет значение "whatever".

mysql> SELECT * FROM `table name` WHERE `field name` = 'whatever';

Показать строки с именем "Bob" и номеном "3444444"

mysql> SELECT * FROM `table name` WHERE name = 'Bob' AND phone_number = 3444444;

Показать строки с номером "3444444" не содержащие имени "Bob" отсортированные по номеру.

mysql> SELECT * FROM `table name` WHERE name != 'Bob' AND phone_number = 3444444 order by phone_number;

Показать записи с именем, начинающимся на "bob" и номером 3444444

mysql> SELECT * FROM `table name` WHERE name like 'Bob%' AND phone_number = 3444444;

Верннуть все данные с именем, начинающемся на "bob" и номером 3444444 ограничить вывод пятью первыми строками

mysql> SELECT * FROM `table name` WHERE name like 'Bob%' AND phone_number = 3444444 limit 0,5;

Используем регулярное выражение. Для регистрозависимого выбора используйте "REGEXP BINARY". Данный запрос найдёт все записи, начинающиеся на "a"

mysql> SELECT * FROM `table name` WHERE rec RLIKE '^a';

Показать уникальные записи

mysql> SELECT DISTINCT `column name` FROM `table name`;

Показать выбранные колонки отсортированные от а до я (ASC) или от я до а (DESC)

mysql> SELECT `col1`,`col2` FROM `table name` ORDER BY `col2` DESC;

Вернуть количество строк в таблице.

mysql> SELECT COUNT(*) FROM `table name`;

Просуммировать все числовые поля таблицы

mysql> SELECT SUM(*) FROM `table name`;

Объединение таблиц. Как работает JOIN (в картинках)

mysql> select lookup.illustrationid, lookup.personid,person.birthday from lookup left join person on lookup.personid=person.personid=statement to join birthday in person table with primary illustration id;

Создание пользователя. Вход под root. Переключение на БД mysql. Создание пользователя и обновление привилегий.

mysql -u root -p

mysql> use mysql;
mysql> INSERT INTO user (Host,User,Password) VALUES('%','username',PASSWORD('password'));
mysql> flush privileges;

Смена пароля пользователя из консоли

mysqladmin -u username -h hostname -p password 'new-password'

Смена пароля пользователя из консоли MySQL. Вход как root. Смена пароля. Обновление привелегий.

mysql -u root -p

mysql> SET PASSWORD FOR 'user'@'hostname' = PASSWORD('passwordhere');
mysql> flush privileges;

Восстановление пароля root пользователя. Остановить MySQL сервер. Запустить с пониженной безопасностью. Залогинится на MySQL как root. Установить новый пароль. Разлогинится и перезапустить MySQL сервер.

/etc/init.d/mysql stop
mysqld_safe --skip-grant-tables &
mysql -u root

mysql> use mysql;
mysql> update user set password=PASSWORD('newrootpassword') where User='root';
mysql> flush privileges;
mysql> quit

/etc/init.d/mysql stop
/etc/init.d/mysql start

Установка пароля root если он ещё не задавался ранее

mysqladmin -u root password newpassword

Смена пароля root

mysqladmin -u root -p oldpassword newpassword

Разрешить пользователю "Bob" подключаться к серверу c локального адреса с паролем "passwd". Войти как root. Переключиться на БД mysql. Дать привилегии. Обновить привелегии.

mysql -u root -p

mysql> use mysql;
mysql> grant usage on *.* to bob@localhost identified by 'passwd';
mysql> flush privileges;

Предоставить пользователю привилегии на БД. Авторизоваться как root. Переключиться на БД mysql. Предоставить привилегии. Обновить кеш привилегий.

mysql -u root -p

mysql> use mysql;
mysql> INSERT INTO user (Host,Db,User,Select_priv,Insert_priv,Update_priv,Delete_priv,Create_priv,Drop_priv) VALUES ('%','databasename','username','Y','Y','Y','Y','Y','N');
mysql> flush privileges;

или

mysql> grant all privileges on databasename.* to username@localhost;
mysql> flush privileges;

Обновить информацию для существующего пользователя

mysql> use mysql;
mysql> UPDATE `user` SET Select_priv = 'Y',Insert_priv = 'Y',Update_priv = 'Y' where `User` = 'user';
flush privileges;

Удалить строки из таблицы

mysql> DELETE from `table name` where `field_name` = 'whatever';

Обновить кеш привилегий

mysql> flush privileges;

Удалить колонку из таблицы

mysql> alter table `table name` drop column `column name`;

Добавить колонку в таблицу

mysql> alter table `table name` add column `new column name` varchar (20);

Переименовать колонку

mysql> alter table `table name` change `old column name` `new column name` varchar (50);

Сделать данные в колоке уникальными (если дублирующиеся уже есть - будет ошибка)

mysql> alter table `table name` add unique (`column name`);

Модифицировать колонку

mysql> alter table `table name` modify `column name` VARCHAR(3);

Удалить индекс

mysql> alter table `table name` drop index `colmn name`;

Загрузить данные в БД из CSV файла.

mysql> LOAD DATA INFILE '/tmp/filename.csv' replace INTO TABLE `table name` FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' (field1,field2,field3);

Сделать дамп всех БД для бэкапа. Бэкап это файл с SQL командами для воссоздания всех баз.

mysqldump -u root -p --opt > /tmp/alldatabases.sql

Сделать дамп одной базы.

mysqldump -u username -p --databases databasename > /tmp/databasename.sql

Сделать дамп одной таблицы

mysqldump -c -u username -p databasename tablename > /tmp/databasename.tablename.sql

Восстановить БД (или таблицу) из бэкапа

mysql -u username -p databasename < /tmp/databasename.sql

Создание таблицы, пример 1.

mysql> CREATE TABLE `table name` (
`firstname` VARCHAR(20),
`middleinitial` VARCHAR(3),
`lastname` VARCHAR(35),
`suffix` VARCHAR(3),
`officeid` VARCHAR(10),
`userid` VARCHAR(15),
`username` VARCHAR(8),
`email` VARCHAR(35),
`phone` VARCHAR(25),
`groups` VARCHAR(15),
`datestamp` DATE,
`timestamp` time,
`pgpemail` VARCHAR(255)
);

Создание таблицы, пример 2.

mysql> CREATE TABLE `table name` (
personid int(50) not null auto_increment primary key,
firstname VARCHAR(35),
middlename VARCHAR(50),
lastname VARCHAR(50) default 'bato'
);

В закладки!

Ubuntu – Использование FFmpeg и x264

Дмитрий Бекетов — Tue, 10 Nov 2009 14:29:38 +0000

Самый простой способ получения высококачественного видео - использовать при кодировании предустановки libx264 которые идут вместе с FFmpeg.

Перед использованием этих настроек рекомендую прочитать инструкцию по кодированию FFmpeg и x264 (на английском) дабы иметь более чёткое представление об используемых опциях. Вы можете добавлять свои опции такие как разрешение фрэйма (например: -s 640x480) или модифицировать мои примеры для своих нужд. Текущий список различный предустановок, например losless и ipod, можно посмотреть в директории /usr/share/ffmpeg.

One-pass CRF (Один проход Постоянный битрейт) используя настройку для HQ (высокого качества). Неплохо для общего кодирования. Для изменения качества модифицируйте -crf. Чем меньше число тем выше качество и тем больше размер итогового файла. Разумный интервал от 18 до 28.

ffmpeg -i input.avi -acodec libfaac -ab 128k -ac 2 -vcodec libx264 -vpre hq -crf 22 -threads 0 output.mp4

Two-Pass encode (Кодирование в два прохода) использует быстрый первый проход и HQ настройку. Данный метод используется когда важен конечный битрейт и/или конечный размер файла. Часто используется для мобильных устройств таких как iPod из-за некоторых ограничений по битрейту у него.

ffmpeg -y -i input.avi -pass 1 -vcodec libx264 -vpre fastfirstpass -b 512k -bt 512k -threads 0 -f mp4 -an /dev/null && ffmpeg -i input.avi -pass 2 -acodec libfaac -ab 128k -ac 2 -vcodec libx264 -vpre hq -b 512k -bt 512k -threads 0 -f mp4 output.mp4

Two-pass iPod 640x480 используя быстрый первый проход, HQ и ipod640 настройки.

ffmpeg -i input.avi -pass 1 -an -vcodec libx264 -vpre fastfirstpass -vpre ipod640 -b 512k -bt 512k -s 640x480 -threads 0 -f rawvideo -y /dev/null && ffmpeg -i input.avi -pass 2 -acodec libfaac -ab 128k -ac 2 -vcodec libx264 -vpre hq -vpre ipod640 -b 512k -bt 512k -s 640x480 -threads 0 output.mp4

Больше информации, а также другие примеры использования: iPod Video Guide (на английском).

В закладки!