Мастерская интернет-разработчика

Восстановление данных в Ubuntu

adw0rd — Sun, 27 Jun 2010 21:19:49 +0000

Удалил я все файлы в домашней директории на своем нетбуке. Удалял через консоль, поэтому из корзины не восстановить. Самое важное было наверное фотографии, конфиг emacs и некоторые документы малой важности. Начал искать средства типа «undelete» и прочие, и натолкнулся на foremost, которая мне показалась самой простой в использовании.

Сразу скажу любителям высказываний «это все из-за того что ты сидишь с правами рута постоянно», в домашнем каталоге все файлы с моими правами и сидя я под собой я удалил бы их всеравно! Если бы это была другая директория, то я бы согласился с ними.

Предыстория

А вообще удалил я при странных стечениях обстоятельств, вот как это было:
Запустил mc, нажал Ctrl+O, попал в консоль, далее:

cp -R /www/project /home/adw0rd
cd /home/adw0rd
find ./project -name ".svn" | xargs rm -rf

Теперь захотел выйти из консоли и попасть в mc:
и нажимая Crtl+O, случайно нажал Ctrl+P (прям как наш президент с мое6), при этом нажалась сначала Ctrl+P и вылезла предыдущая команда:

find ./project -name ".svn" | xargs rm -rf

и после чего нажалась сразу Ctrl+O что вернула меня в mc.

Я подумал что ничего страшного, так как я уже в режиме файлового менеджера (в нижней консоли ничего не было), и я захотел зайти в ./project.
Нажимаю на каталог «project»... И вот тут то и настал пипец, mc завис, HDD зашуршал, я стал вырубать консоль, но видимо было уже поздно... :)

Восстановление файлов

Установим утилиту foremost:

sudo apt-get install foremost

Проведет аудит и создаст файл отчета:

foremost -w -i /dev/sda1 -o /path/to/recovery

Восстановит все файлы:

foremost -i /dev/sda1 -o /path/to/recovery

Восстановит файлы определенного типа:

foremost -t jpg -i /dev/sda1 -o /path/to/recovery

Желательно каталог для восстановления иметь на другом носителе, примонтированный в вашу систему, например внешний жесткий диск и т.д. Для того, чтобы восстановленные данные не перезатерли то что вы еще не восстановили.

Скрипт для удаления дубликатов

Так как foremost восстанавливает все подряд, то попадаются дубликаты файлов, которые по содержимому полностью идентичны.
Поэтому я решил написать скриптик, который удалит дубликаты и оставит только оригиналы.

#!/usr/bin/env python

import os, sys
from hashlib import md5

COLOR_RESET = "\033[0m"
COLOR_RED = "\033[1;31m"
COLOR_GREEN = "\033[1;32m"

def main(path):

hashes = []
filenames = []

for root, dirs, files in os.walk(path):

files_len = 0

for file in files:

files_len += 1
path_to_file = path + file

f = open(path_to_file).read()
fhash = md5(f).hexdigest()

try:
i = hashes.index(fhash)
#if f == open(path + filenames[i]).read():
# print COLOR_RED + path_to_file + ' --- remove!' + COLOR_RESET
# os.remove(path_to_file)
print COLOR_RED + path_to_file + ' --- remove!' + COLOR_RESET
os.remove(path_to_file)
except ValueError:
print COLOR_GREEN + path_to_file + ' --- UNIQ!' + COLOR_RESET
hashes.append(fhash)
filenames.append(file)

hashes_len = len(hashes)
print "--------------------------------"
print "Files: " + str(files_len)
print "Deleted: " + str(files_len - hashes_len)
print "Rest: " + str(hashes_len)

if __name__ == "__main__":
main(sys.argv[1])

Он получает md5-хеш содержимого файла, кладет его в список, если в списке уже есть такой хеш, то файл удаляется, если нет, то переходит к следующему файлу.
Для тех кто думает что могут быть коллизии, то надо расскоментить в середине скрипта блок кода, который проверит еще и по содержимому файлу, в случае если его хеш найден в списке.

Пользоваться надо так:

./remover.py /recovery/jpg/

Обезопасим себя на будущее

Ну, начнем с малого, в ~/.bashrc (либо в другом шеле, например ~/.cshrc) пропишем алиас, который перед удалением будет задавать вопрос:

alias rm="rm -i"

Мне это не особо нравится, так как надоедает...

Утилита trash-cli

Еще лучше идея с фоновым перемещением данных в корзину, например изложенная недавно тут Анатолием Лариным. Для этого будем использовать утилиту trash-cli, которая написана на python и состоящая из нескольких команд, о которых ниже...

У каждого пользователя системы есть своя корзина, что то вроде:

/home/<username>/.local/share/Trash/files
/root/.local/share/Trash/files

Вот там то и будут храниться наши файлы, которые при необходимости мы сможем вытащить или удалить насовсем.

Установим утилиту «trash-cli»:

sudo apt-get install trash-cli

Создаем алиас на удаление (~/.bashrc, а так же не забудьте прописать для /root/.bashrc):

alias rm='trash'

Удаление как и раньше будет через rm, а просмотреть список «удаленных» (точнее у нас они будут не удаленные, а перемещенными в корзину) файлов можно так:

list-trash

Очистка корзины:

empty-trash

Для любопытных: я пробовал создать пользователя, накидать туда файлов и каталогов, после чего удалить все у него, но он споткнулся на каталоге корзины и выкинул эксепшен, так что данные останутся целы.

Напоследок

После удаления поменьше нервничайте и все вы сможете восстановить, главное не паникуйте, а то дров еще больших нарубите! :)

С днём рождения меня, с днём рождения меня!

adw0rd — Thu, 03 Jun 2010 10:19:28 +0000

Ну вот, прошёл еще один год и теперь мне наступило 26 лет...
В этом году планирую жениться и наклепать еще больше совместных проектов со своими друзьями.

По традиции меня уже поздравили на Пыхе, лично, по телефону, скайпу, почтой и джабберу очень много людей, всем им огромное спасибо!
Кто еще не успел — добро пожаловать в камменты! :)

Django. Первое приложение

adw0rd — Wed, 26 May 2010 17:09:03 +0000

Захотелось мне поведать как использовать связь ManyToMany, начал я значит писать пост, но так как я хотел его детализировать то он слишком разросся... И я решил сначала написать пост о том, как создавать первый проект и приложение на Django, чтобы потом ссылаться сюда.

— начинал я этот пост писать еще в том году, да все руки не доходили его закончить, спасибо vasa_c за терпение

Устанавливаем Django

Заходим на страницу загрузки официального сайта, скачиваем Django 1.1.1 (или выше). Далее, как и в инструкции:

cd /tmp
wget -O Django-1.1.1.tar.gz http://www.djangoproject.com/download/1.1.1/tarball/
tar -xzvf Django-1.1.1.tar.gz
cd Django-1.1.1
sudo python setup.py install

Все, джанго установлен!

Так как мы будем работать с MySQL, то вам надо установить библиотеку py-mysqldb, представляющая собой интерфейс к MySQL.

Для Ubuntu:

apt-get install python-mysqldb

Для FreeBSD

cd /usr/ports/databases/py-MySQLdb
make install clean

А для Windows можно скачать тут.

Создаем наш первый проект

Допустим, что имя проекта у нас будет «myproject»:

cd /www
django-admin.py startproject myproject

Теперь создайте себе новую БД «myproject»:

CREATE DATABASE `myproject` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

И отредактируйте «/www/myproject/settings.py», заменив только соответствующие части:

# ~*~ coding: utf-8 ~*~

...
# Настройки БД
DATABASE_ENGINE = 'mysql' # 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'oracle'.
DATABASE_NAME = 'myproject' # Or path to database file if using sqlite3.
DATABASE_USER = 'username' # Not used with sqlite3.
DATABASE_PASSWORD = 'password' # Not used with sqlite3.
DATABASE_HOST = '' # Set to empty string for localhost. Not used with sqlite3.
DATABASE_PORT = '' # Set to empty string for default. Not used with sqlite3.

...
# Путь до каталога, где лежат наши медиа файлы (css, js, images)
MEDIA_ROOT = '/www/myproject/static/'

...
# URL медиа файлов (css, js, images)
MEDIA_URL = '/'

...
# URL медиа файлов админки (css, js, images, etc)
ADMIN_MEDIA_PREFIX = '/admin-media/'

...
# Путь до каталога с шаблонами
TEMPLATE_DIRS = (
"/www/myproject/blog/templates"
)

...
# Установленные приложения в нашем проекте
INSTALLED_APPS = (
'django.contrib.auth',
'django.contrib.contenttypes',
'django.contrib.sessions',
'django.contrib.sites',
'django.contrib.admin',
'myproject.blog',
)
# в конец добавлено две строки, первая подключает джанговскую админку,
# а второе наше приложение, которое мы ниже опишем

Для чего я ставлю в начале строки «#~*~ coding: utf-8 ~*~» читайте тут.

Создаем наше первое приложение

После того, как вы создали проект, надо создать приложение, если у вас проект состоит из одного приложения — можете его назвать «main».

Создаем приложение «blog»:

cd /www/myproject
python manage.py startapp blog

Файл модели

Теперь перейдем к разработке модели нашего приложения, отредактируем «/www/myproject/blog/models.py».
У нас будет пока одна сущность, это Посты в Блоге:

# ~*~ coding: utf-8 ~*~

# импортируем класс модели
from django.db import models
# и админки
from django.contrib import admin

'''
Blog posts
'''
class Post(models.Model):
# название поста
title = models.CharField(max_length=100)
# содержимое поста
text = models.TextField()

'''
Класс для админки, тут будут дополнительные атрибуты необходимые для админки
'''
class PostAdmin(admin.ModelAdmin):
# в таблице списка постов выводить только колонку title, если вы добавите еще одно имя поля, то и оно выведется
list_display = ('title',)

# связываем эту модель с моделью PostAdmin
admin.site.register(Post, PostAdmin)

После создания файла моделей, вам необходимо запустить синхронизацию с БД, для того чтобы создались структуры данных:

cd /www/myproject
python manage.py syncdb

Для более детального изучения команд manage.py введите:

python manage.py help

Если вас интересует конкретная комманда, например syncdb, то:

python manage.py help syncdb

Вы так же можете создавать свои команды, но об этом поговорим не в этот раз.

syncdb создаст таблицы в вашей БД, а также при первой инициализации попросит создать рутовую учетную запись для вашего проекта в django (это будет админский аккаунт):

Creating table auth_permission
Creating table auth_group_permissions
Creating table auth_group
Creating table auth_user_user_permissions
Creating table auth_user_groups
Creating table auth_user
Creating table auth_message
Creating table django_content_type
Creating table django_session
Creating table django_site
Creating table django_admin_log
Creating table blog_post

You just installed Django's auth system, which means you don't have any superusers defined.
Would you like to create one now? (yes/no): yes
Username (Leave blank to use 'root'):
E-mail address: mail@example.com
Password:
Password (again):
Superuser created successfully.
Installing index for auth.Permission model
Installing index for auth.Message model
Installing index for admin.LogEntry model

Когда вы создадите новый класс модели вам будет необходимо вновь запустить syncdb.
Если вы внесли изменения в уже синхронизированное приложение, а именно в его модель, то syncdb НЕ внесет их в вашу БД, для этого используйте sqlall и другие sql* комманды:

python manage.py sqlall название_приложения (например: blog)

Или попробуйте расширение для Django Django Evolution (для этого необходимо его установить в вашу систему и добавить в INSTALLED_APPS — «django_evolution»).

Файл урлов

Для навигации по вашему проекту вам нужен роутер (URL диспетчер).
Отредактируем «/www/myproject/urls.py»:

# ~*~ coding: utf-8 ~*~

# импортируем админку
from django.contrib import admin

# Makes the patterns() function available
from django.conf.urls.defaults import *

# импортируем наши вьюхи (см. ниже описание файла вьюх)
from myproject.blog.views import main_page, get_post

# Above we used admin.autodiscover() to automatically load the INSTALLED_APPS admin.py modules
admin.autodiscover()

urlpatterns = patterns('',
# Если ничего не введено, то отдаем управление mainpage вьюхе
(r'^$', main_page),
# Если передан id поста, то отдаем управление get_post вьюхе
(r'^post/([0-9]{1,5})', get_post),
# Если введен /admin/, то идем в админку
(r'^admin/', include(admin.site.urls)),
)

Вы конечно можете отредактировать локальный для приложения «blog» — urls.py («/www/myproject/blog/urls.py»), но тогда вам надо будет импортировать «/www/myproject/blog/urls.py» в корневом «urls.py». Либо вы можете его определить в settings.py (ROOT_URLCONF).

Файл вьюхи

Ту роль, которую играет «Controller» в MVC, в Django играет роль View. Почему это так читайте тут.
Отредактируем «/www/myproject/blog/views.py»:

# ~*~ coding: utf-8 ~*~

# функция генерирующая 404 страницу
from django.http import Http404

# функция отрисовки страницы, принимающая путь до шаблона и данные помещенные в шаблон
from django.shortcuts import render_to_response

# наша модель
from myproject.blog.models import Post

def main_page (request):
# Получаем список постов
posts = Post.objects.all()
# отрисовываем
return render_to_response('list.html', {"posts": posts})

def get_post (request, post_id):
try:
# выбираем конкретный пост, pk - primary key
post = Post.objects.get(pk=post_id)
except Post.DoesNotExist:
# если такого поста нет, то генерируем 404
raise Http404

# отрисовываем
return render_to_response('single.html', {"title": post.title, "text": post.text})

Вывод в шаблоне

В Django очень мощный и гибкий шаблонизатор, у него даже есть аналог на PHP — Twig, что говорит о его удобстве (был бы неудобным — не копировали бы), хотя Twig по слухам сильно хуже.
Однако, есть более крутой шаблонизатор для Django — Jinja2, с более высокой производительностью и более гибкими возможностями. Описывать Jinja я не буду, ведь не это цель сего поста, поэтому делюсь только ссылочками:

С более полными возможностями Django Template вы можете познакомится на официальной странице.

В Django Template поддерживается наследование, поэтому мы напишем общий шаблон и будем его использовать base.html:

<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="content-type" content="text/html; charset=utf-8" />
<title>{% block title %}Default{% endblock %} / MyProject</title>
</head>
<body>
{% block content %}
{% endblock %}
</body>
</html>

Шаблон вывода списка постов list.html:

{% extends "base.html" %}

{% block title %}List!{% endblock %}

{% block content %}
<ul style="list-style-type:none">
{% for post in posts %}
<li style="padding-left:10px;{% if forloop.counter0|divisibleby:"4" %}background-color:#E1F3C9{% endif %}">
<a href="/post/{{ post.id }}/">{{ post.title }}</a>
<p>{{ post.text }}</p>
</li>
{% endfor %}
</ul>
</div>
{% endblock %}

Шаблон вывода одной записи single.html:

{% extends "base.html" %}

{% block title %}{{ title }}{% endblock %}

{% block content %}
<h1>{{ title }}</h1>

<div>
{{ text }}
</div>
{% endblock %}

Nginx

Теперь настроим Nginx для того, чтобы запуская «manage.py runserver» нам не прописывать порт в URL и чтобы использовать нормальное имя хоста, хотя вы может вполне без это обойтись.
Но я очень рекомендую использовать Nginx.

server {
listen 80;
server_name myproject.loc;

location ^~ /admin-media {
alias /usr/local/lib/python2.6/dist-packages/django/contrib/admin/media;
}

location /static/ {
root /www/myproject/static/;
}

location ~* \.(jpg|jpeg|gif|png|ico|css|zip|js|swf)$ {
root /www/myproject/static/;
expires 7d;
}

location / {
proxy_pass http://127.0.0.1:8001/;
proxy_redirect off;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}

Добавить в «/etc/hosts» ваш хост:

127.0.0.1 myproject.loc

И перезагрузить Nginx:

# в новых версиях nginx можно послать сигнал
nginx -s reload

# или для ubuntu/debian через скрипт инициализации
service nginx restart
/etc/init.d/nginx restart

# или для freebsd
/usr/local/etc/rc.d/nginx restart

Запускаем веб-сервер проекта на 8001 порту, так как мы туда будем проксировать из Nginx:

cd /www/myproject
python manage.py runserver 8001

Теперь зайдите в админку (http://myproject.loc/admin/), введите вашу «root» учетку, которую создавали при syncdb.

Вы можете скачать архив с исходниками проекта тут

Вот мы и познакомились с первым приложение на Django, как я и обещал в начале этого поста следующая статья будет о ManyToMany, где мы подключим к нашему «Блогу» возможность создавать и выводить теги, а также расскажу более полно о возможностях моделях и ORM, View и о URL диспетере.

P.S. Пост дописывал в торопях, если найдете любые ошибки — обязательно отпишитесь в комментарии, спасибо!

Ubuntu. Откат PHP с 5.3.2 на 5.2.10

adw0rd — Mon, 17 May 2010 15:26:15 +0000

Некоторое время назад я обновил свою Ubuntu на 10.04, при этом обновились все пакеты в соответствии с репозиторием новой убунты. Мне это не подходило, так как PHP стал 5.3.2 и Zend Optimizer в нем не работал, а он мне был срочно нужен на рабочей системе.

Как откатить?

Нам необходимо добавить старые репозитории.
Добавьте в конец файла «/etc/apt/sources.list»:

deb http://ru.archive.ubuntu.com/ubuntu/ karmic main restricted
deb-src http://ru.archive.ubuntu.com/ubuntu/ karmic main restricted

Далее, зайдите в «System > Administration > Synaptic Package Manager» и нажмите «Reload» (1).
После чего выберите пакет «php5» (2) (и другие, необходимые для даунгрейда) и нажмите «Ctrl+E» (или "Package > Force Version..." (3)) и выберите версию, у меня это «5.2.10» (4).

Если не появится версия «5.2.10» в Force Version, то зайдите в «Settings > Repositories > Other Software» и выберите репозитории, которые вы указали в конце файла «/etc/apt/sources.list».

Первые меры безопасности во FreeBSD

adw0rd — Fri, 09 Apr 2010 09:05:31 +0000

Не так давно попросили меня написать о первых мерах безопасности во FreeBSD. Я конечно протянул время, но статью всетаки публику, авось кому пригодиться.

Закрываем SSH

Отредактируйте в файле /etc/ssh/sshd_config следующие строки:

# Будет добавлено к названию версии, посмотреть можно через telnet на 2244 порт
VersionAddendum SuperPuperSSH-9.8.7
# Указываем порт который будем слушать, главное чтобы он отличался от 22-го,
# так как много тупых ботов подбирающих пароли на 22 порт
Port 2244
# Внешний адрес моей машины
ListenAddress 82.146.63.195

И еще рекомендую закрыть доступ для пользователя root, все в том же sshd_config закомментируйте строку:

#PermitRootLogin yes

От перебора паролей по SSH вам может помочь DenyHost.

Закрываем порты

Теперь запустим файрволл IPFW:

firewall_enable="YES"
firewall_script="/etc/fw.sh"
firewall_logging="YES"

И напишем инициализирующий скрипт /etc/fw.sh

#!/bin/sh
FwCMD="/sbin/ipfw"

${FwCMD} -f flush
${FwCMD} 10 add check-state
# закрываем sendmail
${FwCMD} 15 add allow tcp from me to me 25
${FwCMD} 20 add deny tcp from any to me 25
${FwCMD} 30 add deny tcp from any to me 587
# закрываем mysql
${FwCMD} 40 add deny tcp from any to me 3306
# закрываем sphinx
${FwCMD} 45 add allow tcp from me to me 3312
${FwCMD} 50 add deny tcp from any to me 3312
# закрываем apache
${FwCMD} 55 add allow tcp from me to me 88
${FwCMD} 60 add deny tcp from any to me 88
# закрываем tornado web server
${FwCMD} 75 add allow tcp from me to me 8001
${FwCMD} 80 add deny tcp from any to me 8001
# закрываем tracd
${FwCMD} 105 add allow tcp from me to me 3050
${FwCMD} 110 add deny tcp from any to me 3050
# разрешаем все остальное
${FwCMD} 1000 add allow ip from any to any

Делаем его выполняемым:

chmod +x /etc/ipfw.sh

Далее перегружаем rc.conf.

На 88, 8001, 3050 я проксирую с помощью Nginx, поэтому доступа с внешки мне к ним не надо.
На сегодняшний момент у меня отсутствует Apache, а с PHP-FPM я работаю через unix-сокет, поэтому закрывать порт не имеет смысла.

Еще рекомендую прочитать Боремся с HTTP-флудом средствами IPFW.

Закрываем DNS-рекурсию и меняем версию Bind

Для DNS-сервера Bind меняем в named.conf атрибуты allow-recursion и version:

// Relative to the chroot directory, if any
directory "/etc/namedb";
pid-file "/var/run/named/pid";
dump-file "/var/dump/named_dump.db";
statistics-file "/var/stats/named.stats";
allow-recursion { localnets; localhost; };
version "SuperPuperDNS-9.8.7";

Вкратце DNS-рекурсия это когда DNS сервер по запросу пользователя выполняет сам все запросы для поиска нужной информации во всей системе DNS. А нам лишнюю работу выполнять не хочется, поэтому мы отключаем рекурсию.

Проверить версию DNS-сервера Bind можно так:

dig @ns1.adw0rd.ru version.bind chaos txt

Sendmail только для внутреннего использования

Отредактируем /etc/rc.conf:

sendmail_enable="NO" #"NO" - for listen only 127.0.0.1

В общем то и все, это минимум, который вам поможет защититься от мелких атак и всяких скрипткидесов. Главное следите за обновлениями ПО, которое вы используете и все будет хорошо!

Восстановление GRUB

adw0rd — Mon, 05 Apr 2010 20:54:01 +0000

Удалось мне немного поломать граб, из-за того что я удалил перед ним стоящий раздел с NTFS, ибо Windows мне уже не нужен. Что и следовало ожидать — появилась проблема:

error: unknown filesystem
grub rescue >

Решение

Вводим команду ls и наблюдаем следующее:

(hd0) (hd0,2) (hd0,3) (hd0,5) (hd0,6)

А теперь set:

prefix=(hd0,6)/boot/grub
root=(hd0,6)

Так как мы сместились на 1 раздел, то сетим на один меньше:

set prefix=(hd0,5)/boot/grub
set root=(hd0,5)

Теперь смотрим доступные моды и подгрузим необходимые нам:

ls /boot/grub
insmod /boot/grub/linux.mod
insmod /boot/grub/normal.mod

Моды можно подгружать и так:

insmod normal

Теперь вбиваем команду normal и попадаем в меню загрузки граба:

normal

После того как вы попадете в систему, выполните:

sudo upgrade-from-grub-legacy

А вообще во всем этом мне помог https://help.ubuntu.com/community/Grub2 и особенно раздел «Rescue Mode».

Ubuntu. Рабочее окружение Nginx+PHP5.3+FPM+MySQL

adw0rd — Tue, 16 Mar 2010 14:04:58 +0000

Собирали с васяцом на выходных рабочее окружение на своих нетбуках и решили юзать PHP 5.3 и PHP-FPM. Для себя я решил ставить все наиболее простым способом, если это возможно, поэтому сначала прибегаю к apt-get, а потом уже к сборке из сорцов. Кстати, если у вас уже установлен какой-либо PHP, то предварительно удалите его (libapache2-mod-php5 в том числе, если он есть).

Вообще эта инструкция применительна и к FreeBSD, просто вместо «apt-get install» используйте установку из портов.

Добавляем пользователя

Для начала создадим пользователя и группу www, от которой будет работать Nginx и PHP.

addgroup www
adduser --shell /usr/sbin/nologin --no-create-home --ingroup www --disabled-password --disabled-login www

Ставим Nginx

Как я и говорил прибегаем к наипростейшему пути:

apt-get install nginx

Теперь отредактируем /etc/nginx/nginx.conf и добавим upstream для php-fpm:

user www www;
worker_processes 1;

error_log /var/log/nginx/error.log;
pid /var/run/nginx.pid;

events {
worker_connections 1024;
}

http {
include /etc/nginx/mime.types;
access_log /var/log/nginx/access.log;

sendfile on;
keepalive_timeout 65;
tcp_nodelay on;

upstream php-fpm {
#server 127.0.0.1:9000;
server unix:/tmp/php-fpm.sock;
}

include /etc/nginx/conf.d/*.conf;
}

Теперь приступим к установке PHP.

Ставим PHP 5.3 + PHP-FPM

Для того чтобы собрать php 5.3 + php-fpm нам потребуется слить сорцы php-fpm 5.3, но для начала убедитесь что у вас версия autoconf — 2.13, говорят что с другой версией будут проблемы. Пробовал собирать с более высокой версией (autoconf 2.59, вроде) — правда, проблемы есть. Поэтому ставим именно 2.13:

apt-get install autoconf2.13

Теперь надо поставить bison:

apt-get install bison

Далее libevent из сорцов. А именно версию 1.4.13 (установленная более ранняя версия не подходила).
Во время установки libevent была проблема — не хватало libtoolize... Сначала поставим libtool:

apt-get install libtool

А теперь libevent:

wget http://www.monkey.org/~provos/libevent-1.4.13-stable.tar.gz
tar -xzvf libevent-1.4.13-stable.tar.gz
cd libevent-1.4.13-stable
./autogen.sh
./configure
make install

Все версии libevent тут.

И напоследок соберем libxml:

wget ftp://xmlsoft.org/libxml2/libxml2-2.7.6.tar.gz
tar -xzvf libxml2-2.7.6.tar.gz
cd libxml2-2.7.6
./configure
make && make install

Вам может понадобится mysql_config, например для Sphinx или модуля MySQL для PHP, то поставьте libmysqld-dev:

apt-get install libmysqld-dev

А теперь наконец сольем php-fpm и запустим скрипт сборщика:

svn co http://svn.php.net/repository/php/php-src/branches/PHP_5_3_FPM php_5_3_fpm
cd php_5_3_fpm
./buildconf

Теперь у нас появился ./configure и мы можем указать с какими опциями собрать PHP:

./configure --prefix=/usr/local --disable-short-tags --enable-fpm --with-layout=GNU --without-pear \
--enable-mbstring --with-mysql=/usr/bin/mysql_config --with-mysqli=mysqlnd
make && make install

некоторые опции по пыху можно вычитать тут, а по поводу расширений типа mysqli/mbstring и прочих можно почитать в разделе «Installation» официальной документации, например mbstring или mysqli.

Многие опции включены по умолчанию, вы можете это поменять с помощью --disable-all.

Так как я ставил в кастомный каталог, то делаю ссылку на мой php для удобства:

ln -s /usr/local/bin/php /usr/bin/php

Нам понадобится скрипт управления php-fpm, скопируем его из сорцов:

cp php_5_3_fpm/sapi/fpm/init.d.php-fpm /etc/init.d/php-fpm
chmod +x /etc/init.d/php-fpm

У меня стоял до этого PHP 5.2.10 (ставил из пакетов), поэтому у меня остался php.ini и я его скопировал:

cp /etc/php5/apache2/php.ini /usr/local/etc/php.ini

Если вы не знаете куда класть ваш php.ini, то зайдите в phpinfo и посмотрим пункт «Configuration File (php.ini) Path» и положите туда свой php.ini. В момент перезапуска PHP объявил некоторые опции как deprecated и я их закоментил просто-напросто. Если у вас нет файла php.ini, могу дать свой, в нем нет ничего особенного, это на случай отсутствия у вас этого файла.

Настройка PHP-FPM

Скопируем дефолтный конфиг:

cp /usr/local/etc/php-fpm.conf.default /usr/local/etc/php-fpm.conf

И доведем его немного до ума:

Address to accept fastcgi requests on.
Valid syntax is 'ip.ad.re.ss:port' or just 'port' or '/path/to/unix/socket'

/tmp/php-fpm.sock
....

Set listen(2) backlog
-1

Set permissions for unix socket, if one used.
In Linux read/write permissions must be set in order to allow connections from web server.
Many BSD-derrived systems allow connections regardless of permissions.
www
www
0666

...

1
/var/log/php-error.log
true

...
Unix user of processes
www

Unix group of processes
www
...
Comma separated list of ipv4 addresses of FastCGI clients that allowed to connect.
Equivalent to FCGI_WEB_SERVER_ADDRS environment in original php.fcgi (5.2.2+)
Makes sense only with AF_INET listening socket.
127.0.0.1

Вкратце что меняем:
1. Используем не tcp, а unix-сокет
2. Назначаем юзера и группу — www
3. Делаем вывод ошибок в стандартный поток и указываем файл лога ошибок

Это конфиг я уже приводил тут.

Проблемы с MySQLi

MySQLi ругался что не может открыть mysql-сокет по адресу «/tmp/mysql.sock», я отыскал путь до сокета в «/etc/my.cnf», скопировал его и поправил в «/usr/local/etc/php.ini» путь:

mysqli.default_socket = /var/run/mysqld/mysqld.sock

Запускаем наш сервер приложений

Добавим в Nginx виртуальный хост:

server {
listen 80;
server_name test.loc;
root /www/test/htdocs;

location / {
index index.php;
}

location ~ \.php$ {
include fastcgi_params;
fastcgi_pass php-fpm;
fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
}
}

И запустим наш сервер:

service mysql start
service nginx start
service php-fpm start

Как всегда все просто! :)

MySQL. Остановка выполнения sql-запроса через триггер

adw0rd — Tue, 02 Mar 2010 12:43:43 +0000

Как приостановить выполнения SQL после триггера? То есть, при определенных условиях, описанных в триггере надо остановить выполнения SQL который и вызвал этот триггер.
Я размышлял и гуглил на эту тему, но единственное что у меня получилось, это выполнять ошибочный SQL-код, тем самым останавливать выполнение SQL кода, который выполнится после триггера.

Задача была такая, что у кастомеров есть статусы, но если новый статус (который устанавливается) меньше чем текущий, то надо приостановить такой запрос.
Городить проверки на стороне скриптового языка не хотелось, ибо это поведение должно быть глобальным, да и переписывать чудо-код доставшийся мне по наследству совсем не хотелось.

Ну это все слова, а теперь покажу реализацию:

delimiter //
DROP TRIGGER IF EXISTS `customers_update_status`//
CREATE TRIGGER `customers_update_status` BEFORE UPDATE ON `customers` FOR EACH ROW BEGIN
IF new.`status` < old.`status` THEN
BEGIN
INSERT INTO `customers` SET old.`status` = "STOP_SQL_QUERY";
END;
END IF;
END//
delimiter ;

Поле status имеет тип ENUM и у него нет значения STOP_SQL_QUERY, поэтому происходит ошибка и SQL-запрос идущий за триггером не выполняется. Это не корректное, но единственное найденное мной решение. Вообще, наверное еще лучше чтобы был не INSERT, а UPDATE. Тогда будет ошибка более корректна с виду.

зы. Кстати на официальной страничке CREATE TRIGGER в камментах приводится именно такой способ по остановке выполнения sql-запроса.

Ставим Ubuntu Netbook Remix на Sony Vaio VPCW12Z1R

adw0rd — Sat, 27 Feb 2010 18:29:08 +0000

В общем попросили меня описать процесс установки UNR на мой нетбук. Вообще тут все описано, но есть одна деталь, без знания которой я изрядно попарился. Дело в том, что при установке убунты, мой нетбук (да и мой лептоп тоже) впадали в черный экран и ничего не происходило. На лептопе дела были получше, там я хотя бы увидел на каком этапе зависло:

... can not mount /dev/loop1 on /cow ...

Погуглив я наткнулся на тему Install gives sorta blank screen on netbook и конкретно 9-й пост мне помог решить проблему с черным экраном. Ну теперь я все расскажу по порядку...

Сборка usb-образа

Так как в комплекте шла Windows 7 Starter, то создание загрузочного usb и прочие приготовления будут происходить под этой ОС. А после переместимся уже в UNR и доустановим убунту.

Если вам надо забэкапиться или отредактировать разделы, то могу посетовать «Hiren's Boot CD», но так как у нас не CD, а USB, то читаем как сделать usb-версию. А свеженький дистрибутив можете взять тут http://www.hirensbootcd.net/.

Заходим на сайт http://www.ubuntu.com/GetUbuntu/download-netbook и качаем ubuntu-9.10-netbook-remix-i386.iso, после этого открываем любым архиватором iso-файл (я использовал 7zip) и распаковываем оттуда программку «usb-creator.exe».

Размер флэшки должен быть не меньше 700 МБ и должна быть предварительно отформатирована.

Запускаем usb-creator, в первой плашке жмем на «Other» [1] и подгружаем наш iso-образ, во второй плашке выбираем носитель [2], далее выбираем «discarded on shutdown, unlessyou save them elsewhere» [3] и жмем «Make startup disk» [4].

Все, образ создан, приступим к установке!

Установка

Вставляем нашу флешку в usb, перегружаем ноутбук, заходим в BIOS (при загрузке — F2) и выбираем «загрузка с flash drive». Сохраняем настройки и выходим из BIOSа.

Теперь, если все хорошо вы увидите загрузочное меню убунты. Можете ее запустить с флешки, либо приступить к установке, либо еще несколько опций: проверка целостности дистрибутива, памяти компьютера и т.д.

Выбираете соответствующий пункт и переходим к установке. Там вам понадобится создать свой аккаунт. указать свое местоположение и локаль, думаю с этим справитесь. В конце установки вас попросят выделить место на жестком диске для вашей убунты (Prepare disk space), этот шаг тоже достаточно прост и убунта корректно выделит на жестком диске тот кусок памяти, который вы укажите. Я выделил 50 Гб.

Можно также воспользоваться утилитами с Hiren's Boot CD для разметки жесткого диска.

На этом установка закончится. Кстати, после перезагрузки grub удачно подцепил раздел с Windows 7, что несомненно радует, такого от FreeBSD я не смог добиться.

Запуск

Себе я ставил чисто английскую версию, и только добавил раскладку русскую после установки, поэтому интерфейс у меня выглядит так:

Вот еще один скриншот, Firefox:

После установки рекомендую обновить систему и ядро в частности, для этого запустите утилиту «System > Update Manager» (Когда зайдете во вкладку System прокрутите скрол вниз).

Вроде как и все. Особых проблем кроме записи usb-образа не было.

Ощущения

Вообще мне почти все понравилось! Все устройства заработали нормально. А интерфейс больше всего радует, как раз для нетбуков. Но мне не понравилось например как он переходит в спящий/ждущий режимы (hibernate/suspend), это как-то криво: просто все зависает и через какое-то время переходит в соответствующий режим. А до этого сидишь как дурак и вдупляешь что случилось. Могли бы хоть делать черный фон и писать что осуществляется переход, а еще лучше каждое состояние перехода.

И еще заметил баг: ноутбук заряжался, и зарядился полностью, после чего я его погрузил в спящий режим и вынул шнур питания. Позже я его включил без сети и поработал на нем 4 часа, но убунта мне все это время говорила что батарея полностью заряжена. Но я как-то ей не поверил... либо у меня супер-ноутбук питающийся биотоками ;)

зы. Ощущения от UNR Сергея Можайского — Нетбук, Ubuntu Netbook Remix и мой линукс-экспириенс (автор любимого мной freebsd-дистрибутива frenzy)

upd: Если у вас глючит интерфейс скайпа, то есть у него в контексном меню один цвет как у фона, так и у текста. То вам надо зайти в «Skype > Options» и в «Choose style» выбрать «GTK+».

Прикупил себе мини-ноутбук Vaio

adw0rd — Mon, 22 Feb 2010 22:56:15 +0000

Купил себе Sony VAIO VPC-W12Z1R, заказывал «белый» (w), а продали «белоснежный» (wz). Но мне понравился больше белоснежный, поэтому я даже не спросил почему такая фигня. Покупал в смартшопе, на 6 тысяч дешевле ($200) чем в кее, проблем с покупкой не было — вообщем магазин рекомендую.

Что касается самого нетбука, то он по словам сони на самом деле не нетбук, а мини-ноутбук. Типа нет у них нетбуков и не будет. На самом деле это очень качественный, стильный и дорогой нетбук :)

Программировать на нем не особо удобно, но думаю привыкну.
Зато писать в бложик, сидеть в консоле и читать интернеты — самое то.

Еще в комплекте шли чехол и мышь от вайо!