Korzystamy dla przechowywania sesji Memcached. Po pierwsze w miarę szybkie i ładnie działa, po drugie sesja jest wsþółdzielona pomiędzy sporo serwerów. Oczywiście logowanie przez SSL’a przestało działać.

Więc w pierwszej kolejności pretensje poszły do naszej aplikacji „Znowu coś zjebaliście !”, później memcache i na koniec serwer. A nie winne były ustawienia PHP. Jeśli posiadacie serwer oparty na Debianie lub jego potomków, sprawdźcie czy macie zainstalowane rozszerzenie Suhosin, a jeśli tak to czy poniższe zmienne macie tak ustawione.

suhosin.session.encrypt = off
suhosin.session.cryptua = off

To magiczne rozszerzenie ma skłonności to innego sposobu zapisywania danych w naszej sesji. Jest to string base64 po rozkodwaniu którego znajdujemy jakiś bliżej nie określony zapis binarny. Którego nie mamy jak rozkodować. Sytuacja jest o tyle dziwna, że ta sama domena z SSL’em i bez są traktowane jak by były osobno ale nie. Sesje pomiędzy tak parą domen są osobne. Każda zapisuje się oddzielnie, pod tym samym session_id. Oczywiście parametry sesji są ustawione tak żeby domeny wspólnie korzystały z sesji. Niestety nie udało mi się rozkodować tego co sesja zapisuje. Może jeszcze znajdę chwile to postaram się zrozumieć to zjawisko. W każdym bądź razie. Rozszerzenie wyłączyć lub zmienić ustawienia i problemy znikają.

Czy komuś zdarzyło się, że po aktualizacji Firefoxa przestały działać niektóre rozszerzenia ? Kiedy było to wręcz nagminne. Podobnie było z paroma pluginami przy aktualizacji do wersji 9 beta. Jednocześnie dodałem do repozytorium Ubuntu, gałąź Firefoxa Nightly.

add-apt-repository ppa:ubuntu-mozilla-daily/ppa
apt-get update
apt-get install firefox-trunk

Jakież to było moje zdziwnie kiedy to okazuje się że wersja Nightly z numerkiem 11.0a nie posiada choroby swojej starszej siostry. Czy oznacza to że gdzieś od wersji 10 lub 11 Mozilla wprowadzi jakieś zmiany do pluginów, które przestaną być utrapieniem podczas aktualizacji kolejnych odsłon przeglądarki ? Oby.

Obrazek: http://pro-download.com/firefox.html

Jest też możliwość, że my w sieci jesteśmy dużo bardziej aktywni, ale strony społecznościowe dla różowych lachonówm prawdopodobnie by tego nie potwierdziły. Więc co ? Ja stawiam na to, że staramy się sami rozwiązywać problemy z systemem na podstawie informacji znalezionych w internecie, wyszukiwać podobne problemy itp. Ale czy na pewno? Czas się policzyć Zapraszam na stronę akcji „We are more than 1%„

2UP Blog prowadzony przez grupę szalonych blogerów, na czele których stoi Alan. Nie trudno nudzić się przy przeglądaniu tej strony. Od skeczy, śmiesznych filmików „Home Made”, przez ambitne filmy krótkometrażowe po ładne Panie w skąpych ubraniach.

990 px redagowane przez Piotra Macura. Zbiory, zestawienia lub galerie wybitnych fotografów. Dzielone często tematycznie pokazując ludzi w szczęściu i smutku, piękno natury, a czarami brutalność realnego świata. A to wszystko prezentowane poprzez zdjęcia bardzo fajnej jakości.

Clients from Hell tworzony przez życie, okrutne i złośliwe, a pomagają mu w tym Klienci z piekła rodem. Strona anglojęzyczna, ale bardzo wesoła. Nic dodać nic ująć tylko czytać.

Antyweb prowadzony przez Grzegorza Marczaka to ogólny przegląd po świecie StartUp’ów, wykorzystywania technologii internetowych i wszystkiego co z internetem związanego.

Blogsilnika tworzony przez Kwahoo’a. Nowinki ze świata motoryzacji które rzadko spotyka się na popularnych portalach motoryzacyjnych. Blog jedynie dla wybranych, lub też obdarzonych zmysłem technicznym i kochających motoryzacje „dogłębnie”.

Czy warto czytać to musicie sami ocenić.

$seek = $xx;

Wstawione zmienna $xx jest unikalna i pojawia się tylko raz. Użyłem zmiennej a nie unikalnego „dziwnego” string’a aby edytor PHP nie pokazywał mi błędu. Wygodniej się wtedy pracuje. Oczywiście jeśli wielkość szablonu jest różny niż 3 cyfrowa liczba, to należy tą liczbę zmodyfikować, aby po dodaniu pokazywała na dobre miejsce. Dlaczego 3 cyfrowa ? Bo zastępuje ona 3 znakowy string oznaczający zmienną.

$desc = './init.php';
$size = filesize($desc);
if( strlen( (string)$size ) != 3 )  {
	$size =  $size + (strlen( (string)$size ) - 3);
}
file_put_contents($desc, str_replace('$xx', $size, file_get_contents($desc) ) );

Po zmodyfikowaniu szablonu, rozpoczynamy kompresje i doklejanie danych.

$content = gzcompress($filename.'__++__'.file_get_contents( $filename() ), 9 ); 
// __++__ służy jako unikalny znak rozdzielający ścieżke pliku od jego zawartości
$size = (strlen($content));
$size = str_pad($size, 10);
file_put_contents($desc, $size.$content, FILE_APPEND );
 
file_put_contents($desc, str_pad('[end]', 10), FILE_APPEND );
chmod($desc, 0755);

Oczywiście unikalny string „__++__” można zastąpić innym lub też zmodyfikować nagłówek tak, aby pomieścił długość danych oraz nazwę pliku. Można by też to skompresować dla mniejszej ilości danych ale należy tak dobrać tak długość nagłówka aby na pewno pomieścił wszystkie dane. Co oczywiście przy dłuższych nazwach plików lub ogólnie dłuższych ścieżkach może komplikować sprawę.
Może kiedyś zmodyfikuje żeby było bardziej pro
To na tyle jesli chodzi o kompresje, zakończenie pliku oraz ustawienie prac do wykonania. Wszystko później ubierzemy w jakiś ładny Iteratorek Rekursywny po katalogu do tego jakaś pętelka i już jesteśmy w domu. Działające pliki oczywiście na samym dole wpisu.

A jak działa sam szablon ? To proste. Odczytuje wartość przesunięcia i zmienia pozycje wskaźnika do pliku i odczytuje 10 bajtów nagłówka.

$seek = 786; //przykładowa wartość 
$end = false; //flaga dla ostatniego pliku
$gz = fopen(".$argv[0].", "r"); //wywolanie pliku z lini polecen przekazuje nazwe pliku w 0 elemencie tablicy $argv
fseek($gz, $seek); //przesuwamy wskaźnik
$size = trim( fread($gz, 10) ); //czytamy 10 bajtów nagłówka
if( $size == '[end]') {	$end = true; continue; 	} //szukanie znacznika koncowego
$seek += 10; // przesuwamy wartość o wielkość nagłówka

Po wykonaniu tego kodu mamy już ilość danych do przeczytania oraz zmienna gdzie mamy wartosc do jakiej mamy przesunąć wskaźnik aby trafił na początek danych pliku.

No więc czas odczytać zawartość pliku oraz jego nazwę, zapisać na dysk i tak dalej.

fseek($gz, $seek); //przesuwamy wskaźnik za nagłówek
$file = gzuncompress( fread($gz, $size) ); //odczytujemy dane i odrazu dekompresujemy
list($filename, $content) = explode('__++__', $file); //rozdzielamy nazwe pliku i dane
//sprawdzamy czy ewentualny katalog do pliku istnieje jesli nie to będziemy go tworzyć
$dir = dirname($filename);
if( !file_exists( $dir ) ) {
	mkdir($dir, 0755, true);
	echo "Directory $dir ... created\n";
}
//sprawdzamy czy sam plik istnieje
if( file_exists($filename) ) {
	echo "Error ! $filename allready exists !\n";
} else {
	file_put_contents($filename, $content);
	echo "$filename ... created\n";
}
//przesuwamy wartość o wielkość odczytywanych danych, co powinno wskazywać na nagłówek następnego pliku
$seek += $size;

I kolejny raz wystarczy ubrać wszystko w pętelke i wszystko będzie działać ładnie.

W obu skryptach można pokusić się o wiele udoskonaleń. Poprawić nagłówki aby trzymały, wielkość, nazwę pliku, jego uprawnienia. Dodatkowo szablon może sprawdzać wersje PHP czy posiada rozszerzenie „zlib„. W szale nudów można by stworzyć ładny wygląd przy rozpakowywaniu, jakiś progress bar albo nawet wizualizacje pod konsolą Linuksa w dodatku ncurses.
Można stworzyć samo wyzwalacz po rozpakowaniu, powiedzmy ładujący baze danych czy cokolwiek innego.

Modyfikacje pozostawiam czytelnikom którzy przypadkiem trafili na tą stronę i się zgubili i trafili na koniec tego posta. Swoje modyfikacje zaprezentuje pewnie w późniejszym czasie.
Poniżej w pełni działający szablon oraz „kompresor”.

Skrypt „Kompresora” (używam Linuksa więc dlatego ta pierwsza linijka, to tak jak by ktoś nie rozumiał)

#!/usr/bin/php
<?php
$source = './szablon.php';
$desc = './setup.php';
$path = './script_dir/';
if( file_exists($desc) ) {
	unlink($desc);
}
copy($source, $desc);
 
$size = filesize($desc);
if( strlen( (string)$size ) != 3 )  {
	$size =  $size + (strlen( (string)$size ) - 3);
}
file_put_contents($desc, str_replace('$xx', $size, file_get_contents($desc) ) );
 
 
$dir = new RecursiveIteratorIterator( new RecursiveDirectoryIterator($path), RecursiveIteratorIterator::SELF_FIRST );
 
foreach( $dir as $file ) {
	if( !$file->isDir() ) {
		$filename = str_replace( $path, './', $file->getPath().'/'.$file->getFilename() );
		echo  $filename." ... ";
 
		$content = gzcompress($filename.'__++__'.file_get_contents( $file->getPath().'/'.$file->getFilename() ), 9 );
		$size = (strlen($content));
		$size = str_pad($size, 10);
 
		file_put_contents($desc, $size.$content, FILE_APPEND );
 
		echo " done\n";
	}
}
file_put_contents($desc, str_pad('[end]', 10), FILE_APPEND );
chmod($desc, 0755);
?>

Plik Szablonu

#!/usr/bin/php
<?php
 
$seek = $xx;
$end = false;
$gz = fopen(".$argv[0].", "r");
while( !$end ) {
	fseek($gz, $seek);
	$size = trim( fread($gz, 10) );
	if( $size == '[end]') {	$end = true; continue; 	}
	$seek += 10;
	fseek($gz, $seek);
	$file = gzuncompress( fread($gz, $size) );
	list($filename, $content) = explode('__++__', $file);
	$dir = dirname($filename);
	if( !file_exists( $dir ) ) {
		mkdir($dir, 0755, true);
		echo "Directory $dir ... created\n";
	}
	if( file_exists($filename) ) {
		echo "Error ! $filename allready exists !\n";
	} else {
		$content = str_replace('${nazwa_projektu}', $projekt, $content);
		file_put_contents($filename, $content);
		echo "$filename ... created\n";
	}
 
	$seek += $size;
}
gzclose($gz);
echo "Finish !\n";
die();
//pamietajcie zostawić enter na końcu szablonu !!!
?>

DarkSide w kolorze

DarkSide czarno biały

$tresc = ''; //definiujemy zmienna 
$uchwyt = fopen('pliczek.log', "rb");
$tresc .= fread($uchwyt, 300 ); //dopisujemy do zmiennej kawałek pliku
$tresc = str_replace("\r",'',$tresc);
if( strpos( $tresc, chr(10) ) === false ) {
    //doczytujemy jeszcze kawalek i jeszcze raz szukamy i tak aż znajdziemy
} else {
    $strpos = strpos( $tresc, chr(10) ); //znajdujemy pozycje entera
    $linia = substr($tresc, 0, $strpos); //odcinamy interesujący nas odcinek
    $tresc = substr($tresc, $strpos+1, strlen($tresc) ); //i usuwamy odcięty kawałek od pobranej treści wraz z enterem i zostawiamy do następnego odczytu
   funkcjaAnalizujaca( $linia ); //możemy coś zwracać lub nie, to jest obojętne.
}

Oczywiście to trzeba ładnie ubrać w pętelkę gdzie będziemy się kręcić aż otrzymamy EOF (End Of File). Oczywiście można to wszystko ubrać w klasę, konfigurowalne zmienne, w dodatkowe zabawki typu zliczanie ilości linii, statystyka czasów analizy poszczególnych linii i inne wesołe rzeczy. Wszystkie takie rzeczy możecie podejrzeć w skrypcie który ja przygotowałem dla własnych celów, gdzie większość tych rzeczy jest już dodana.

Teraz apropo jednoczesnym przetwarzaniu więcej niż jednej linii jednocześnie. Niestety muszę zmartwić wielu z was, działa to jedynie pod systemami *unix oraz jedynie pod konsolą czyli wywoływane z linii poleceń. Windows oraz mod-php dla apache odpadają. To już jest ograniczenie od strony php. Będziemy korzystać z modułu Process Control, który nie jest domyślnie kompilowany do PHP. Żeby nie było nieścisłości to nie jest wielowątkowość ale fork czyli rozwidlenie procesu. Główny skrypt który jest rodzicem, tworzy dziecko które jest jego kopią. U nas tylko dzieci będą analizować pojedyncze linie logów, a rodzic będzie starał się nad tym „przedszkolem” zapanować. Zasady działania forków nie będę tłumaczył, jest Manual, jest Wikipedia no i Google.
Wiec ustalamy sobie maksymalną ilość dzieci. Niestety w zależności od sprzętu możecie zrobić ich więcej lub mniej. Musicie po testować różne ustawienia. Więc przykładowo będziemy pracowali z czwórką dzieci. Jako że procesy się nie komunikują między sobą wykorzystamy funkcję, która obsługuje otrzymane sygnały (pcntl_signal) a dokładniej chodzi nam o sygnał zakończenia procesu dziecka czyli SIGCHLD. Przy tworzeniu dziecka powiększamy licznik o 1 a gdy otrzymamy sygnał zamknięcia pomniejszamy. W ten sposób jesteśmy w stanie jakoś zapanować nad tym wszystkim. a oto przykład (brany gdzieś z manuala ale ten jest w miarę przejrzysty):

$child = 0;
$max=3;
function sig_handler($signo) {
    global $child; //zmienna która trzyma ilość "wyprodukowanych" dzieci
    switch ($signo) {
        case SIGCHLD:
            --$child;
            break;
        //tutaj możemy obsługiwać inne sygnały jak na przykład zamkniecie głównego skryptu, lub dowolnie wybrane przez nas sygnały
    }
}
 
pcntl_signal(SIGCHLD, "sig_handler");
 
for( $a=0; $a < 20; $a++ ) {
	$child++;
	$pid=pcntl_fork();
 
	if ($pid == -1) {
		die("Nie mozna zrobić dziecka");
	} elseif ($pid) {
 
		if ( $child >= $max ) {
			echo "Za dużo dzieci w przedszkolu \n";
			pcntl_wait($status);
		}
	} else {
		sleep( rand(1,10) );
		file_put_contents('./file.log', $a.'.', FILE_APPEND );  //zadanie do wykonania
		//dla przykładu wykonujemy zapis do pliku dla każdego dzieciaka, żeby pokazać że to naprawdę działa
		// a sleep pokaże ze czasami w różnych kolejnościach będzie to wykonywane, ze względu na rożny czas wykonania zadania
 
		exit;
	}
}

Tyle mechanizmu, który czyta plik. Jeśli chodzi o analizę pliku to już zależy co my tam robimy. Jako że kiedyś przymierzałem się do jakiegoś dużego analizatora to wykombinowałem takie małe wyrażenie regularne. Znając życie albo posiada błędy albo można go jeszcze zoptymalizować. Może i kiedyś przy tym usiądę ale chyba nie dziś. A oto ten malutki tasiemiec.

preg_match('/(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}) ([^\s]+) ([^\s]+) \[(\d{2}\/[a-zA-Z]{3}\/\d{4}:\d{2}:\d{2}:\d{2} [+|-]\d{4})\] "(?:(POST|GET|PUT|DELETE|CONNECT|OPTIONS|HEAD|TRACE) ((?:http:\/\/|\/)?[^\s]*(?:\/[^\/\s]*)?) (HTTP\/\d\.\d))" ([1-5]\d{2}) (-|\d+) "([^"]*)" "([^"]*)"/', $linia, $match);
list($calosc, $ip, $niemampojecia, $http_user, $data, $method, $url, $http_protocol, $http_code, $transfer, $referrer, $user_agent) = $match;

Oczywiście można to po swojemu wykorzystać. Ja osobiście, najczęściej zliczam wykorzystany transfer przez daną domenę. A jeśli chcecie zobaczyć jak tą całą opowieść ubrałem w skrypt to zapraszam do ściągnięcia pliku gdzie jest spakowany skrypt główny oraz przykładowe rozszerzenie do analizy logów ‚Combined’ z Apache.
Należy pamiętać, że skrypt który zlicza transfer z logów, nie powinien działać w trybie „pseudo-wielowątkowy”, ponieważ transfer jest zliczany w pamięci php, czyli jest zapisany w zmiennych. Jeśli ktoś ma ochotę to może przerobić tak skrypt aby zliczał transfer w pliku, w bazie danych lub innym zewnętrznym nośniku.