Nachdem ich mich nun mittlerweile seit einiger Zeit mit Node.js beschäftigt habe und nach einer knappen Woche auch gut mit RabbitMQ und dem Node.js-Modul node-amqp zurechtkomme, kam mir eine neue Idee. Warum nicht das access.log in Echtzeit auslesen, neu hinzugekommene Zeilen in eine RabbitMQ Queue zu schreiben und dann mit mehreren Worker-Prozessen parallel zu parsen und in eine Datenbank zu schreiben. Somit müsste nicht mehr auf die nächste Log-Rotation (15 min) und die Fertigstellung des Parsing-Scripts gewartet werden und es stünden die Daten nahezu in Echtzeit zur Verfügung.

Hier also die ersten Schritte, um das neue Konzept umzusetzen:

Schritt 1 - Vorbereitung

Zuerst laden wir die Module, welche für das Projekt benötigen:

var fs = require('fs');		// Zugriff auf das Dateisystem
events = require('events');	// Erstellung eigener Events
util = require('util');		//
async = require('async');	// asynchrone Schleifen, etc.
amqp = require('amqp');		// Modul für Verbindung zu RabbitMQ
sys = require('sys');		// Zugriff auf das System
spawn = require('child_process').spawn;	// Erstellung von Child-Prozessen

Schritt 2 - vorbereiten und erstellen der Verbindung zu RabbitMQ

Da die Informationen aus dem access.log direkt in eine Queue geschrieben werden sollen, um sie später parallel von mehreren Workern verarbeiten zu können, muss zuerst eine Verbindung mit RabbitMQ hergestellt werden, welcher diese Queues verwaltet.

var defaultExchange = 'amq.topic';
var rabbitMQ = amqp.createConnection({
	host: 'hostname.example.com',
	login: 'user-publisher',
	password: 'superGeheim',
	vhost: '/'
}, {
	defaultExchangeName: defaultExchange
});

Den

defaultExchangeName

Schritt 3 - Überprüfen der Verfügbarkeit und Erstellen der Queue

Wir warten auf das 'ready'-Event der Verbindung zu RabbitMQ und legen anschließend die notwendigen Parameter für die von uns benötigte Queue fest, falls diese nicht vorhanden sein sollte und erstellt werden muss. Sollte diese nicht bereits vorhanden sein, wird sie mit den von uns vorgegebenen Werten erstellt, ansonsten wird die vorhandenen Queue genutzt, wie sie beim Erstellen konfiguriert wurde. Ist die Überprüfung bzw. die Erstellung abgeschlossen, emitten wir das Event 'ready', um mit dem Einlesen des Logs zu beginnen.

rabbitMQ.on('ready', function() {
	var queueOptions = {
		durable: true,
		autoDelete: false
	};
	var queueName = 'log-test';
	var q = rabbitMQ.queue(queueName, queueOptions, function(queue) {
		console.log('queueName ' + queueName + ' has been created');
		q.emit('ready');
	});
	util.inherits(q, events.EventEmitter);
});

Schritt 4 - Einlesen des access.log in Echtzeit

Ich habe mir einige Module angeschaut, welche dabei helfen sollen, Dateien kontinuierlich einzulesen, welche von einem fremden Prozess permanent erweitert werden. Dazu gehörten u.a. fs.watch, chokidar und carrier. Leider half mir keines bei meinem Problem. Ich habe mich daher entschlossen, auf das Tool 'tail' zurückzugreifen, welches mittels des Parameters -f kontinuierlich die letzten Zeilen des Logs auf der Standardausgabe ausgibt. Dieses Programm ist normalerweise nur unter Linux standardmäßig vorhanden, jedoch gibt es auch seit einiger Zeit eine entsprechende Portierung für Windows. Tail wird daher für unsere Zwecke in einem Child-Prozess gestartet und die Ausgabe als Buffer-Stream weiterverarbeitet.

Im ersten Schritt habe ich den Buffer in einen UTF-8 String umgewandelt und diesen über die Newline-Zeichen gesplittet, um für jede Zeile des Logs einen eigenen String zu erhalten. Bei einer Erweiterung des Scripts durch Worker-Prozesse, welche die Hauptaufgabe des Parsens übernehmen sollen, wäre zu überlegen, ob es nicht sinnvoller und schneller wäre, erst dort der Buffer zu splitten. Aktuell bleiben wir aber erstmal bei der vorhandenen Lösung.

Für das Durchlaufen der einzelnen Felder des Arrays verwende ich das 'async'-Modul für Node.js, welches das asynchrone bearbeiten der Felder ermöglicht, so dass hier ein weiterer Performancegewinn zu verzeichnen ist. Dabei wird für jeden String überprüft, ob dieser leer ist und sollte dies nicht der Fall sein, wird dieser über rabbitMQ.publish und den entsprechenden defaultExchange an die Queue gesendet.

q.on('ready', function() {
	q.bind(defaultExchange, q.name);
	console.log('ready event for queue triggered');
	var file = "d:/xampp/apache/logs/access.log";
	var tailpath = 'tail.exe';
	var tail = spawn(tailpath, ["-f", file]);
	tail.stdout.on('data', function(data) {
		var buff = new Buffer(data);
		var logLine = buff.toString('utf8');
		var splitByNewLines = logLine.split(/\r\n/g);
		async.each(splitByNewLines, function(item, callback) {
			if (item === '') {
				console.log('empty');
			} else {
				rabbitMQ.publish(q.name, item);
			}
		}, function(err) {
			console.log(err);
		});
		console.log(splitByNewLines);
	});
});

Schritt 5 - Überprüfen der Ergebnisse in RabbitMQ

Wenn wir uns die Konsole und die entsprechende Queue in RabbitMQ ansehen, können wir beobachten, wie die Zugriffe auf den Webserver in Echtzeit ausgelesen und gequeued werden:

Ähnliche Beiträge:

• node.js – Probleme mit cluster modul unter Ubuntu
• Von wegen Breakdance kommt aus den amerikanischen Ghettos
• Firmware Update für Huawei E160 und neue Version von Mobile Partner
• TechNet Webcast: Windows Server 2008 – Technische Neuerungen (Teil 8)
• Links vom 11.-30.04.08

Hierzu muss lediglich folgender Befehl ausgeführt werden:

pkill -9 -f /usr/bin/php

Ähnliche Beiträge:

• Images unter Ubuntu konvertieren
• [Software] Unter Windows auf Linux-Dateisysteme zugreifen
• Realtek rtl8187se Treiber für Linux
• Aus Windows auf Linux Partitionen zugreifen
• Backtrack auf LG X110 von SD-Karte starten

Leider ist es scheinbar nicht möglich, einen SSH-Key für mehrere Repositories zu nutzen. Da es sich um GitHub:Enterprise handelt, war es außerdem nicht möglich einen extra Benutzer anzulegen, welcher einfach dem Projekt hinzugefügt hätte werden können. Nach kurzer Recherche bin ich auf diese Anleitung gestoßen, welche sowohl das Problem beschreibt als auch direkt eine Lösung bereitstellt.

Zuerst erstellt man für jedes Repository einen eigenen SSH-Key, bei welchem der Schlüssel am besten bereits den Namen des Projekts beinhaltet und somit später einfacher zu identifizieren ist:

ssh-keygen -t rsa -f ./id_rsa_newproject

Der Befehl sollte möglichst unter dem gleichen Benutzer ausgeführt werden, unter welchem der Schlüssel später verwendet werden soll (in meinem Fall "jenkins"), so dass dieser direkt in das .ssh Verzeichnis im Home erstellt wird. Damit später für jedes GitHub-Repository der korrekte Schlüssel benutzt wird, legt man im Verzeichnis die Datei config an und gibt einen virtuellen Host, den echten Host, den User mit welchem die Verbindung aufgebaut werden soll und den absoluten Pfad zum SSH-Key an.

Host github.sub.domain.com-newproject
        Hostname github.sub.domain.com
        User git
        IdentityFile /var/lib/jenkins/.ssh/id_rsa_newproject

In der Konfiguration von Jenkins gibt man nun anstelle von z.B.

git@github.sub.domain.com:User/New-Project.git

folgendes an:

git@github.sub.domain.com-newproject:User/New-Project.git

Bei dem Aufruf wird zuerst in der .ssh/config nach dem angebenen Hostnamen geschaut und anschließend werden die dort konfigurierten Einstellungen für diese Verbindung übernommen.

Ähnliche Beiträge:

• Installation von git flow bei Nutzung von Git Extensions
• Alte Debian Repositories
• node.js – Probleme mit cluster modul unter Ubuntu
• Apache access.log mit node.js in Realtime parsen und zur Weiterverabeitung in RabbitMQ queuen
• Wie man PowerPoint nicht verwenden sollte

Grundsätzlich ist die Empfehlung, die Umgebungsvariable NODE_ENV im Betriebssystem zu setzen. Dies funktioniert jedoch nur dann, wenn das entsprechende System grundsätzlich nur für Produktion oder Entwicklung genutzt wird. Für das letzte Testen von Änderungen vor dem 'Release' verwende ich jedoch das gleiche System, auf welchem später die Anwendung auch produktiv läuft, um Betriebssystem-abhängige Fehler auszuschließen (siehe z.B. diesen Beitrag). Würde ich also auf diesem System für die Umgebungsvariable NODE_ENV auf 'production' setzen, würde auch das Testing ohne erweitertes Logging durchgeführt. Hier macht es also Sinn, die Variable dynamisch anhand von bestimmten Kriterien zu setzen und diese dann zu nutzen, um die Umgebung und somit die Konfiguration zu bestimmen.

Da ich (bisher) grundsätzlich unter Windows entwickle, das Produktivsystem jedoch auf Linux läuft, ist das erste Kriterium bereits klar. Da auf dem Produktivsystem jedoch auch das letzte Testing läuft muss hier nochmals unterschieden werden. Glücklicherweise läuft dieses immer in einem Verzeichnis, welches 'dev' enthält. Somit ist auch das zweite Kriterium festgelegt. Hier der Code dazu:

var path = require('path');
var scriptPath = path.dirname(require.main.filename);
switch (true) {
    case process.platform === 'win32': // if os is windows (x64 is win32 as well)
    case scriptPath.indexOf('dev') >= 0: // or if path contains 'dev'
        process.env.NODE_ENV = 'development'; // set NODE_ENV to 'development'
        break;
    default:
        process.env.NODE_ENV = 'production'; // else set 'production'
        break;
}

Um auf den Pfad zugreifen zu können, wird das 'path'-Modul benötigt, welches wir in Zeile 1 einbinden. Anschließend deklarieren wir die Variable 'scriptPath' und weisen Ihr den Pfad der ausgeführten Applikation zu. Im Anschluss prüfen wir nun in einer 'switch'-Anweisung die o.g. Kriterien ab und setzen die Systemvariable entsprechend.

Anschließend geben wir den Wert von 'NODE_ENV' über die Console aus, um ggf. später das Ergebnis prüfen zu können. Danach können wir wie gewohnt die socket.io Konfiguration abhängig von der Umgebung vornehmen:

console.log('environment setting: ' + process.env.NODE_ENV);
io.configure('production', function() {
    io.enable('browser client minification');  // send minified client
    io.enable('browser client etag');          // apply etag caching logic based on version number
    io.enable('browser client gzip');          // gzip the file
    io.set('log level', 1);                    // reduce logging
});
io.configure('development', function() {
    io.set('log level', 3);
});

Möchte man nun abhängig von der Umgebung den Server auf einem anderen Port starten, kann man den Code wie folgt ergänzen:

var portToListen = 0;
console.log('environment setting: ' + process.env.NODE_ENV);
io.configure('production', function() {
    portToListen = 8081;                       // define port for production environment
    io.enable('browser client minification');  // send minified client
    io.enable('browser client etag');          // apply etag caching logic based on version number
    io.enable('browser client gzip');          // gzip the file
    io.set('log level', 1);                    // reduce logging
});
io.configure('development', function() {
    portToListen = 8083;                       // define port for production environment
    io.set('log level', 3);
});
server.listen(portToListen);                   // start server with port defined

Mittels netstat kann das Ergebnis überprüft werden:

C:\Windows\system32>netstat -anp tcp | findstr :808
  TCP    0.0.0.0:8083           0.0.0.0:0              ABHÖREN

Macht Ihr es ähnlich oder habt Ihr noch Verbesserungsvorschläge? Über Kommentare freue ich mich.

Ähnliche Beiträge:

• node.js – Probleme mit cluster modul unter Ubuntu
• Von wegen Breakdance kommt aus den amerikanischen Ghettos
• Windows Defender deaktivieren
• MacBook Air auf gratis-gutscheine.de gewinnen
• Apache access.log mit node.js in Realtime parsen und zur Weiterverabeitung in RabbitMQ queuen

Da diese Projekte voraussichtlich größer und somit eine vermeintlich hohe Anzahl an parallelen Socket-Verbindungen bedienen müssen, habe ich mir das Cluster-Modul von Node.js angeschaut und in meine Projekte implementiert. Unter Windows, für welches eine entsprechende Portierung vorliegt, lief meine app.js Problemlos. Nach dem Deploy auf ein Staging-System, konnte die app.js nicht mehr gestartet werden, da "cluster.worker" scheinbar nicht mehr definiert war. Auch Versuche mit anderen Cluster-Modulen schlugen fehl.

/var/www/slaw-dev/nodejs/app.js:68
        socket.emit('worker', 'This is worker #' + cluster.worker.id);
                                                                 ^
TypeError: Cannot read property 'id' of undefined
    at SocketNamespace.<anonymous> (/var/www/slaw-dev/nodejs/app.js:68:66)
    at SocketNamespace.$emit (events.js:88:20)
    at connect (/var/www/slaw-dev/nodejs/node_modules/socket.io/lib/namespace.js:292:10)
    at /var/www/slaw-dev/nodejs/node_modules/socket.io/lib/namespace.js:308:13
    at SocketNamespace.authorize (/var/www/slaw-dev/nodejs/node_modules/socket.io/lib/namespace.js:252:5)
    at SocketNamespace.handlePacket (/var/www/slaw-dev/nodejs/node_modules/socket.io/lib/namespace.js:302:14)
    at Manager.handleClient (/var/www/slaw-dev/nodejs/node_modules/socket.io/lib/manager.js:698:32)
    at Manager.handleUpgrade (/var/www/slaw-dev/nodejs/node_modules/socket.io/lib/manager.js:618:8)
    at Server.<anonymous> (/var/www/slaw-dev/nodejs/node_modules/socket.io/lib/manager.js:123:10)
    at Server.emit (events.js:88:20)

Nachdem ich die Modul-Versionen unter Windows und Linux verglichen habe und keine Unterschiede feststellen konnte, habe ich im #node.js Channel im Freenode-IRC Hilfe gesucht. Nachdem sich einige den Code angeschaut haben (vielen Dank insbesondere an geNAZt (Google+ / Twitter), jedoch auch keine gravierenden Fehler gefunden haben, bin ich vorhin auf den Fehler gest0ßen:

Während ich unter Windows mittels dem, auf der Website bereitgestellten Installer, die neueste Version (0.10.5) von Node.js installiert habe, war auf dem Ubuntu noch eine Uralt-Version installiert. Dies liegt daran, dass in den normalen APT-Repositories lediglich das Paket nodejs-dev in der Version 0.6.12 vorhanden ist, welche nicht das neueste Cluster-Modul beinhaltet. Um die neueste Version zu erhalten, müssen zuerst folgende Schritte ausgeführt werden:

sudo apt-get install python-software-properties
sudo add-apt-repository ppa:chris-lea/node.js
sudo apt-get update
sudo apt-get install nodejs

• python-software-properties ist für den Befehl add-apt-repository erforderlich und ist scheinbar standardmäßig nicht installiert
• anschließend wird das Repository ppa:chris-lea/node.js hinzugefügt und
• ein Update der Repositories durchgeführt
• zuletzt installiert man dann das Paket nodejs, welches nun in der neuesten Version (0.10.5) vorliegt.

Nach dem Starten der App und dem Aufbau einer Socket-Verbindung vom Client / Browser, wird nun die ID des entsprechenden Workers korrekt angezeigt.

Kommentare

• 5. May 2013, Dynamisches Setzen von NODE_ENV für Produktions- bzw. Entwicklungsumgebung mit Node.js | Feldstudie.net schreiben: [...] auch produktiv läuft, um Betriebssystem-abhängige Fehler auszuschließen (siehe z.B. diesen Beitrag). Würde ich also auf diesem System für die Umgebungsvariable NODE_ENV auf 'production' [...]

Ähnliche Beiträge:

• Dynamisches Setzen von NODE_ENV für Produktions- bzw. Entwicklungsumgebung mit Node.js
• Interesse an Ubuntu?
• Images unter Ubuntu konvertieren
• Kurznews 2007-11-09
• Probleme mit Ladezeit der Seite

Ich habe mich daher für die folgende Lösung entschieden: standardmäßig wird die Seite über die normale Domain aufgerufen, welche über CloudFlare geschützt wird. Möchte ein Besucher jedoch explizit SSL-Verschlüsselung nutzen, wird er auf die Subdomain "secure.domain.de" umgeleitet, welche per SSL geschützt ist (hierauf gehe ich genauer ein, sobald die Domain bei einem neuen Provider und die Konfiguration bei CloudFlare abgeschlossen ist).

Die Herausforderung bei dieser Lösung ist, dass die Codeigniter-Instanz sowohl über die Subdomain als auch über die Hauptdomain erreichbar sein und die Subdomain die SSL-Verschlüsselung forcieren muss. Um dies zu erreichen habe ich die base_url Konfigurationsvariable in der config.php der Codeigniter-Instanz entsprechend variable gestaltet. Beim Aufruf der Seite wird nun überprüft, ob die Subdomain "secure" verwendet wird. Falls ja, wird dem http der base_url ein "s" hinzugefügt, so dass der Webserver bzw. der Browser eine SSL-Verschlüsselung benutzt. Bei keiner oder jeglicher anderer Subdomain, wird mit http gearbeitet. Den Auszug der config.php findet Ihr hier:

View the code on Gist.

Ähnliche Beiträge:

• Honeypot für Webcrawler, E-Mail- und Kommentarspammer
• SU für Benutzer ohne Shellzuweisung
• Picdump 05.04.12
• Wider den Papierkrieg – Outsourcing als Aktenmanagement- und Archivierungslösung
• Patch für Kaspersky Anti-Virus für Windows Server MP4 zur Beseitigung der Performanceprobleme

Wer ein kleines Unternehmen betreibt oder Privatperson ist, kennt es: ein kleiner Raum, ggf. sogar das eigene Arbeitszimmer mit Schränken voller Aktenordner. Je größer jedoch der Betrieb, desto größer meist auch der Wust an eben jenen Akten. Wem die eigene Archivierung, gerade in Hinsicht auf die gesetzliche Vorhaltezeit und den damit verbundenen Platz über den Kopf wächst, sollte sich über einen entsprechenden Outsourcing-Dienst im Bereich Aktenmanagement und -archivierung Gedanken machen.

Die Vorteile sind meist eindeutig: Die selbst verpackten Akten werden von dem Dienstleister oder einer entsprechenden Spedition abgeholt und zu einer der sicheren Einrichtungen, welche teils mehrere Sicherheitsstufen inkl. Zugriffssteuerung, computergestützte Kontrollsysteme, lückenlose Nachweisketten, etc. bieten, gebracht werden. Dabei verliert man jedoch nicht die Kontrolle über seine Daten. Die meisten Dienstleister setzen alles daran, die Aktenlagerung so einfach wie möglich zu gestalten: archivierte Dokumente stehen nach der Einlagerung digital zur Verfügung oder können als Original innerhalb eines oder sogar eines halben Werktags per (Eil)Kurier abgeholt werden.

Das Unternehmen Iron Mountain ist sogar aufgrund der Verwendung eines selbst entwickelten Systems, welches mit Hilfe von Barcodes arbeitet, in der Lage, angeforderte Dokumente schneller zu scannen und zu übermitteln, als vor Ort ein Papierdokument aus einem Aktenraum geholt werden kann. Über ihr webbasiertes Archivmanagement-Portal können der Kunde bequem auf seine aktiv genutzten Unterlagen zugreifen und behält auf diese Weise stets den Überblick. Sollte der Kunde jedoch lieber die Daten im eigenen Haus behalten wollen, bietet Iron Mountain an, ein effizientes und den Vorschriften entsprechendes Programm zu erstellen.

Kommentare

• 15. February 2013, Yager schreiben: So ein dienst kann echt nützlich sein. Als Onlinehändler weis ich wie schnell der halbe Keller voll mit Ordnern ist.
• 27. February 2013, Patrick schreiben: Vorallem lagern die Akten so sicherer als im eigenen Haus. Einbrecher sind schnell drinn und ein Brand zerstört auch alles in sekunden, wenn man pech hat.
• 14. March 2013, cpu schreiben: Interessante Variante der Archivierung. Bisher kannten wir nur neben der traditionellen Aktenablage für die Altbestände, die Ablage in einem Dokumentenmanagementsystem, welches bei uns seit zwei Jahren im Einatz ist. Damit hat sich zwar einiges gebessert, aber dennoch hilft uns das nicht bei der Suche in den Altbeständen. Vielleicht ist das hier eine gute Möglichkeit.;natürlich ist das auch eine Frage der Kosten.
• 5. April 2013, Dani Wasseran schreiben: Das klingt echt interessant. Habe von dieser Möglichkeit noch nichts gehört. Werde mich darüber mal erkundigen und mal schauen ob das meine aktuelle Methode ablöst

  Gruß Dani

• 11. April 2013, Der Computer Engel schreiben: Ich hab mich da jetzt mal mit befasst, weil ich sowas in der Art suche. Eine sehr interessante Lösung, aber wohl eher nur für Akten in Form von z.B. Kundenunterlagen oder Projekt-Unterlagen bzw. Verträge zu gebrauchen. Sicherlich kann man auch die komplette Buchhaltung so realisieren lassen, aber ich denke, die Kosten stehen in keinem Verhältnis zum Nutzen.

  Leider verschwinden die ganzen Firmen, wo man seine normalen Hefter/Ordner einlagern lassen konnte immer mehr vom Markt, sonst hätte ich meine Aktenberge einfach so altmodisch in fremde Hände zur Aufbewahrung gegeben,

• 26. April 2013, Else schreiben: Das kann sich wirklich lohnen, wenn man überlegt das mein Steuerberater den Dachstuhl vom Nachbar angemietet hat und auch sein eigener Keller und Dachboden komplett voll steht mit Akten und Ordnern.

Ähnliche Beiträge:

• Speedtest – Schaffst Du mehr als 86 Wörter die Minute?
• [Umfrage] Bannerrotation – ja oder nein?
• Wider das Adler-Suchsystem
• Storebird.de verschenkt Artikel an Blogger
• Fotobuch von FujiFilm

In meinem Controller habe ich eine Methode signup, welche bei dem ersten Aufruf lediglich die view des Registrierungsformulars lädt und anzeigt. Im header view werden lediglich die jQuery Mobile js Sources geladen, der meta viewport und das Charset für die Seite bestimmt. Zu Beginn habe ich, wie von Code Igniter gewohnt, das Formular über <?php echo form_open('user/signup'); ?> geöffnet und dann mittels jQuery Mobile das Formular erstellt. Mein Problem war nun, dass nach dem Absenden des Formulars, der Übergabe der Post-Werte an die signup Methode des Controllers und der Formular-Validierung, ich lediglich ein 'undefined' angezeigt bekommen habe. Die Suche nach der Ursache hat mich fast den halben Nachmittag gekostet. Nach einiger Recherche über Google und viele 'nicht-weiterhelfende' Forenbeiträge später, stieß ich zufällig auf ein Problem in Verbindung mit Ajax.

Hier fiel mir dann auf, dass man bei jQuery Mobile Formularen explizit angeben muss, wenn ein Formular _nicht_ über Ajax gesendet werden soll; und hier war der Fehler. Über data-ajax="false" im Form-Tag kann dieses Verhalten deaktiviert werden. Bei Code Igniter kann dies über den zweiten Parameter der form_open() Funktion als Array mitgegeben werden werden, so dass das dann wie folgt aussieht: <?php echo form_open('user/signup', array('data-ajax' => 'false')); ?>. Die entsprechenden Ausschnitte aus Controller, Model und View findet Ihr im folgenden Gist:

View the code on Gist.

Ähnliche Beiträge:

• Firmware Update für Huawei E160 und neue Version von Mobile Partner
• [Tutorial] Hinzufügen einer weiteren Sidebar mit Tabs zu einem WordPress-Theme
• Anzeigen von Post-Parametern über Javascript vor dem Absenden des Formulars über Submit
• Projekt "WAPosphäre" – Teil 2
• Jetzt habe auch ich QR codes für mich entdeckt