AndriesLouw.nl - Blog

Serving mobile users with nginx

2012-01-06T16:00:00.001+01:00

Using nginx, and don't want to use PHP to redirect mobile users to your mobile-optimized site? Well, it's perfectly possible to do detect and redirect them with some nginx configuration file magic.

This is the setup I came up with:

nginx configuration file

location / {
    set $mobile_request '1';
    
    if ($http_user_agent ~* "(windows|linux|os\s+[x9]|solaris|bsd)"){
        set $mobile_request '';
    }
    
    if ($http_user_agent ~* "(spider|crawl|slurp|bot)"){
        set $mobile_request '';
    }

    if ($http_user_agent ~* "(acer\ s100|android|archos5|blackberry9500|blackberry9530|blackberry9550|blackberry\ 9800|cupcake|docomo\ ht\-03a|dream|htc\ hero|htc\ magic|htc_dream|htc_magic|incognito|ipad|iphone|ipod|kindle|lg\-gw620|liquid\ build|maemo|mot\-mb200|mot\-mb300|nexus\ one|nokia|opera\ mini|samsung\-s8000|series60.*webkit|series60/5\.0|sonyericssone10|sonyericssonu20|sonyericssonx10|t\-mobile\ mytouch\ 3g|t\-mobile\ opal|tattoo|webmate|webos)") {
        set $mobile_request '1';
    }
    
    if ($arg_mobile ~ 'false') {
        set $mobile_request '';
    }
    
    if ($mobile_request = '1') {
        rewrite ^/$ http://m.an3s.com/ redirect;
    }
}

It works as follows

Set the default to the mobile-optimized version
Filter desktops
Filter crawlers like Googlebot
If somehow a mobile browser slipped through, because it was detected as desktop, for example, because it reported to run Linux (like Android does), mark it again as mobile
Filter requests that have ?mobile=false
Point anything left to the mobile-version of the site, using an 302 Temporary redirect header

If your user decides it wants to use the non-mobile version, you can simply point him to the ?mobile=false link.

Example
Surf with your mobile browser to http://www.andrieslouw.nl/, it should redirect you to http://m.an3s.com/. You can use the third link on that page to go to the non-mobile version, or simply use http://www.andrieslouw.nl/?mobile=false.

Remarks
This version lacks an option to remember the setting (mobile/non-mobile) the user prefers. You could make such thing yourself, by setting an cookie and reading it in the configuration file.

Any additions are welcome, you can post them in the comments!

Het leven

2011-06-05T01:03:00.002+02:00

Het leven staat zelden stil, en na een jaar Deventer, keer ik terug naar Sneek. Dag stad, dag werk, dag studie. Bedankt.

Ik ga lopen, lopen tot de zon komt.

De dood

2011-02-10T23:25:00.001+01:00

Nee, zeker niet een vrolijk onderwerp, noch een waar je je graag in verdiept, of over nadenkt, en ook zeker niet een onderwerp dat ik hier zo uit eigen beweging bespreek omdat het mij bezighoudt, integendeel, ik sta volop in het leven.

Nee, het ging om een vraag die ik stelde: If you could see into the future, would you do it different now?

Waarop iemand, wellicht gekscherend, mij antwoordde: Ofcourse I would. Unintentionally, though. I'd probably kill myself. What's the point in living, then?

Waarna ik de persoon in kwestie niet geheel begreep, indien je het anders had gedaan, en je er nu niet meer was, was dat een gewenstere situatie dan degene waarin je nu bent, en je dat niet wenst? Ik weet niet of het streven naar leven, leven zelf definieert, maar toch.

Want wat als zo'n situatie toch niet als gewenster, of beter wordt beschouwd, is het dan nog steeds hetgeen wat je zou willen doen, streef je naar een mindere uitkomst, en wat zegt dat over hetgeen je nu hebt, is dat beter?

Of als het het wel is, een gewenstere situatie, die je toch niet gekozen hebt destijds, is het dan niet alsnog een bevestiging van hetgeen je nu hebt gekozen, een situatie waarin je nog zaken kunt veranderen. Of is het het bewijs van dat je liever nog een 3e weg had ingeslagen, en is het enkel een overdrijving van het spijt hebben van datgeen je tot dusver hebt gedaan?

Men moet in mijn opinie de dood niet zien als uitweg voor het leven, het is in zekere zin vluchtgedrag, dus onbezonnen, en lichtelijk overdreven. Tenzij de nullijn niet te bereiken valt op een andere manier, wanneer de pijnen hevig zijn, en een mogelijke uitkomst niet lang, men niet enigszins fier, naar een toekomst kan zien, en men is zeker niet bang, dan kan men geluk uitzetten tegen tijd, het overwegen om lengte in te ruilen voor kwaliteit.

Zolang die kwaliteit niet op een andere manier is na te streven, want de dood volgt altijd nog, maar het is pas dood na een leven. Opdat het anders geen dood kan heten, maar levenloosheid, niet hebben geademt, noch hebben bewogen, noch hebben gegeten.

Het doet je toch denken, wat als degene het serieus bedoelde, en niet gekscherend?

Degene wist te antwoorden: Als je de toekomst kent, geeft het naar mijn idee geen voldoening meer. Het is dan niet zozeer een leven leiden, maar een leven leven. Het feit dat je de toekomst kent betekent dat al je keuzes al vast liggen. Op het moment dat je gaat voorspellen kan je er nog iets tegen doen. De enige motivatie die dan nog rest is het leven leven als behoud van een goed leven voor je geliefden.

Wat mij deed denken; er zijn ongetwijfeld mensen die het doen, leven leven als behoud van een goed leven voor je geliefden. Of dat voldoening geeft? Ik denk dat het feit dat men het doet, er zich voldoende over uit laat.

Mag dit argument omgedraaid worden? Halen mensen die het niet doen, geen voldoening uit het geven van een goed leven aan de geliefden? Ik ben van mening dat het een afweging is, en zoals alle keuzes, niet een die je iemand mag aanrekenen, omdat je niet weet, en opdat je het nooit zult weten, wat verdere factoren zijn geweest.

Daarvoor moet je de andere kant van het verhaal kunnen horen.

Een jaar

2011-02-07T00:52:00.001+01:00

Voor eenieder die zich afvraagt waarom ik hier niet meer zo actief ben; wel, ik ben op de een of andere manier druk geweest met andere zaken. Wat ik nu exact allemaal gedaan heb in dit jaar weet zelfs ik niet meer, maar om een korte opsomming te geven, in chronologische volgorde: Rijbewijs gehaald, in de krant gestaan, eerste auto gekocht, verhuisd naar Deventer, geslaagd voor examen, volledig gaan werken, vakantie gevierd, en begonnen aan een studie. Plezier gehad op het water, op het werk, en aan de zijlijn. Mooie dingen gemaakt, heel veel moois gezien. Kilometers gereden, en eentje met wat op de teller gekocht. Gepoogd eens internationaal sociaal te zijn, politiek actief geworden, en toch blijven staan achter dat wat behouden moet blijven. Al dat ik nog vergeten ben, zal ik jullie besparen, opdat dit niet jullie tijd verspilt tot in de lengte van jaren.

Tot slot
Sinds een paar weken speelt er weer iets wat ik bijna tot een herinnering van 2009 had gerekend, het begin van een toekomst samen! Degene over wie ik het heb, weet wat ik bedoel, en degene die weten wat ik bedoel, weten over wie ik het heb.

De werkplek en het kunstwerk; Mobo aan de muur

2010-02-23T18:35:00.004+01:00

Ach ja, men moet toch wat met zijn oude hardware. Idee komt van tweaker Terw_Dan, die er een hele muur mee bekleedde.

Koning winter is er; Sneeuwballen met Wytse

2009-12-16T23:00:00.004+01:00

Mijn zondagsbesteding (2)

2009-09-20T21:11:00.007+02:00

Locatie: Snekermeer

In het kader van "wat doe jij op zondag", dit keer er even alleen met de hond en de sloep op uit. En met een trui aan is het nog prima vertoeven op het water, zo in de nazomer, heerlijk toch?!

Mijn zondagsbesteding; Zon, zee, wind en Wytse

2009-08-30T19:43:00.002+02:00

Locatie: Den Oever

En wat is het dan heerlijk om over de dijk te rennen, en ook zelf (stiekem) even uit te waaien. Zeker met het weer van vandaag!

Racks; Hele dure opslagruimte

2009-08-30T19:37:00.005+02:00

Zo nu en dan moet je wel eens het datacentrum in, zo ook vrijdag de 21-ste, dit keer was ik er om wat nieuwe servers in te hangen. En dan kan ik het op zo'n dag ook niet laten om even bij "de buren" te kijken..

Wat ik daar aantrof was op zijn minst merkwaardig te noemen, niet alleen die switch die daar scheef staat, maar ook dat er 4 racks werden gebruikt om gewoon wat spullen in op te slaan. Voor de duidelijkheid: 1 rack kost hier €550 p/mnd, dus dit is €2200 p/mnd voor de opslag van wat (oud) spul.. Ik laat de mening aan de lezer over.

Spam weren, maar dan voor phpBB

2009-08-20T14:03:00.002+02:00

Ramon Fincken heeft speciaal voor phpBB forum's een prachtige antispam plugin gemaakt, welke onder andere gedeeltes uit mijn vorige tutorial gebruikt, maar nog veel meer nuttige toevoegingen heeft en ook actief onderhouden wordt! Meer info vind je op PhpBBantispam.com, of op SourceForge.

Ik moedig dit idee zeker aan, en wellicht kunnen je hem helpen bij de ontwikkeling ervan, of de plugin porten naar je eigen applicatie! Want samen staan we sterker tegen spam.

Subtropisch weer? We zijn er klaar voor!

2009-08-14T23:39:00.002+02:00

Hé jongens! Sleepje nodig?

2009-07-11T15:19:00.003+02:00

Ook ik heb soms mijn aardige momenten. Hier draag ik de verantwoording/zorg voor 5 Lelievletten, en 18 "pubers", al snel zo'n 40-50 meter sleep. Ik stuur de voorste, en de rest zit in die 4 vletten achter me.

Eventjes met de hond uit

2009-06-18T19:44:00.008+02:00

Zoals jullie in de vorige post dus zagen, bestaat het huishouden hier ook uit een hondje. De naam is Wytse overigens, wat afgeleid is uit de Friese woorden voor klein en wit (resp. lyts en wyt).

Zo nu en dan is het, na een dag hard werken of school, natuurlijk prachtig om even de zinnen te verzetten. En omdat alleen wandelen ook zo gek lijkt, is Wytse voor mij een mooi excuus. Daarbij is het ook geweldig om te zien hoe zo'n kleine rakker zo veel plezier kan hebben buiten.

Blij man dat ik ben, beschik ik hier op 100 meter lopen over een zee van rust. Ik woon net aan de grens van Sneek, wat betekend dat mijn uitzicht, zo ver het reikt, bestaat uit weilanden en wateren.

Voor Wytse betekent dit onbezorgd rennen, zo ver als zijn pootjes hem dragen.

En zoals jullie zien, is hij niet het enige dier hier in de omgeving.

Goed, na een 700 meter rennen krijgt zo'n hond natuurlijk ook wel eens dorst, en omdat Friesland te boek staat als de provincie waar geen gebrek is aan water, komt dat mooi uit.

Helaas vergist ook een hond zich wel eens. Vandaag betekende dat dus kopje onder. Geen probleem voor Wytse, want hij is een geoefend zwemmer ondertussen.

Wel werd mijn helpende hand zeer gewaardeerd, want klimmen is niet zijn ding, en het water was toch wel wat koud.

Daar zit je dan, beetje beduusd, afvragend hoe je vacht ineens zo nat komt, maar o zo blij dat de zon schijnt.

En heerlijk weer was het vandaag zeker, getuige ook het feit dat Wytse na een kwartiertje rennen alweer droog was.

Op de terugweg kwam ik nog een mooi stukje natuur tegen, wat je niet vaak tegenkomt zo midden in een woonwijk. Ik denk dat de foto wel voor zich spreekt.

Rustig lopend ben ik de familie eend gepasseerd, want het laatste wat je wilt is ze storen.

En als je dan thuis komt, en ziet dat je hond behoorlijk wat natuur mee naar binnen heeft genomen, dan zit er maar 1 ding op, in bad. Ik laat wederom de foto's spreken.

Ja, dit is een vreemd exemplaar, hij lijkt soms zelfs te genieten van het water.

Eventjes met de hond uit, soms een klein avontuur.

Spam weren, maar dan zonder CAPTCHA

2009-06-15T21:28:00.009+02:00

We herkennen het probleem allemaal wel, die eindeloze stromen welke binnenkomen in gastenboeken, op blogs, op forums. Zo'n beetje elke plaats op het internet waar gebruikers zelf iets kunnen toevoegen lijkt er aan te moeten geloven: Spam.

Natuurlijk zijn we allemaal zeer geïnteresseerd in die ge-wel-dige aanbiedingen van die Russische pillenboer, de echte Zwitserse uurwerken voor een dumpprijs, of die mooie business proposals van een Nigeriaanse neef. Maar wat als je, net als ik, niks te klagen hebt, en al ruim voorzien bent?

Voor de meeste webmasters is het antwoord al snel: Een CAPTCHA implementeren. Het grootste nadeel is bekend; een goede dient moeilijk te zijn voor computers, maar is dit helaas ook steeds vaker voor een mens.

Gelukkig is er een andere oplossing; spamfilters. Wie Wordpress gebruikt kent vast Akismet wel, een plugin die alle berichten controleert op spam-woorden. In deze post doe ik uit de doeken hoe je zelf zoiets maakt in PHP.

Achtergrond informatie
Maar eerst wat meer achtergrond informatie, ik was op zoek naar een anti-spam-oplossing die aan een aantal voorwaarden moest voldoen:

1. De gebruiker mag er geen last van ondervinden.
2. De oplossing moet snel zijn.
3. Berichten mogen niet in een queue belanden.
4. Bij het plaatsen moet voor de gebruiker direct bekend zijn of een bericht goed-, of afgekeurd wordt.

Ik had kunnen kiezen om een implementatie te schrijven voor Akismet, een bewezen oplossing binnen de blog wereld. Probleem bij Akismet is echter de wachtrij, het kan een hele poos duren voordat het bericht er door is.

Daarom heb ik besloten zelf een spamfilter te schrijven, maar waar moet je dan beginnen? Ik heb voor mezelf een klein lijstje gemaakt waar een typische spam-post uit bestaat:

1. Er staan vaak 1 of meerdere links in.
2. Deze links worden op allerlei manieren ingevoegd in een bericht, bijv.: [url], <a>, [link], http://, of enkel www.
3. Men plaatst ze onder een valse, gegenereerde naam.
4. Hetzelfde geld voor de e-mailadressen.
5. De inhoud bestaat veelal uit dezelfde Engelse woorden.
6. Vaak worden ze geplaatst via proxies, om IP-blokkeringen te voorkomen.
7. Veelal wordt er maar wat gegist qua input velden.

Dit laatste punt vereist wat meer uitleg, het is zo dat elk formulier bestaat uit <input>-velden, deze hebben allemaal een name-attribuut waarop je ze in je code kunt aanspreken. Een spammer heeft echter vaak geen tijd/zin om uit te vogelen welke name-attributen je hebt meegegeven.

Wat hij daarop doet is simpel: Hij probeert zo veel mogelijk uit. Dus stuurt hij niet alleen een e-mailadres mee, maar ook een e-mail, email, mail, mailadres, emailadres, enz. In de hoop dat 1 van de velden geaccepteerd wordt.

De oplossing
Vervolgens ben ik voor elk punt bij langs gegaan hoe ik zo'n controle het eenvoudigst in code kon omzetten.

POST-velden
Om even bij het name-attribuut voorbeeld te blijven, dit is bijvoorbeeld simpel te controleren door te kijken of een poster niet meer velden opgeeft, dan je formulier uit bestaat:

<?php
if(count($_POST)>5){
    //Vermoedelijk spam, te veel POST-velden
}
?>

Hiermee controleer je dus of er niet meer dan 5 velden worden meegestuurd, in mijn project werd er een naam, e-mail, website en bericht meegestuurd. De geoefende rekenaar telt er hier maar 4, en dat klopt, want ook een Verzenden-knop telt mee in $_POST, waarmee we dus op 5 uitkomen.

Een geldig e-mailadres
Dan het volgende punt, controleren of een e-mailadres wel geldig is, alhoewel de meeste spammers hier wel aan denken, is het natuurlijk ook wel handig voor de bezoeker om hem te laten weten dat zijn e-mailadres niet juist is. Een simpele controle daarop luid:

<?php
if(!ereg('^[a-z0-9_\+-]+(\.[a-z0-9_\+-]+)*@[a-z0-9-]+(\.[a-z0-9-]+)*\.([a-z]{2,4})$',$_POST['email'])){
    //Het e-mailadres is ongeldig
}
?>

Ik ga er verder niet op in hoe deze zgn. regexp precies werkt, en neem voor het gemak aan dat het name-attribuut van je e-mail veld "email" heet.

Wat is de ratio van jouw naam?
Dan de naam, hoe controleer je nu of een naam "echt" of "nep" is? We zouden het bevolkingsregister kunnen raadplegen, maar omdat ik dan ruzie krijg met het CBP, zal ik hier een andere oplossing uitleggen.

Het is namelijk vrij simpel om de ernstige gevallen eruit te filteren, vaak lange willekeurige tekenreeksen zoals: YGaWqnXskCNidzp. Zelfs een kind van 6 ziet gelijk dat dit geen naam is, maar hoe leer je een computer dit?

De oplossing is wederom niet erg lastig; tel het aantal hoofdletters, het aantal kleine letters, en kijk wat de ratio ertussen is. Ik vind een ratio van 0.3 wel aardig klinken. Dat betekend dus 3 hoofdletters op 10 tekens, niets meer (maar wel minder).

Om te voorkomen dat onze geliefde "Jan" ineens wordt uitgesloten van reageren (immers, zijn naam kent een ratio van 0.33), controleren we ook of we voldoende naam hebben om te beoordelen. Laten we stellen dat men minimaal 8 letters moet hebben ingevuld om in aanmerking te komen voor onze razzia naar spam-namen.

<?php
$name = $_POST['name'];

$uppercased = preg_match_all('/[A-Z]/', $name, $null1);
$allcased = preg_match_all('/[A-Za-z]/', $name, $null2);
$namelen = strlen($name);

$ucratio = $uppercased/$allcased;
if($namelen > 8 && $ucratio > 0.3){
    //Waarschijnlijk een spam-naam
}
?>

Ik hoop dat de code voor zich spreekt, maar mocht er behoefte aan uitleg zijn, dan wil ik één en ander wel uitdiepen in de reacties.

Proxy-servers
Dan nu over op intercity-tempo, het controleren op proxy servers kan in PHP onder andere door:

<?php
if ((isset($_SERVER['HTTP_X_FORWARDED_FOR']) || isset($_SERVER['HTTP_VIA']) || isset($_SERVER['HTTP_COOKIE2']) || isset($_SERVER['HTTP_X_FORWARDED_SERVER']) || isset($_SERVER['HTTP_X_FORWARDED_HOST']) || isset($_SERVER['HTTP_MAX_FORWARDS']) || isset($_SERVER['HTTP_PROXY_CONNECTION']))){
    //Gebruiker gebruikt een proxy server
    $myscore += 5;
}
?>

Scores toekennen aan regels
De oplettende lezer spot gelijk "$myscore" (als je hem niet zag, en er problemen mee hebt: 0900-1450), hiermee ken ik dus een score toe aan een controle.

Zo kan ik stellen dat het hebben van een ongeldige naam, minder zwaar gerekend wordt dan het gebruik van een proxy server. Uiteindelijk kun je dan een drempelwaarde instellen waarboven een post als spam wordt aangemerkt. (Daaronder val je met de deur in huis, en staat je bericht direct online!)

De woordenfilter
Dan het belangrijkste onderdeel van onze spamfilter, de woordenfilter. Omdat we al met scores werken, lijkt het me handig om onderscheid te maken in 2 groepen: Hard-spam-woorden en Soft-spam-woorden (en ja, dat is redelijk vergelijkbaar met de classificatie in bepaalde natuurfilms).

Om te voorkomen dat ik straks heel populair ben in Google op deze spam-termen, heb ik een voorbeeld lijstje, wat ik gebruik, onder deze link geplaatst.

In mijn lijstje staan ook links onder de "hard"-classificatie, dit omdat ik voor het project heb gekozen gebruikers niet links te laten plaatsen in de comments, en dit ook duidelijk heb vermeld. Hiermee wordt al een hele hoop spam geweerd. En de gebruiker die graag zijn link wil zien, kan deze bij "website" invullen.

Vervolgens vullen we het lijstje aan met de volgende code:

<?php
$comments = $_POST['comments'];

foreach($spam_words_hard as $sw){
    if(strpos($comments,$sw) !== false){
        $myscore+=7;
    }
}

foreach($spam_words_soft as $sw){
    if(strpos($comments,$sw) !== false){
        $myscore+=3;
    }
}
?>

Hard krijg dus 7 punten, en soft 3 punten per woord. Een beetje spam bericht telt zo al lekker op, en ik ben in productie dan alleen op dit punt al scores boven de 50 tegengekomen.

Tot slot
Voor mensen die liever lui dan moe zijn, heb ik de door mij gebruikte functie online gezet op: dev.andrieslouw.nl/antispam.phps.

Een iets uitgebreidere versie van deze functie heeft tot nu toe in mijn project, een website met meer dan 12000 unieke bezoekers per maand, waaronder een 100-tal spambots, nog geen enkel spam-bericht doorgelaten (drempelwaarde van $myscore is bij mij 10).

Maar belangrijker is nog, dat de gebruikers er zelf geen last van ondervinden, de meesten merken niet eens op dat hun bericht door een filter gaat.

Ik wil iedereen wel van harte aanmoedigen om deze functie als basis te gebruiken, en niet zo maar in productie in te zetten. Het is natuurlijk aan jou om te bepalen wat er wel of niet met spam berichten gebeurd, welke woorden je filtert, welke score je toekent per onderdeel, en welke score je als drempelwaarde gebruikt.

Update: Ramon Fincken heeft een implementatie voor phpBB geschreven