print "title"

IndexTank - Real-time Search and Indexing System

noreply@blogger.com (Hasan Tayyar BESIK) — Sun, 06 May 2012 07:57:00 +0000

Linkedin epey bir sure IndexTank'i opensource yapmisti [1]. IndexTank opensource olmadan once ElasticSearch ile hayranlikla cokca zaman gecirmisitim. Ve su kadarini soyleyebilirim ikisini de search servisi olarak kullanan bir son kullanici olarak IndexTank'da daha iyi olan bir ozellik goremedim.

Ikisi de Apache Lucene uzerine calisiyor. Ancak IndexTank oldukca eski bir surumunu kullaniyor. Gercekten eski bir surum. Ayar dosyasinda 3.0 yaziyor [2] ki su anki Lucene cekirdegi surumu 3.6 [3].

ElasticSearch guide sayfasi [4] alisilagelmis bir dokumantasyon sayfasi gibi olmasa da oldukca ise yarayan egelenceli bir sayfa. ElasticSearh aktif bir mailliste de sahip. IndexTank icin yeterli bir community ve dokumantasyona ulasamadim. Cunku http://indextank.com/ sayfasi aktif degil uzun suredir. Sadece bir linkedin grup sayfasi var ve oldukca yetersiz.

Hemen kurup deneyebilirsin : https://github.com/linkedin/indextank-engine
Kendi performans testlerinizi kendiniz yapabilirsiniz ama tek makine uzerinde kiyaslama yapmak dogru olmayabilir. Cunku IndexTank cloud tabanli bir yapida basarisini kanitlamis bir sistem olarak tanitiliyor.

maven ile derlemeniz gerek. Yani eger sahip degilseniz once maven kurmalisiniz.

Indirdikten sonra

mvn compile package assembly:single

calistirmaniz yeterli artik "target/" altinda olusan jar dosyasini calistirabilirsiniz su sekilde

java -cp target/indextank-engine-1.0.0-jar-with-dependencies.jar com.flaptor.indextank.api.Launcher

Java, python, ruby ve php icin onerilen Api client'lar sunlar

Java: https://github.com/flaptor/indextank-java
Python: https://github.com/flaptor/indextank-py
Ruby: https://github.com/flaptor/indextank-rb
PHP: https://github.com/flaptor/indextank-php

Veri alisverisi yine json formatinda. github sayfasinda birkac ornek bulabililirsiniz.

1. "IndexTank is now open source!" : http://engineering.linkedin.com/open-source/indextank-now-open-source
2. https://github.com/linkedin/indextank-engine/blob/master/pom.xml#L19
3. Apache Lucene Releases : http://lucene.apache.org/core/downloads.html
4. ElasticSearch Guide : http://www.elasticsearch.org/guide/

sketchpad - processing.js ve etherpad birlesince

noreply@blogger.com (Hasan Tayyar BESIK) — Thu, 26 Apr 2012 20:05:00 +0000

processing.js ile web canvas ile animasyonlar yaparken etherpad destegi ile hem soyallik hem de ortak kodlamayi sagliyor. Profesyonel bir arac degil ancak processing.js'yi cok kullanan biriyseniz ayrica seveceksiniz.

http://sketchpad.cc

Galeriye de bir goaztin tabi
http://studio.sketchpad.cc/sp/padlist/all-portfolio-sketches

Kötü Mail ve Siteler Listem

noreply@blogger.com (Hasan Tayyar BESIK) — Wed, 25 Apr 2012 08:14:00 +0000

Bu listedikiler gerçekten kötü ve internetten yok edilmesi gerek. Sitelerinize üye alımlarda kesinlikle izin vermeyin. Özellikle google'ın şu duyurusundan sonra http://googlewebmastercentral.blogspot.com/2012/04/another-step-to-reward-high-quality.html

Close Mongo Connections!

noreply@blogger.com (Hasan Tayyar BESIK) — Wed, 28 Mar 2012 07:59:00 +0000

MongoDb makinemde mongostat ile baktığımda gördüğüm connection sayısı  500 civarındaydı.


faults locked % idx miss % conn
0 0.5 0 576
0 2.7 0 579
0 0.6 0 580
0 0.3 0 583
0 2.7 0 585
0 0.4 0 586

PHP tarafında sadece kapatmadığım mongodb bağlantılarını kapatarak bu sayının 30'a düştüğünü gördüm. Get performansında da beklediğim üzere büyük artış oldu.

Şu an da mongostat çıktısı

qr|qw ar|aw conn time
0|0 0|0 34 10:40:10
0|0 0|0 34 10:40:11
0|0 0|0 35 10:40:12
0|0 0|0 35 10:40:13
0|0 0|0 35 10:40:14

Movie recommendations and more via MapReduce and Scalding

noreply@blogger.com (Hasan Tayyar BESIK) — Wed, 07 Mar 2012 14:31:00 +0000

Scala gördüğüm en güzel map-reduce framewok.
Küçük bir örnek :
Movie recommendations and more via MapReduce and Scalding : http://disqus.com/forums/edwinchen/edwin_chens_blog_movie_recommendations_and_more_via_mapreduce_and_scalding_58/trackback/

İrdeleyin : https://github.com/twitter/scalding

Bu hafta radarima takilanlar - 3 link (httpie, gravity, arya)

noreply@blogger.com (Hasan Tayyar BESIK) — Wed, 29 Feb 2012 11:48:00 +0000

Bu hafat sunlar gozume carti ve inceledim

Python-powered HTTP CLI for humans : https://github.com/jkbr/httpie
Gravity unlocks the Interest Graph : http://www.gravity.com/
Mongodb Power web search index : https://github.com/SupermanScott/Arya
Optimizing Object IDs : http://www.mongodb.org/display/DOCS/Optimizing+Object+IDs

Derhal Macport'tan Hombrew'e Gecin

noreply@blogger.com (Hasan Tayyar BESIK) — Mon, 27 Feb 2012 21:27:00 +0000

Macports ile paket yonetmek degil paket karistirmak mumkun oluyor sadece.
Silmesi de ayri dert olabiliyor. Henuz Macports ile hic bir paket kurmasaniz da bir takim bagimliliklari yuzunden silinmeyebiliyor su sekilde bir "-f" parametresi ile force edebilirsiniz.

sudo port -f uninstall installed

Tamamen silinmesi icin

sudo rm -rf /Applications/DarwinPorts
sudo rm -rf /Applications/MacPorts
sudo rm -rf /Library/LaunchDaemons/org.macports.*
sudo rm -rf /Library/Receipts/DarwinPorts*.pkg
sudo rm -rf /Library/Receipts/MacPorts*.pkg
sudo rm -rf /Library/StartupItems/DarwinPortsStartup
sudo rm -rf /Library/Tcl/darwinports1.0
sudo rm -rf /Library/Tcl/macports1.0
sudo rm -rf ~/.macports

silmeli ve son olarak dikkatlice ve yedeklerinizi alarak!!!
sudo rm -rf /opt/local
de kalan dosyalari da silmeli

ve sonunda

Ardindan da derhal homebrew e merhaba
/usr/bin/ruby -e "$(curl -fsSL https://raw.github.com/gist/323731)"

Irdeleyin : https://github.com/mxcl/homebrew/wiki/installation

Sayfa Istatistiklerinde Neden MongoDb Kullanmali

noreply@blogger.com (Hasan Tayyar BESIK) — Sun, 26 Feb 2012 20:11:00 +0000

Istatistik verileri icin ihtiyaciniz olan sey hizli bir yazma islemi ve bolca disktir ;)

Disk konusunda kolay genisletilebilmesi ve distrubuted yapisinin kolay kontrol edilmesinin yani sira su uc madde yuzunden sayfa goruntuleme gibi istatistiklerinizi MongoDb'de kullanmaniz icin iki temel neden

select - edit - update seklinde bir kullanimdansa $inc ile tek islem yapmaniz yeterlidir. Tek baglanti tek islem tek update. Klasik yontemle de tek insert yaparak devasa buyuklukte gunluk loglar olusturabilirsiniz tabi ardindan bunlari islersiniz. Neden olmasin. Ancak mongodb $inc performansindan vazgecmek istemezsiniz.
write islemleri asenkron gerceklestiginden oldukca hizli gerceklesecektir ve loglama hizini dusurmeyecektir.

MongDb Disk Temizligi

noreply@blogger.com (Hasan Tayyar BESIK) — Sun, 19 Feb 2012 18:41:00 +0000

Ozellikle disk alaninizin neredeyse yarisini kaplayan bir veritabaniniz varsa collection sildiktan sonra mutlaka

db.repairDatabase()

calistirmayi unutmayin yoksa bos yere sildiginiz collection icin ayrilmis alan diskinizde yer kaplayacak.

Mevzu uzerine sunu da okuyun tabi http://www.mongodb.org/display/DOCS/Excessive+Disk+Space

David Zuelke : Large-Scale Data Processing With Hadoop and PHP

noreply@blogger.com (Hasan Tayyar BESIK) — Mon, 13 Feb 2012 23:28:00 +0000

Kabaca map reduce nedir sorusunu sorduysaniz once bu linkBu sunum da David Zuelke'nin son 6 aydir her konferansta sundugu ve benim de cok begendigim bir cirpida Hadoop-PHP sunumu : Large-Scale Data Processing With Hadoop and PHP (PHPBNL2012 2012-01-27)

View more presentations from David Zuelke

MongoDb ile Aşırı Disk Kullanımı ve Sonrasında Optimizasyon

noreply@blogger.com (Hasan Tayyar BESIK) — Mon, 13 Feb 2012 22:47:00 +0000

Senaryomuz su :

MongoDb diskiniz %88 doldu. Makineye yeni bir dik takamiyorsunuz. Gereksiz buyuk boyutlu collectionlar var ve siz bu gereksiz collection'lari sildiniz.
db.col1.drop()
db.col2.drop()
db.col3.drop()
Veri buyuklugunun neredeyse yaridan fazlasini sildiginizi dusunurken hala %88 doluluk orani sizi sasirtti zira mongodb bir takim disk ve indexleme performansi kurallari geregi sildiginiz datanin kapladigi alani diskte hala ayrilmis olarak tutar. Bunun icin collection'lari silmeden once bosaltip ardinddan db.col1.runCommand("compact") calistirmaniz gerekirdi ama artik silindi ve bunu calistirinca hata veriyor (ve tabiki ayni adda bos bir collection acip calistirmak anlamsiz olacaktir).

Bu durumda veri tabanina repair komutu vermek gerekecek ancak bu da kullanimda olan disk alanini kadar bos alana ihtiyaca ihtiyac duyacaktir ve hata verecektir. Bu durumda yapilmasi gereken sey (eger bir disk ekleyemiyorsaniz) elinizdeki var olan datasinin gercekte diskin yarisindan kucuk bir alana sigdigini dusundugunuz veritabanina :

1. db.copyDatabase("db1","db1back")
2. use db1
3. db.dropDatabase()
4. db.copyDatabase("db1back","db1")
5. use db1back
6. db.db1()

19G lik veri icin ortalama yarim saat surdugunu ve hakli olarak bu sirada gelen insert ve find komutlarina cevap vermedgini de ekleyim.

Ek olarak okunmalidir ki http://www.mongodb.org/display/DOCS/Excessive+Disk+Space

BOM is evil

noreply@blogger.com (Hasan Tayyar BESIK) — Mon, 13 Feb 2012 22:37:00 +0000

\ufeff olarak da kendini gosterebilir tabi. Baş gizli düşmanınızdır unutmayın derim.
Özellikle de bir çeşit api hizmeti veriyorsanız "utf8" i BOM'suz kaydedin aksi halde servisinizden faydalanacak olan istemciler size bolca invalid format hatasi bildirir (xml veya json).
Siz de çıktılarınızı doğru gönderdiginizi iddia edip hatanin kaynagini aradikca beyhude bir ugras isine girmis olursunuz.
Siz daima UT-8 kaydederken BOM'suz kaydedin

Konuyu irdeleyin
BOM : http://en.wikipedia.org/wiki/Byte_order_mark
Unicode : http://en.wikipedia.org/wiki/Unicode
UTF-8 : http://en.wikipedia.org/wiki/UTF-8

memcache-top

noreply@blogger.com (Hasan Tayyar BESIK) — Tue, 31 Jan 2012 14:30:00 +0000

Memecache sunucularının genel durumuna göz atmak için ufak bir script kullanmaya başladım. Çok "handy"
Zaten kendisine şöyle diyor : "perl command-line memcached stat reporter, top-like output"

Şuradan : http://code.google.com/p/memcache-top/

Şöyle kullanıyorum

memcache-top --sleep 1 --instances 192.168.200.151,192.168.200.152,192.168.200.153,192.168.200.154,192.168.200.157,192.168.200.158

INSTANCE USAGE HIT % CONN TIME EVICT/s READ/s WRITE/s
192.168.200.151:11211 89.1% 77.0% 31 1.0ms 0.0 213.3K
192.168.200.152:11211 89.0% 70.9% 33 1.0ms 0.0 198.5K
192.168.200.153:11211 88.7% 84.7% 24 1.0ms 0.0 171.4K
192.168.200.154:11211 59.6% 60.6% 39 0.9ms 0.0 196.7K
192.168.200.157:11211 87.9% 49.8% 53 0.8ms 4.0 243.7K
192.168.200.158:11211 88.4% 57.0% 29 0.8ms 0.0 176.4K

#mongotips 4 - list mongo collections and data sizes

noreply@blogger.com (Hasan Tayyar BESIK) — Sat, 07 Jan 2012 13:50:00 +0000

db.getCollectionNames().forEach( function(c){ size = db[c].stats().storageSize; print(db[c] + ' ' +size/1024/1024) } )

ile tek tek collection'lari ve boyutlarini listelemis olursunuz. Ama suna dikkat cekeyim; toplam boyut mongoDb dataninzin diskte kapladigi alani vermeyebilir. Ozellikle de cok fazla delete islemi yapmissaniz disk alani bosaltilmamis ancak ayrilmis olabilir. Bu sizi yaniltmasin. Bu kullanilmayan alanlari compact komutu ile optimize edebilirsiniz.

mongodb c++ driver on debian etch

noreply@blogger.com (Hasan Tayyar BESIK) — Fri, 06 Jan 2012 11:24:00 +0000

sudo scons
scons: Reading SConscript files ...
NameError: name 'AddOption' is not defined:

Eğer debian etch kullanıyorsanız "scons" ile mongodb driver kurulumu hatalar verecektir.
Çözüm için

1. scons son sürümünü inidirn http://www.scons.org/ ve kurun "make install"
2. libboost tüm paketlerini kurun " sudo apt-get install libboost* "

Google App Engine "Error 409" Hatası Çözümü

noreply@blogger.com (Hasan Tayyar BESIK) — Sun, 01 Jan 2012 05:21:00 +0000

Su hata ile karsilastim

Error 409: --- begin server output ---

Another transaction by user xxxx is already in progress for app: xxxx, version: 1. That user can undo the transaction with "appcfg rollback".

--- end server output ---

Aslinda zaten nasil cozebileceginiz cikitda yaziyor. Sadece appcfg'yi bulmaniz ve rollback komutu ile calistirmaniz gerek. Proje dizinin bir ust konumunda su sekilde calistirabilirsiniz :

python /usr/local/bin/appcfg.py -verbose --no_cookies --email=tayyar.besik@gmail.com --passin rollback xmpp-bot

Mongotips #3 distinct count

noreply@blogger.com (Hasan Tayyar BESIK) — Mon, 26 Dec 2011 08:34:00 +0000

bir alana göre unique count hesaplamak için uzun fonksiyonlar yazanları gördüm. Eğer alanınız indexlenmiş ise bence şöyle yapmanız daha kolay olurdu

db.operationsCollection.distinct("username").length;

Google Reader çok okuduklarım

noreply@blogger.com (Hasan Tayyar BESIK) — Tue, 20 Dec 2011 18:04:00 +0000

Subscription	# Read
Hacker News	1,761
TechCrunch	571
Mashable!	371
NYT > Science	296
The Next Web	293
NYT > Movies	255
9to5Google	216
Sosyal Medya	190
myNoSQL	140
Webrazzi	133

Mongotips #2 - Generate Unigrams in Mongo

noreply@blogger.com (Hasan Tayyar BESIK) — Wed, 30 Nov 2011 22:54:00 +0000

Stackoverflow'daki bu başlık özellikle mongo ve kelime-kelime kökleri üzerine çalışırken dikkatimi çekti :

Most efficient way to generate a list of Unigrams from a text field in MongoDB - Stack Overflow http://bit.ly/vNcEvU

Mongotips #1

noreply@blogger.com (Hasan Tayyar BESIK) — Mon, 21 Nov 2011 12:42:00 +0000

Try to use a single connection. Try to fetch data in a single query.
So try to strore all dependent fields in a document.

MongoDb : Delete from capped collections?

noreply@blogger.com (Hasan Tayyar BESIK) — Fri, 18 Nov 2011 08:32:00 +0000

MongoDb'de harika bir özellik olan "Capped Collections"[1] stream benzeri yapılar için birebir.
Capped Collections belirlenen boyutların dışına çıkıldığında otomatik olarak FIFO mantığıyla maximum boyutu koruyor, eski kayıtları atıyor.

Ancak bir sorun var; capped collection içerisinde silme ve güncellemem yapamıyorsunuz (boyut sabit kalırsa güncelleme yapılabiliyor aslında).

Silmek için ben de boyutu sabit tutarak dokumanın "flag" adında bir değirini "1" den "0" a değiştiriyorum.
Ancak dikkat etmeniz gereken değerin integer olmaması. Çünkü integer değer değişimi dokumanın boyutunu değiştiriyor. Ancak string "1" ile "0" dokumanda herhangi bir boyut değişimine neden olmaz.

Php ile güncelleme yapıyorsanız (string) ile cast edin.Eğer konsoldan deniyorsanız da tırnaklara dikkat edin. Tırnak ile güncelleyin.

db.stream.update({"_id" : ObjectId("4ec62adfc469885f7e000026")},{$set : {flag: "1"}})

Capped collectionlarda silme özelliğinin gelecek versiyonlar olabileceğini düşünüyorum aslında. Issue listte kabul edilmiş bir madde var ve duruyor [2].

1. Capped Collections : http://www.mongodb.org/display/DOCS/Capped+Collections
2. Issue : https://jira.mongodb.org/browse/SERVER-751

mongo statistics tool : mongostat

noreply@blogger.com (Hasan Tayyar BESIK) — Thu, 17 Nov 2011 13:20:00 +0000

Şunu da not edeyim mongodb /bin dizininde "mongostat" aracını kullanarak anlık olarak mongo istatistiklerini takip edebilirsiniz.

Size şu değerleri verecektir.

insert - # of inserts per second (* means replicated op)
query - # of queries per second
update - # of updates per second
delete - # of deletes per second
getmore - # of get mores (cursor batch) per second
command - # of commands per second (on a slave, it's local|replicated)
flushes - # of fsync flushes per second
mapped - amount of data mmaped (total data size) megabytes
vsize - virtual size of process in megabytes
res - resident size of process in megabytes
faults - # of pages faults/sec (linux only)
locked - percent of time in global write lock
idx miss - percent of btree page misses (sampled)
qr | qw - queue lengths for clients waiting (read|write)
ar | aw - active clients (read|write)
netIn - network traffic in - bits
netOut - network traffic out - bits
conn - number of open connections
set - replica set name
repl - replication type
M - master
SEC - secondary
REC - recovering
UNK - unknown
SLV - slave
RTR - router

http://www.mongodb.org/display/DOCS/mongostat

sphinx get's dirty

noreply@blogger.com (Hasan Tayyar BESIK) — Fri, 04 Nov 2011 23:17:00 +0000

Sphinx özellike main+delta seklinde calismalarda bazen indexlemeyi durdurabiliyor. Sonra baktığınızda index data dosyalarınız yerine sonuna '.new ve '.tmp'' eklenmiş hallerini gorebilirsiniz.
Tekrar indekslediğinizde başarılı bitebilir ama buyuk ihtimal ./search e query atayamayacaksiniz atsanizda eski gelecek.

Burada konuyla ilgili bug girilmiş
http://sphinxsearch.com/bugs/view.php?id=302

Bu durumla sık karsılasir oldum, ve karsilastigim zaman once searchd'yi kapatiyorum.
./searchd --stop
/opt/sphinx/var/log/searchd.pid dosyasini siliyorum. Bu sizde baska bir yerde olabilir veya olmayabilir, zira searcd kapanınca bu da silinmeli.

Ardından '.new' ve '.tmp' dosyalarini silip searchd yi tekrar baslatiyorum. Hepsi bu ancak can sıkıcı.

bazen olur 'pecl.php.net is using a unsupported protocol error'

noreply@blogger.com (Hasan Tayyar BESIK) — Wed, 02 Nov 2011 22:15:00 +0000

mongo pecl eklentisi kurarken aldım bu hatayı
“pecl.php.net is using a unsupported protocol” .

Aklıma ilk gelen pecl update-channels yapmak oldu ama işe yaramadı.

Fakat sonra biraz arayınca /usr/lib/php/.channels daki dosyaları silip tekrar pecl update-channels yapınca düzeldi.

Term Extraction with Yahoo Api

noreply@blogger.com (Hasan Tayyar BESIK) — Mon, 31 Oct 2011 15:20:00 +0000

Aslında bir kaç kez kapatıldı ve açıldı bu proje [1]. Şimdi günde ip başına 5.000 request sınırlama ile gayet güzel çalışıyor. Yahoo Term Extractor aslında temel amacı verdiğiniz bir metini etiketlemek.

Bir test yaptım 1000 karakterlik bir Türkçe metni 5000 defa gönderdim ve ortalama cevap süresi genellikle 0.5 sn ile 0.4 sn arasındaydı.

1. http://developer.yahoo.com/search/content/V1/termExtraction.html