print "title"

#mongotips 4 - list mongo collections and data sizes

noreply@blogger.com (Hasan Tayyar BESIK) — Sat, 07 Jan 2012 13:50:00 +0000

db.getCollectionNames().forEach( function(c){ size = db[c].stats().storageSize; print(db[c] + ' ' +size/1024/1024) } )

ile tek tek collection'lari ve boyutlarini listelemis olursunuz. Ama suna dikkat cekeyim; toplam boyut mongoDb dataninzin diskte kapladigi alani vermeyebilir. Ozellikle de cok fazla delete islemi yapmissaniz disk alani bosaltilmamis ancak ayrilmis olabilir. Bu sizi yaniltmasin. Bu kullanilmayan alanlari compact komutu ile optimize edebilirsiniz.

mongodb c++ driver on debian etch

noreply@blogger.com (Hasan Tayyar BESIK) — Fri, 06 Jan 2012 11:24:00 +0000

sudo scons
scons: Reading SConscript files ...
NameError: name 'AddOption' is not defined:

Eğer debian etch kullanıyorsanız "scons" ile mongodb driver kurulumu hatalar verecektir.
Çözüm için

1. scons son sürümünü inidirn http://www.scons.org/ ve kurun "make install"
2. libboost tüm paketlerini kurun " sudo apt-get install libboost* "

Google App Engine "Error 409" Hatası Çözümü

noreply@blogger.com (Hasan Tayyar BESIK) — Sun, 01 Jan 2012 05:21:00 +0000

Su hata ile karsilastim

Error 409: --- begin server output ---

Another transaction by user xxxx is already in progress for app: xxxx, version: 1. That user can undo the transaction with "appcfg rollback".

--- end server output ---

Aslinda zaten nasil cozebileceginiz cikitda yaziyor. Sadece appcfg'yi bulmaniz ve rollback komutu ile calistirmaniz gerek. Proje dizinin bir ust konumunda su sekilde calistirabilirsiniz :

python /usr/local/bin/appcfg.py -verbose --no_cookies --email=tayyar.besik@gmail.com --passin rollback xmpp-bot

Mongotips #3 distinct count

noreply@blogger.com (Hasan Tayyar BESIK) — Mon, 26 Dec 2011 08:34:00 +0000

bir alana göre unique count hesaplamak için uzun fonksiyonlar yazanları gördüm. Eğer alanınız indexlenmiş ise bence şöyle yapmanız daha kolay olurdu

db.operationsCollection.distinct("username").length;

Google Reader çok okuduklarım

noreply@blogger.com (Hasan Tayyar BESIK) — Tue, 20 Dec 2011 18:04:00 +0000

Subscription	# Read
Hacker News	1,761
TechCrunch	571
Mashable!	371
NYT > Science	296
The Next Web	293
NYT > Movies	255
9to5Google	216
Sosyal Medya	190
myNoSQL	140
Webrazzi	133

Mongotips #2 - Generate Unigrams in Mongo

noreply@blogger.com (Hasan Tayyar BESIK) — Wed, 30 Nov 2011 22:54:00 +0000

Stackoverflow'daki bu başlık özellikle mongo ve kelime-kelime kökleri üzerine çalışırken dikkatimi çekti :

Most efficient way to generate a list of Unigrams from a text field in MongoDB - Stack Overflow http://bit.ly/vNcEvU

Mongotips #1

noreply@blogger.com (Hasan Tayyar BESIK) — Mon, 21 Nov 2011 12:42:00 +0000

Try to use a single connection. Try to fetch data in a single query.
So try to strore all dependent fields in a document.

MongoDb : Delete from capped collections?

noreply@blogger.com (Hasan Tayyar BESIK) — Fri, 18 Nov 2011 08:32:00 +0000

MongoDb'de harika bir özellik olan "Capped Collections"[1] stream benzeri yapılar için birebir.
Capped Collections belirlenen boyutların dışına çıkıldığında otomatik olarak FIFO mantığıyla maximum boyutu koruyor, eski kayıtları atıyor.

Ancak bir sorun var; capped collection içerisinde silme ve güncellemem yapamıyorsunuz (boyut sabit kalırsa güncelleme yapılabiliyor aslında).

Silmek için ben de boyutu sabit tutarak dokumanın "flag" adında bir değirini "1" den "0" a değiştiriyorum.
Ancak dikkat etmeniz gereken değerin integer olmaması. Çünkü integer değer değişimi dokumanın boyutunu değiştiriyor. Ancak string "1" ile "0" dokumanda herhangi bir boyut değişimine neden olmaz.

Php ile güncelleme yapıyorsanız (string) ile cast edin.Eğer konsoldan deniyorsanız da tırnaklara dikkat edin. Tırnak ile güncelleyin.

db.stream.update({"_id" : ObjectId("4ec62adfc469885f7e000026")},{$set : {flag: "1"}})

Capped collectionlarda silme özelliğinin gelecek versiyonlar olabileceğini düşünüyorum aslında. Issue listte kabul edilmiş bir madde var ve duruyor [2].

1. Capped Collections : http://www.mongodb.org/display/DOCS/Capped+Collections
2. Issue : https://jira.mongodb.org/browse/SERVER-751

mongo statistics tool : mongostat

noreply@blogger.com (Hasan Tayyar BESIK) — Thu, 17 Nov 2011 13:20:00 +0000

Şunu da not edeyim mongodb /bin dizininde "mongostat" aracını kullanarak anlık olarak mongo istatistiklerini takip edebilirsiniz.

Size şu değerleri verecektir.

insert - # of inserts per second (* means replicated op)
query - # of queries per second
update - # of updates per second
delete - # of deletes per second
getmore - # of get mores (cursor batch) per second
command - # of commands per second (on a slave, it's local|replicated)
flushes - # of fsync flushes per second
mapped - amount of data mmaped (total data size) megabytes
vsize - virtual size of process in megabytes
res - resident size of process in megabytes
faults - # of pages faults/sec (linux only)
locked - percent of time in global write lock
idx miss - percent of btree page misses (sampled)
qr | qw - queue lengths for clients waiting (read|write)
ar | aw - active clients (read|write)
netIn - network traffic in - bits
netOut - network traffic out - bits
conn - number of open connections
set - replica set name
repl - replication type
M - master
SEC - secondary
REC - recovering
UNK - unknown
SLV - slave
RTR - router

http://www.mongodb.org/display/DOCS/mongostat

sphinx get's dirty

noreply@blogger.com (Hasan Tayyar BESIK) — Fri, 04 Nov 2011 23:17:00 +0000

Sphinx özellike main+delta seklinde calismalarda bazen indexlemeyi durdurabiliyor. Sonra baktığınızda index data dosyalarınız yerine sonuna '.new ve '.tmp'' eklenmiş hallerini gorebilirsiniz.
Tekrar indekslediğinizde başarılı bitebilir ama buyuk ihtimal ./search e query atayamayacaksiniz atsanizda eski gelecek.

Burada konuyla ilgili bug girilmiş
http://sphinxsearch.com/bugs/view.php?id=302

Bu durumla sık karsılasir oldum, ve karsilastigim zaman once searchd'yi kapatiyorum.
./searchd --stop
/opt/sphinx/var/log/searchd.pid dosyasini siliyorum. Bu sizde baska bir yerde olabilir veya olmayabilir, zira searcd kapanınca bu da silinmeli.

Ardından '.new' ve '.tmp' dosyalarini silip searchd yi tekrar baslatiyorum. Hepsi bu ancak can sıkıcı.

bazen olur 'pecl.php.net is using a unsupported protocol error'

noreply@blogger.com (Hasan Tayyar BESIK) — Wed, 02 Nov 2011 22:15:00 +0000

mongo pecl eklentisi kurarken aldım bu hatayı
“pecl.php.net is using a unsupported protocol” .

Aklıma ilk gelen pecl update-channels yapmak oldu ama işe yaramadı.

Fakat sonra biraz arayınca /usr/lib/php/.channels daki dosyaları silip tekrar pecl update-channels yapınca düzeldi.

Term Extraction with Yahoo Api

noreply@blogger.com (Hasan Tayyar BESIK) — Mon, 31 Oct 2011 15:20:00 +0000

Aslında bir kaç kez kapatıldı ve açıldı bu proje [1]. Şimdi günde ip başına 5.000 request sınırlama ile gayet güzel çalışıyor. Yahoo Term Extractor aslında temel amacı verdiğiniz bir metini etiketlemek.

Bir test yaptım 1000 karakterlik bir Türkçe metni 5000 defa gönderdim ve ortalama cevap süresi genellikle 0.5 sn ile 0.4 sn arasındaydı.

1. http://developer.yahoo.com/search/content/V1/termExtraction.html

ZendCon 2011 Notları I, Learning CouchDB - Bradley Holt

noreply@blogger.com (Hasan Tayyar BESIK) — Sun, 30 Oct 2011 09:34:00 +0000

İlgi çekici bir sunumdu. MongoDb varken CocuhDB kullanmaya başlayacağımı pek sanmıyorum [1] ancak yine de tanışmış olduk CouchDB ile.
Bradley Holt 1 saatlik sunumda [2] hem CouchDb'yi bizimle tanıştırdı hem de örnekler yaptı. Zaman kısa olduğundan kendi makinelerimize couchdb kurmaktansa http://www.iriscouch.com/ [3] üzerinden ücretsiz bir hesap açıp denemelerimizi oradan yaptık. Sunumdan aldığım notlar ile derlediğim ama henüz bitmemiş olan :) Türkçe sunumum aşağıda [4] :

1. Comparing MongoDB and CouchDB : http://www.mongodb.org/display/DOCS/Comparing+Mongo+DB+and+Couch+DB

2. Learning CouchDB - http://www.slideshare.net/bradley.holt/zendcon-2011-learning-couchdb

3. Iris Couch provides easy hosted CouchDB - http://www.iriscouch.com/

4. Sunuma doğrudan link : https://docs.google.com/presentation/pub?id=1xXQk0Jc8XqPHzO0sdb418U8OUgugFjYD0fhq-tTCbuQ&start=false&loop=false&delayms=15000

CouchDb'ye Hızlıca Bakın

noreply@blogger.com (Hasan Tayyar BESIK) — Thu, 20 Oct 2011 06:07:00 +0000

CouchDb merak edip şöyle bir bakmak ve denemek isterseniz hiç bir şey kurmadan iriscouch'dan [1] ücretsiz ve tatmin edici bir couchdb hizmeti alabileceğinizi unutmayin.

Tabi php+couchdb hızlı giriş klavuzu da faydalı olacaktır [2]
Ve bu geçen seneki ZendCon'dan alınan podcast de önerdiğim bir giriş klavuzu niteliğinde [3]

1. http://www.iriscouch.com/
2. http://www.slideshare.net/david.coallier/an-introduction-to-couchdb
3. http://devzone.zend.com/article/11583-The-ZendCon-Sessions-Episode-30-Introduction-to-CouchDB-with-PHP

Ancak şunu da belirteyim MongoDb varkan CouchDb'yi kullanacağımı hiç sanmıyorum.
Bu 'MongoDb vs CouchDb' en sevdiğim karşılaştırma
http://www.mongodb.org/display/DOCS/Comparing+Mongo+DB+and+Couch+DB

ZenCon 2011'de en sevdiğim sunum

noreply@blogger.com (Hasan Tayyar BESIK) — Wed, 19 Oct 2011 18:19:00 +0000

Az önce hadoop sunumundan çıktık. David Z. harika bir sunum hazırlamış.

Large-Scale Data Processing with Hadoop and PHP

Güzel bir demo ile noktalanan sunumun aynısı (ancak başka konferans için hazırlanmış olanı) şurada

http://t.co/w2HPgTMm

Neo4j auto-indexing

noreply@blogger.com (Hasan Tayyar BESIK) — Thu, 06 Oct 2011 13:34:00 +0000

Unutmayım diye not düşüyorum :

Neo4j kullanalı bir aç gün oluyor ve rest api ile eklediğim her node için indexleme işlemini gerçekleştirmem gerektiğini sanıyordum ki lucene tabanlı indexer'ına auto_index atmak mümkün olabiliyormuş.

Şöyleki conf/neo4j.properties configürasyon dosyasına şu tarılar eklenmeli ve neo4j tekrar çalıştırılmalı

node_keys_indexable=name,phone
relationship_keys_indexable=since
node_auto_indexing=true
relationship_auto_indexing=true

Ardından node_auto_index üzerinden search atılarbilir ama exact match olmalı. Ben bunu "select by property" amacıyla kullanıyorum.

Örneğin

http://localhost:7474/db/data/index/node/node_auto_index/fbid/999761223232

fbid bir propery ve exact match halinde ilgili node'u getirecektir.

Auto-indexing konusunda Rest api dokumantasyonu

http://docs.neo4j.org/chunked/milestone/rest-api-auto-indexes.html

The IMDB Api

noreply@blogger.com (Hasan Tayyar BESIK) — Fri, 30 Sep 2011 12:07:00 +0000

IMDB gibi bir data cevherinin api'sinin olmaması tam anlamıyla bir facia. Datalarını kullanmamız için sunduğu metot ise daha da çileden çıkarıcı http://www.imdb.com/interfaces#plain

Third party bir api olarak bunu [http://www.deanclatworthy.com/imdb/] buldum.
Şimdilik işe yarıyor ama ben şu an sadece api görevi görecek ve old school tekniklerle imdb search, movie, artist sayfalarından regexle data alacak bir class yapıp kendi üst apimi yapmayı düşünüyorum.

delicious apisi ile link tagliyorum

noreply@blogger.com (Hasan Tayyar BESIK) — Tue, 23 Aug 2011 07:44:00 +0000

delicious'un son durumunu bilmiyorum, kapanacak mı ne zaman kapanacak emin değilim ama elimdeki bazı linkleri onunla tagliyorum
Aşağıdaki official apisi bana bunu sağlıyor
http://feeds.delicious.com/v2/json/urlinfo/data?url=http://www.webrazzi.com

[
{
"hash":"b41ae64e2e80ba1806245c61179ad903",
"title":"Webrazzi",
"url":"http:\/\/www.webrazzi.com\/",
"total_posts":209,
"top_tags":
   {"blog":77,"web2.0":54,"internet":36,"web":33,"technology":29,"webrazzi":23,"news":19,"haber":17,"blogs":14,"webdesign":13}
}
]

Google Profanity ile istenmeyen kelime filtreleme meselesi

noreply@blogger.com (Hasan Tayyar BESIK) — Thu, 18 Aug 2011 11:29:00 +0000

wdyl.com açılalı epey oldu. wdyl altında bir basit servis ve google'ın resmi bir apisi olan profanity api ile bir kelimenin istenmeyen ifade olup olmadığını anlayabilirsiniz.
"xxx"
"porno"
gibi ifadeler

Kullanımı basit
http://www.wdyl.com/profanity?q=ankara
"q" parametresine kelimenizi verin "true" veya "false" alacaksınız. "true" olması istenmeyen bir kelime olması demektir.
örnek çıktı (json formatında veriyor)

http://www.wdyl.com/profanity?q=ankara
{"response": "false"}

http://www.wdyl.com/profanity?q=porno
{"response": "true"}

As Wade notes, a simple snippet of PHP code can be used with apps via a JSON call to query whether or not Google thinks any given text contains rude words.

meseleyi irdeleyin http://labs.phurix.net/posts/googles-official-profanity-api

ElasticSearch Geo Location Search

noreply@blogger.com (Hasan Tayyar BESIK) — Tue, 16 Aug 2011 12:19:00 +0000

Daha önce ElasticSearch kullanmaya başladığımdan ve gelişmiş bir kaç özelliğinden bahsetmiştim.

ElasticSearch gelişmiş filtrelemesi ile son derece performanslı olarak polygonal geo search ve distance calculation yapabildim. Aşağıdaki örnekte ayrıca "distance" parametresi verilerek ilgili uzaklıktaki nokta kayıtları da getirilebiliyor. Test için oluşturduğum ElasticSearch indexinde 300.000 rasgele nokta vardı. Sorgu hızını raporlamadım ancak genellikle 0.01 - 0.03 sn civarında cevap aldım. ElasticSearch kurlu makineye ram'i az ayırdığımdan cevap süresi biraz uzamış oldu. Genel oalrak performansını sevdim ancak. Location bazlı aramalar için de ideal bir search engine.

{
    "filtered" : {
        "query" : {
            "match_all" : {}
        },
        "filter" : {
            "geo_polygon" : {
                "place.location" : {
                    "points" : [
                        {"lat" : 40, "lon" : -70},
                        {"lat" : 30, "lon" : -80},
                        {"lat" : 20, "lon" : -90}
                    ]
                }
            }
        }
    }
}

Meseleyi irdeleyin
http://www.elasticsearch.org/guide/
http://www.elasticsearch.org/blog/2010/08/16/geo_location_and_search.html

ElasticSearch advanced search

noreply@blogger.com (Hasan Tayyar BESIK) — Fri, 12 Aug 2011 07:59:00 +0000

ElasticSearch search engine olarak hala gözümde son derece esnek ve hızlı. Benzer içerikleri veya duplicate içerikleri bulmak için de gayet hızlı bir tool olarak kullanıyorum.

ElasticSearch ileri düzey filtreme teknikleri var bunlardan birisi de FLT (Fuzzy Like This Query) . İleri düzey çünkü zaten var olan More Like This filtresinin Levenstain ile geliştirilmiş hali gibi.

Text verileriniz içinde benzer olanları veya duplicate olanları bulmak için oldukça ideal.

Örnek bir sorgu

 {

"fuzzy_like_this" :

  {

    "fields" : ["blog.title", "blog.tags"],

    "like_text" : "futbol ve sinema hakkında",

    "max_query_terms" : 20, "min_similarity" : 0.5

  }

}

Meseleyi irdeleyin :

http://www.elasticsearch.org/guide/reference/query-dsl/flt-query.html
http://www.elasticsearch.org/guide/reference/query-dsl/mlt-query.html

error: Setup script exited with error: command 'gcc' failed with exit status 1

noreply@blogger.com (Hasan Tayyar BESIK) — Thu, 11 Aug 2011 10:34:00 +0000

python modülleri kurarken, derlerken bu hata sıkça çıkabilir

error: Setup script exited with error: command 'gcc' failed with exit status 1

Bu durumda

sudo apt-get install python-dev

python-dev kurmanız gerekmekte.

TOR force renew ip

noreply@blogger.com (Hasan Tayyar BESIK) — Wed, 10 Aug 2011 13:35:00 +0000

TOR kullanırken ip adresimi tekrar yenileme ihtiyacım oldu.
İlk önce terminalden tor'un bendeki portu olan 9500 portuna bağlanıp burada bahsedildiği gibi newnym komutu gönderdim. Bu ip adresimi yenilemeye yetmedi. Tek yapmam gereken toru yeniden başlatacak bir bash script dosyası yazmaktı aslında :

sudo /etc/init.d/tor restart

Yeniden başlatmanız yeni ip almanız için yeterli.

Telnet ile bağlanıp yenile komutu göndermek için önce torrc dosyanızı düzenlemelisiniz.

sudo vi /etc/tor/torrc

dosyada bu satırı bulun ve başındaki "#" işaretini kaldırın

#ControlPort 9051

Artık telnet ile bağlanabilir ve yenile diyebilirsiniz.



telnet 127.0.0.1 9051

AUTHENTICATE

signal NEWNYM

quit

veya bunu bir sh dosyasına yazar ve öyle çalıştırısınız şöyleki



 #!/usr/bin/expect -f

# telnet into tor and get clean path using expect



spawn telnet 127.0.0.1 9051

expect "Escape character is '^]'."

send "AUTHENTICATE\r"

expect "250 OK"

send "signal NEWNYM\r"

expect "250 OK"

send "quit\r"

Konuyu irdeleyin https://trac.torproject.org/projects/tor/wiki

Çalınan JSTOR dökümanlarından çıkan istatistiksel veriler ile ne yapılır

noreply@blogger.com (Hasan Tayyar BESIK) — Sat, 30 Jul 2011 14:13:00 +0000

Geçen haftalarda 18,592 JSTOR makalesi "çalınmıştı" ve bir çok torrent listesinde yerini almıştı. Bu kadar fazla dokuman kitlesini ustelikte duzensiz bir sekilde paketlenmis bir kalabalıgı indirmek kimin işine yarar diye ben de düsünmedim degil. Tabi olayın özünde 'bilimsel calismalar satılamaz' ilkesi vardi.

Ancak mkrecny bunlarla güzel bir istatistik çıkarmış.

Ortalama cümle uzunluğu daha kısa olan dokümanlar daha fazla alıntılanmış.
Daha az unique kelime içeren dokümanlar daha fazla alıntılanmış.
Daha fazla alfadebik olmayan semboller içeren (rakamlar dahil) dokumanlar daha fazla alıntılanmış.

meseleyi irdeleyin : mkrecny.com/entry/15/

Google Suggest Api

noreply@blogger.com (Hasan Tayyar BESIK) — Tue, 05 Jul 2011 06:57:00 +0000

Aslında official olarak bir api değil.
Şu şekilde epey kullandım
http://www.google.com/complete/search?hl=tr&client=suggest&js=true&q=test

hl parametresi dil ayarıdır.

Bir kaç gündür test ediyorum ve fark sanırım bir gün için bir ip'ye 50.000 sorgu kadar limit verilmiş. Çünkü artık 403 hatası vermeye başladı.

Ayrıca Yahoo suggest de var o ise günlük bir IP'ye 5.000 sorgu limiti veriyor ve google kadar güzel sonuclar vermiyor