Tsung's Blog

Key-Value 系統分類整理 (NoSQL)

jon — Fri, 06 Nov 2009 20:24:11 +0800

一般使用的 DB 統稱是 RDBMS(MSSQL、MySQL ... 等), 現在因為雲端運算的興起, Key-Value 的系統也漸漸紅了起來, 那到底有哪些 Key-Value system 可以用呢?

此篇文章 A Yes for a NoSQL Taxonomy 主要是這篇 NoSQL is a Horseless Carriage 簡報的整理.

此簡報將 Key-Value 的系統分成幾個類別, 並將這些資料整理出來. (下述內容主要取自簡報, 另外補上連結和簡介.)

註: 下述連結有可能有誤, 有些系統不熟, 若有錯誤麻煩請隨時糾正我. orz.

Key-Value 系統分類列表

key‐value‐cache: memcached, repcached, coherence, infinispan, eXtreme scale, jboss cache, velocity, terracoqa
- memcached: a distributed memory object caching system
- repcached - add data replication feature to memcached
- Oracle Coherence
- INFINISPAN - Open Source Data Grids - JBoss Community
- WebSphere eXtreme Scale
- JBoss Cache
- Apache Velocity Site - The Apache Velocity Project
- Terracotta: Simple Scale for Enterprise Java
key‐value‐store: keyspace, flare, schema‐free, RAMCloud
- Scalien - Keyspace
- Flare | Data Visualization for the Web
- schema‐free
- RAMCloud Project - Confluence
eventually‐consistent key‐value‐store: dynamo, voldemort, Dynomite, SubRecord, Mo8onDb, Dovetaildb
- Dynamo: Amazon's Highly Available Key-value Store
- Project Voldemort
- Dynomite - GitHub
- SubRecord - Storage in the cloud
- Mo8onDb - ?
- Dovetaildb - DovetailDB is a schemaless, JSON-based database. It is similar in spirit to Amazon's SimpleDB, but allows for javascript to be executed on the server, and, within that context, provides full transaction support.
ordered‐key‐value‐store: tokyo tyrant, lightcloud, NMDB, luxio, memcachedb, actord
- Tokyo Tyrant: network interface of Tokyo Cabinet
- LightCloud - Distributed and persistent key value database (Plurk Open Source)
- nmdb - A multiprotocol network database
- Lux IO - Yet Another Fast Database Manager
- memcachedb - A distributed key-value storage system designed for persistent.
- actord - Memcached implementation for the JVM in Scala. Uses treaps for in memory storage. Treap per cpu for better throughput. Allows for disk storage as well. speak memached protocol.
data‐structures server: redis
- redis - A persistent key-value database with built-in net interface written in ANSI-C for Posix systems
tuple‐store: gigaspaces, coord, apache river
- GigaSpaces Blog
- Coord - An Open Source Project for Large-Scale Data Analysis
- Apache River
object database: ZopeDB, db4o, Shoal
- ZopeDB - Zope Object Database
- db4o :: Java & .NET Object Database – Open Source Object Database, Open Source Persistence, Oodb
- Shoal - ?
document store: CouchDB, Mongo, Jackrabbit, XML Databases, ThruDB, CloudKit, Perservere, Riak Basho, Scalaris
- CouchDB - Apache CouchDB: The CouchDB Project
- Mongo
- Jackrabbit - Welcome to Apache Jackrabbit
- XML Databases
- ThruDB - Document Oriented Database Services
- CloudKit - An Open Web JSON Appliance
- Persevere: The JSON database and JavaScript application server
- Riak Basho - A Decentralized Database
- Scalaris - Scalaris is a distributed key-value store
wide columnar store: BigTable, Hbase, Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI
Bigtable: A Distributed Storage System for Structured Data
Hbase
Cassandra Project
Hypertable: An Open Source, High Performance, Scalable Database
KAI - ?
OpenNeptune - Distributed Structured Data Storage
Qbase - ?
KDI - ?

Apache2 mod_rewirte 於 %2F 的 Bug 修復

jon — Thu, 05 Nov 2009 22:48:06 +0800

現在大家都喜歡使用 /user/add, /user/list, /user/del ... 等等的網址, 若要於 Apache2 實現, 可以使用 mod_rewrite 實作.

但是 Apache2 的 mod_rewrite (RewriteRule) 在遇到 %2F 時, 於解析結果會和想像中的不同(%2F = /).

Apache2 設定

Apache2 設定如下述

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteRule ^/s/(.*)$ /s?p=$1&%{QUERY_STRING} [PT,L]
RewriteRule ^/s$ /s?%{QUERY_STRING} [PT,L]
</IfModule>

依此設定說明: /s/xxx 等同於連到 /s.php?p=xxx (/s/xxx = /s.php?p=xxx)

範例

http://example.com/s/中文%2F測試 => 查不到結果(直接 404 Not Found 錯誤)
http://example.com/s/中文/測試 => 有結果
中文%2F測試預期應該收到 p=中文/測試, 但是收不到任何結果, 而且是直接出現 404 Not Found 的錯誤.

解法

於此篇找到解法: Hack for the encoding of a URL into another URL problem with Apache and mod_rewrite

解法1

於 urlencode 後, 把 "%2F"另外取代回 "/", 把這個直接包成另外一個 Function.

function url_encode($url) { return str_replace("%2F", "/", urlencode($url)); }

解法2

於上篇的留言中查到

If you have Apache >= 2.0.46, you can use the core directive
"AllowEncodedSlashes On" to allow %2F in urls

於 Apache2 設定檔中加入 AllowEncodedSlashes On 即可, 範例如下: (Apache2 版本要大於 2.0.46)

AllowEncodedSlashes On
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteRule ^/s/(.*)$ /s?p=$1&%{QUERY_STRING} [PT,L]
RewriteRule ^/s$ /s?%{QUERY_STRING} [PT,L]
</IfModule>

目前我是用解法2 來解決囉~ :)

好書: Linux Performance Monitoring 下載 (電子書)

jon — Wed, 04 Nov 2009 20:14:54 +0800

Linux 效能調校與監控、監看, 該如何做、如何看?

此書有介紹下述命令該如何觀看.

vmstat
mpstat
sar
iostat
netstat
dstat
iptraf
netperf
ethtool
iperf
tcptrace

詳細可見: Linux Performance Monitoring.chm 下載備份

筆記

ps 透過 psr 可以看到 Process 佔用哪個 CPU

while :; do ps -eo pid,ni,pri,pcpu,psr,comm | grep 'apache'; sleep 1; done # 看 Aaache
while :; do ps -eo pid,ni,pri,pcpu,psr,comm | grep 'mysql'; sleep 1; done # 看 MySQL

寫入 Bash alias

vim .bashrc # 加入下述

alias apachemon='while :; do ps -eo pid,ni,pri,pcpu,psr,comm | grep "apache"; sleep 1; done';
alias mysqlmon='while :; do ps -eo pid,ni,pri,pcpu,psr,comm | grep "mysql"; sleep 1; done';
使用 apachemon, mysqlmon 即可看 Process 對 CPU 的使用狀況.

好文: 你知道你家有什麼東西最耗電嗎?

jon — Tue, 03 Nov 2009 21:49:31 +0800

這篇文章蠻常跟人提起的, 但是每次都要花點時間找, 寫起來比較快~ :)

現在電價 + 環保 + 節能的時代, 要怎麼省電、省錢, 除了本身開的在耗電外, 沒拔插頭的耗電狀況要如何查看?

此篇文章的作者使用電力省電監測器測量常用的電器, 如: 電腦、烤麵包機、大同電鍋... 等等.

最讓我意外的是大同電鍋在沒有使用時, 所耗的電量還不少, 其它還有電腦硬碟在運轉時、拷貝資料時所耗費的電力數據等等.

文章詳細可見: 你知道你家有什麼東西最耗電嗎 - Mobile01

Mplayer 開啟全螢幕會卡住無法播放修正

jon — Mon, 02 Nov 2009 11:03:39 +0800

升級完 Ubuntu Linux 9.10 後, mplayer 開全螢幕看影片時就會卡住.(影片於小視窗都正常, 只要按 f 切到全螢幕, 就會卡住無法播放)

剛開始以為 codecs 有問題, 但是換過都沒有用.

錯誤訊息

Error: /usr/lib/codecs/drvc.bundle/Contents/MacOS/drvc: cannot open shared object file: No such file or directory Win32 LoadLibrary failed to load: drvc.bundle/Contents/MacOS/drvc, /usr/lib/codecs/drvc.bundle/Contents/MacOS/drvc, /usr/lib/win32/drvc.bundle/Contents/MacOS/drvc, /usr/local/lib/win32/drvc.bundle/Contents/MacOS/drvc Error loading dll

解法

於 Shell 執行: chcon -t textrel_shlib_t /usr/lib/codecs/drv*so* 即可.(chcon - change file security context)
參考自: 如何讓mplayer撥rm檔? 如何移除軟體才乾淨?

Ubuntu 9.04 升級到 9.10 Karmic Koala

jon — Fri, 30 Oct 2009 20:20:22 +0800

昨天還沒正式釋出就直接升級 9.04 -> 9.10, 升級還算順利~ :)

自從 Ubuntu 9.10 釋出的消息出來後, 今天 apt-get upgrade 都會出現 timeout 的現象. XD

升級方式

升級方式: sudo update-manager -d
按下升級即可

Ubuntu 9.10 下載

官方網站: Ubuntu Home Page | Ubuntu
正體中文官方網站: Ubuntu 正體中文站
現在若想抓 DVD ISO 光碟, 建議使用 BT 來下載, 詳細可見: Ubuntu 9.10 DVD ISO BitTorrent Files

Ubuntu One

Ubuntu 9.10 除了系統更新外, 另外主推得是 Ubuntu One(線上硬碟), 類似 Dropbox, 但是整合應該會更完整. (Free 2GB, 每月付 $10 美金, 可升級到 50GB)

官方網站: Ubuntu One : Home (註冊, 線上操作)
關於 Ubuntu One 的使用 / 操作 / 軟體下載 / 安裝 / 教學, 可見: UbuntuOne/Tutorials/FileSharing - Ubuntu Wiki

升級問題修正

升級算是很不錯, 只是踩到一點小地雷.

在升級完成後, 整個桌面亂到不行 (我的桌面一直都是空的), 原因是把 /home/user 所有資料都搬到桌面上來, 可能是 "Desktop -> 桌面" 這些在做設定轉換時, 出了點小問題, 只要修正即可.

修正方式

vim ~/.config/user-dirs.dirs # 會看到下述, 若英文會看到 Desktop, Music .. 等
XDG_DESKTOP_DIR="$HOME"
XDG_DOWNLOAD_DIR="$HOME/桌面"
XDG_TEMPLATES_DIR="$HOME/模板"
XDG_PUBLICSHARE_DIR="$HOME/公共"
XDG_DOCUMENTS_DIR="$HOME/文件"
XDG_MUSIC_DIR="$HOME/音樂"
XDG_PICTURES_DIR="$HOME/圖片"
XDG_VIDEOS_DIR="$HOME/影片"
修改成
XDG_DESKTOP_DIR="$HOME/桌面" # 或 $HOME/Desktop
XDG_DOWNLOAD_DIR="$HOME/桌面"
XDG_TEMPLATES_DIR="$HOME/模板"
XDG_PUBLICSHARE_DIR="$HOME/公共"
XDG_DOCUMENTS_DIR="$HOME/文件"
XDG_MUSIC_DIR="$HOME/音樂"
XDG_PICTURES_DIR="$HOME/圖片"
XDG_VIDEOS_DIR="$HOME/影片"
執行更新: xdg-user-dirs-update
登出再登入即可
註: 若 Desktop 或桌面資料夾不存在, 記得 mkdir /home/user/Desktop

另外輸入法改成 ibus, 感謝 AceLan 的指導, 之後在整理如何新增其他輸入法. :P

使用 YUI Compressor 壓縮 CSS / JavaScript

jon — Thu, 29 Oct 2009 20:27:54 +0800

使用 Yahoo! 提供的 YUI Compressor 來壓縮(Minify) JavaScript 和 CSS.

註: 此文件操作環境於 Ubuntu / Debian Linux.

官方文件

官方網頁: YUI Compressor - YUI Compressor - The Yahoo! JavaScript and CSS Compressor
說明文件: YUI Compressor README

環境設定

安裝 Java 執行環境: apt-get install sun-java6-jre
下載 yuicompressor-2.4.2.zip
unzip yuicompressor-2.4.2.zip

壓縮 JavaScript

java -jar yuicompressor-x.y.z.jar myfile.js -o myfile-min.js --charset utf-8 --type js

壓縮 CSS

java -jar yuicompressor-x.y.z.jar myfile.css -o myfile-min.css --charset utf-8 --type css

範例

# 不用輸入 --type js / css, yuicompressor 依照檔名也會自動判斷.
java -jar yuicompressor-2.4.2.jar myfile.js -o myfile-min.js --charset utf-8 --preserve-semi # 保留分號(--preserve-semi)
java -jar yuicompressor-2.4.2.jar myfile.css -o myfile-min.css --charset utf-8

參數說明

Usage: java -jar yuicompressor-x.y.z.jar [options] [input file]

Global Options
-h, --help                Displays this information
--type <js|css>           Specifies the type of the input file
--charset <charset>       Read the input file using <charset>
--line-break <column>     Insert a line break after the specified column number
-v, --verbose             Display informational messages and warnings
-o <file>                 Place the output into <file>. Defaults to stdout.

JavaScript Options
--nomunge                 Minify only, do not obfuscate
--preserve-semi           Preserve all semicolons
--disable-optimizations   Disable all micro optimizations

Debian / Ubuntu Linux 使用 MAN 查看 C Library

jon — Wed, 28 Oct 2009 21:26:09 +0800

於 Debian / Ubuntu Linux 要使用 MAN 直接查 C 的函式庫、程式範例, 安裝 manpages-dev 即可查詢.

安裝

apt-get install manpages-dev

查詢

列出此 Function 詳細說明與範例

man 3 <function>
範例: man 3 printf

列出與此字有關的 Function

man -k <keyword>
範例: man -k printf
asprintf (3)         - print to allocated string
dprintf (3)          - print to a file descriptor
fprintf (3)          - formatted output conversion
fwprintf (3)         - formatted wide-character output conversion
printf (1)           - format and print data
printf (3)           - formatted output conversion
snprintf (3)         - formatted output conversion
sprintf (3)          - formatted output conversion
swprintf (3)         - formatted wide-character output conversion
vasprintf (3)        - print to allocated string
vdprintf (3)         - print to a file descriptor
vfprintf (3)         - formatted output conversion
vfwprintf (3)        - formatted wide-character output conversion
vprintf (3)          - formatted output conversion
vsnprintf (3)        - formatted output conversion
vsprintf (3)         - formatted output conversion
vswprintf (3)        - formatted wide-character output conversion
vwprintf (3)         - formatted wide-character output conversion
wprintf (3)          - formatted wide-character output conversion

列出 MAN 文件位置

man -wa <function>
範例: man -wa printf
/usr/share/man/man1/printf.1.gz
/usr/share/man/man3/printf.3.gz

PHP 使用 SimpleXML 來解析 XML 內容、屬性

jon — Tue, 27 Oct 2009 21:59:24 +0800

PHP 可以使用 simplexml_load_string、simplexml_load_file 來解析 XML, 以取得內容.

程式與 XML 內容

<?php $string = <<<XML <?xml version='1.0'?> <document responsecode="200"> <result count="10" start="0" totalhits="133047950"> <title>Test</title> <from>Jon</from> <to>Tsung</to> </result> </document> XML; $xml = simplexml_load_string($string); print_r($xml); ?>

XML 解析的內容會回傳一個物件

SimpleXMLElement Object ( [@attributes] => Array ( [responsecode] => 200 ) [result] => SimpleXMLElement Object ( [@attributes] => Array ( [count] => 10 [start] => 0 [totalhits] => 13304 ) [title] => Test [from] => Jon [to] => Tsung ) )

如何取用此物件回傳的值

取得 result 下的 title

$xml->result->title; // Test (object)
建議: (string)$xml->result->title; // 強迫轉換成字串

取得屬性的值(@attributes)

$xml->result->attributes()->totalhits; // 13304 (object), 一樣建議於前面加 (string)
或
$result_attr = $xml->result->attributes();
$result_attr['totalhits']; // 13304 (object), 一樣建議於前面加 (string)

使用整個螢幕來顯示輸入的文字(Linux)

jon — Mon, 26 Oct 2009 21:29:40 +0800

於 Debian / Ubuntu Linux 要全螢幕的輸入文字讓大家看(特別適用於 Demo), 可以使用 sm 來達成.

詳細可見: sm - Displays a short text fullscreen

安裝與使用

apt-get install sm # 安裝
sm # 執行

即可於全螢幕顯示輸入的內容, Esc 可清除畫面 & 結束.