小惡魔 - 電腦技術 - 工作筆記 - AppleBOY

How to install Gearman on Ubuntu or Debian with MySQL 安裝測試篇

appleboy — Thu, 13 Jun 2013 09:31:40 +0000

Gearman 可以在背景幫忙處理繁瑣的工作，例如壓縮影片、處理縮圖、發送認證信…等，這次不會提到太多 Gearman 介紹，如果想瞭解 Gearman 可以參考小鐵兄寫的 Gearman 心得，此篇會筆記如何在 Ubuntu or Debian 安裝 Gearman 搭配 MySQL 服務，當然如果你不是使用 MySQL，也可以另外搭配 Memcached 或 SQLite 都可以

Ubuntu or Debian 安裝

其實安裝方式很簡單，只需要透過 apt-get 指令就可以安裝完成

$ aptitude -y install gearman gearman-job-server libgearman-dev libdrizzle0

安裝完成後，在命令列打入 gearmand -V 檢查版本，會發現預設的版本非常的舊，但是沒關係，Ubuntu 可以透過 Package Repository 來安裝到最新版

$ add-apt-repository ppa:gearman-developers/ppa
$ aptitude -y update

但是在 Debian 7.0 版似乎起不了任何作用，裝起來版本真的很低，爽度不夠，所以最終解法還是要透過 tar 方式安裝，安裝過程一定會遇到一些沒安裝的 develop library，只要把相對應的套件安裝即可

$ aptitude -y install libboost-program-options-dev gperf libcloog-ppl0 libpq-dev libmemcached-dev libevent-dev
$ wget https://launchpad.net/libdrizzle/5.1/5.1.4/+download/libdrizzle-5.1.4.tar.gz -O /tmp/libdrizzle-5.1.4.tar.gz
$ wget https://launchpad.net/gearmand/1.2/1.1.8/+download/gearmand-1.1.8.tar.gz -O /tmp/gearmand-1.1.8.tar.gz
$ cd /tmp && tar xvfz libdrizzle-5.1.4.tar.gz && cd libdrizzle-5.1.4 && ./configure --prefix=/usr && make && make install
$ cd /tmp && tar xvfz gearmand-1.1.8.tar.gz && cd gearmand-1.1.8 && ./configure --prefix=/usr && make && make install

安裝完成後，直接打 gearmand -h

builtin:

libmemcached:
--libmemcached-servers arg List of Memcached servers to use.

Postgres:
--libpq-conninfo arg PostgreSQL connection information string.
--libpq-table arg (=queue) Table to use.

MySQL:
--mysql-host arg (=localhost) MySQL host.
--mysql-port arg (=3306) Port of server. (by default 3306)
--mysql-user arg MySQL user.
--mysql-password arg MySQL user password.
--mysql-db arg MySQL database.
--mysql-table arg (=gearman_queue) MySQL table name.

如果搭配 Mariadb 的話，請安裝 libmariadbclient-dev 才可以將 MySQL 功能編譯進去。從上面結果發現 Gearman 目前支援 libmemcached, Postgres, MySQL 串接方式，底下來一一介紹

搭配 memcached

Gearman 0.7 版本以上才支援，設定方式很簡單，開啟 /etc/default/gearman-job-server 找到底下字串

PARAMS="--listen=127.0.0.1"

改成

PARAMS="-q libmemcached --libmemcached-servers=localhost"

當然要先檢查系統有無啟動 memcached port 11211。重新啟動 gearmand

$ /etc/init.d/gearman-job-server restart

搭配 MySQL

設定前，請先將 Database 建立完成

$ mysql -u root -p -e 'CREATE DATABASE gearman;'

最後設定 /etc/default/gearman-job-server

PARAMS="-q mysql --mysql-host=localhost --mysql-user=xxxx --mysql-password=xxxxx--mysql-db=gearman --mysql-table=gearman_queue"

重新啟動後，Gearman 會在資料庫建立 gearman_queue 資料表

CREATE TABLE IF NOT EXISTS `gearman_queue` (
`unique_key` VARCHAR(64) DEFAULT NULL,
`function_name` VARCHAR(255) DEFAULT NULL,
`priority` INT(11) DEFAULT NULL,
`data` longblob,
`when_to_run` INT(11) DEFAULT NULL,
UNIQUE KEY `unique_key` (`unique_key`,`function_name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

嗯嗯，非常好，但是你會發現一個問題，都已經在搞 InnoDB 竟然沒有 primary key，所以這就請系統管理者幫忙建立上去。

測試資料

首先 Gearman 支援任何程式語言 (Shell, Perl, Node.js, PHP, Python, Java ..等)，先來介紹使用 PHP command line，請安裝 PHP Gearman API Extension

$ pecl install channel://pecl.php.net/gearman-1.1.0

建立 /etc/php5/cli/conf.d/gearman.ini，內容為

[gearman]
extension=gearman.so

重新啟動 php5 fpm

$ /etc/init.d/php5-fpm restart

用指令檢查

$ php -i | grep gearman
/etc/php5/cli/conf.d/gearman.ini,
gearman
gearman support => enabled
libgearman version => 1.1.8

撰寫 worker.php (copy from 小鐵部落格)

$worker = new GearmanWorker();
$worker->addServer(); // 預設為 localhost
$worker->addFunction('sendEmail', 'doSendEmail');
$worker->addFunction('resizeImage', 'doResizeImage');
while($worker->work()) {
sleep(1); // 無限迴圈，並讓 CPU 休息一下
}
function doSendEmail($job)
{
$data = unserialize($job->workload());
print_r($data);
sleep(3); // 模擬處理時間
echo "Email sending is done really.\n\n";
}
function doResizeImage($job)
{
$data = unserialize($job->workload());
print_r($data);
sleep(3); // 模擬處理時間
echo "Image resizing is really done.\n\n";
}

Client.php

$client = new GearmanClient();
$client->addServer(); // 預設為 localhost
$emailData = array(
'name' => 'web',
'email' => 'member@example.com',
);
$imageData = array(
'image' => '/var/www/pub/image/test.png',
);
$client->doBackground('sendEmail', serialize($emailData));
echo "Email sending is done.\n";
$client->doBackground('resizeImage', serialize($imageData));
echo "Image resizing is done.\n";

到這裡直接先執行 Client 程式，如果安裝的 Gearman 吐出底下訊息:

PHP Warning: GearmanClient::doBackground(): _client_run_tasks(GEARMAN_SERVER_ERROR) QUEUE_ERROR:QUEUE_ERROR -> libgearman/client.cc:1581 in /root/client.php on line 11

表示 Server 沒有產生 unique key，所以造成第二次新增 job 的時候產生衝突，解決方式很解單，在 doBackground，第三個參數加上 unique key

$client->doBackground('sendEmail', serialize($emailData), md5(uniqid(rand(), true)));

這樣就可以完整測試了。

Related View

JSDC 和 KSDG 影音紀錄 (淺談 GruntJS 整合開發工具)

appleboy — Tue, 11 Jun 2013 02:38:38 +0000

很高興今年在 JSDC 擔任講師，演講主題為『你不可不知的前端開發工具』，這場議程只有30分鐘可以講，時間實在是不太夠，要消化這麼多工具其實對於聽眾有點困難，真是對不起聽眾了，不過沒關係，高雄 KSDG 五月份邀請我講『打造團隊共同開發環境』，其實就是將 GruntJS 精華整個講一遍，大概有一個多小時，底下是官方影音，如果朋友們沒北上參加，也可以透過 JSDC Youtube 來欣賞。

JSDC 35分鐘議程

KSDG Web Course#3 如何打造前端開發環境 + workshop(1/3)

KSDG Web Course#3 如何打造前端開發環境 + workshop(2/3)

KSDG Web Course#3 如何打造前端開發環境 + workshop(3/3)

Related View

Nginx + phpMyAdmin 搭配 SSL 設定

appleboy — Sat, 08 Jun 2013 07:51:08 +0000

phpMyAdmin 是一套用來管理 MySQL 的 Web 介面，如果要讓 phpMyAdmin 強制走 https 的話，可以透過兩種方式，一種是直接設定 phpMyAdmin，另外一種方式是透過 Apache rewrite 或 Nginx 設定，底下來分別說明。

1. phpMyAdmin 設定

直接設定 config.inc.php，加入底下設定

$cfg['ForceSSL'] = true;

2. Nginx 或 Apache 設定

打開 Apache mod_rewrite 功能，將設定寫入 .htaccess

RewriteEngine On
RewriteCond %{SERVER_PORT} !^443$
RewriteRule ^/directory(.*)$ https://%{HTTP_HOST}/directory$1 [L,R]

或是使用 Nginx 設定，將 80 port 轉到 https，設定 443 port 的 SSL 憑證。

server {
listen 80;
server_name xxx.xxx.xxx.xxx;
rewrite ^ https://$server_name$request_uri? permanent;
}

server {
# listen 80 default_server deferred; # for Linux
# listen 80 default_server accept_filter=httpready; # for FreeBSD
#listen 80;

listen 443 ssl spdy;
ssl on;
ssl_certificate /etc/nginx/conf/api.ovoq.tv/server.crt;
ssl_certificate_key /etc/nginx/conf/api.ovoq.tv/ssl.key;
ssl_protocols SSLv3 TLSv1 TLSv1.1 TLSv1.2;
ssl_ciphers HIGH:!aNULL:!MD5;
ssl_session_cache shared:SSL:10m;
ssl_session_timeout 5m;

# The host name to respond to
server_name xxx.xxx.xxx.xxx;
}

上面 Nginx 設定完成後，會發現登入 phpMyAdmin 後，網址被轉成

http://xxx.xxx.xxx.xx:443

馬上看到網頁噴

the plain http request was sent to https port

看到這訊息，是 Nginx 產生的，error code 是 497，其實將此 error 導向正確的地方就可以了，在 Nginx 設定檔加入

error_page 497 https://$host$request_uri;

就可以解決此問題了。

Ref:
The plain HTTP request was sent to HTTPS port
Forcing SSL with phpMyAdmin

Related View

高雄 KSDG 分享: 打造團隊共同開發環境

appleboy — Sat, 25 May 2013 13:28:21 +0000

很高興受到高雄 KSDG 邀請，分享上禮拜在 JSDC 所介紹主題: 你不可不知的前端開發工具，在 JSDC 現場只有半小時可以講，這次在高雄有一個半小時可以講，如果想詳細了解前端工具，可以參考上禮拜的投影片，底下是在高雄軟體科技園區所分享。謝謝 Eric Bi 及工作人員可以讓我分享這次議題。

最後附上 Github 專案，歡迎大家 fork。

Related View

Flickr 改版及收費方式改變

appleboy — Tue, 21 May 2013 03:29:55 +0000

在癮科技看到 Flickr大改版，收費方式也有異動，Flickr 整個介面大改版，這個就算了，連收費方式也大改，本來 Pro 的用戶，以後不再有 Unlimited storage 的優惠了，等到 pro 帳戶到期，系統會將帳戶轉為 Free 機制，雖然容量有到 1TB 的空間，其實也用不太完，但是整個感覺非常不好。

Flickr 目前只有三種帳戶機制，Free, Ad Free, Doublr，三個差異沒有很多，Free 的帳戶幾乎同等於之前的 pro 帳戶，只是有容量限制上限 1TB，再來就是有廣告，接著 Ad Free 一年49美金，差別就是沒有廣告，最後 Doublr 只是容量變成 2TB，也沒有廣告，但是價錢 ….. 每年 499.9 美金 .. 這價位，真的還蠻高的，我想之後也不打算續約了。更多 FQA 可以參考 Free Accounts, Upgrading and Gifts

Related View

2013 Javascript Conference: 你不可不知的前端開發工具

appleboy — Sun, 19 May 2013 05:56:03 +0000

台灣第 2 屆 JavaScript 研討會在 5/18, 5/19 登場，今年報到率到 95% 了，我也給了一場 Talk，關於前端工具介紹，包含 CoffeeScript, Compass, Livereload, Bower Package Manager .. 等，最後介紹主軸 Grunt.js 來整合這些工具。

最後附上 Github 專案，歡迎大家 fork。

Related View

IE 6 瀏覽器用戶全球分佈

appleboy — Wed, 15 May 2013 06:21:51 +0000

此資料來自 The Internet Explorer 6 Countdown，大家注意上面圖示，沒想到台灣高居第二名，佔了 3.5% 僅次於大陸的 24%，大陸不感到意外，但是台灣的比例還真是高，難怪一堆程式開發者，抱怨連連 XD，這是統計到 2013 年 04 月，在這邊紀錄一下，等到明年這個時候再來看看此統計圖。

Related View

Backbone Routing pushState in IE

appleboy — Thu, 09 May 2013 05:26:58 +0000

Backbone.js 幫忙處理掉所有瀏覽器 Html5 History pushState 功能，除了 IE 9 以下(含 IE 9)不支援 history.pushState() 跟 history.replaceState()，其他 Browser 幾乎都支援了，在 Backbone.js 如何處理 URL 變化呢？以往透過 handle URL hash 來決定網頁要處理哪些資料，這也是 Backbone 預設的處理方式，範例如下

URL:

http://xxx/#!/user/list
http://xxx/#!/user/add

Backbone.Router.extend({
routes: {
"!/user/:action": "user"
},
initialize: function() {

},
user: function(action, id) {

}
});
Backbone.history.start();

上面方法是通解，在各種瀏覽器包含 IE 都適用，那如果是使用 history.pushState 請改成底下:

URL:

http://xxx/user/list
http://xxx/user/add

Backbone.Router.extend({
routes: {
"/user/:action": "user"
},
initialize: function() {

},
user: function(action, id) {

}
})
Backbone.history.start({pushState: true, root: '/'});

此作法在支援 html pushState 時候是可以按照您定義的 url 運作，但是在 IE 9 版本，網址就會被改成

URL:

http://xxx/#/user/list
http://xxx/#/user/add

一樣會被加上 hash 值，該如何解決此問題呢，請把 Backbone.history.start 改成

Backbone.history.start({pushState: true, hashChange: false, root: '/'});

設定 hashChange property 為 false，讓 IE 9 不要使用 # 來取代網址，這樣就沒問題了。

Related View

測試 Web Responsive Design Tool

appleboy — Fri, 03 May 2013 03:21:45 +0000

Web CSS Programer 在撰寫 Responsive CSS Style 時，手邊一定會有一堆 Device，來測試當畫面小於 480 px 或大於 768 px 時，呈現的版面是否有亂掉，公司也花費許多成本來測試，現在不需要這樣了，我們可以透過線上 Tool 或者是 Plugin 來測試 Responsive Web Page，首先來介紹 Viewport resizer，此工具用法很簡單，進入官網後，將官網 Javascript 連結加入到我的最愛或 bookmarks，之後打開您的測試網站，再點選該 bookmark，你會發現網站上面多了一條 tool bar，可以自訂或調整 view size，預設也給了平板手機等多種畫面調整，讓您測試 Media Queries 是否有錯誤。

另外一套 Tool 比較強大，那就是 Google Extension: Responsive Inspector (beta) released!，不過就是限制在 Google Chrome 瀏覽器才可以安裝，此擴充工具，還可以直接對應到 CSS Media Queries 位置，以及將自訂大小畫面存成圖檔並且上傳到 Server。底下是介紹影片

Related View

Install Nginx + spdy module on Ubuntu or Debian

appleboy — Tue, 30 Apr 2013 15:42:30 +0000

上一篇提到 nginx 1.4.0 釋出並支援 SPDY，教學環境是 CentOS，這次在 Ubuntu 環境編譯遇到

/usr/bin/ld: cannot find -lperl

找不到 perl library，解法可以透過 aptitude 安裝 libperl5.14，安裝好後，到 /usr/lib 底下找到 libperl.so.5.14.2，由於檔案命名關係，請用 ln 將檔案 link 成 libperl.so

$ ln -s libperl.so.5.14.2 libperl.so

接著可以正確編譯了，底下安裝相關套件

$ aptitude -y install libpcre3-dev libgd-dev libgd2-xpm-dev libgeoip-dev