すでにたくさんの資料が出回っていることを踏まえ違う切り口でまとめてみます（少々乱暴な部分もあるので、後で ADVANCED も見て下さい）。

まず、以下はそれぞれだいたい同じものと考えていいです。

• A： 文字列、 ユニコード（Unicode）、 utf8フラグ付き、 wide character、 decode()されたもの、 "x{3042}" 表記、 use utf8;されたスコープに UTF-8 で書かれた 'あ'
• B： バイト列、 バイトストリーム、 オクテット、 フラグなし、 普通に書かれた（もしくは use bytes; スコープでの）'あ'

混同しやすいのは、上記 A 郡と「UTF-8」が別物という点です。UTF-8 とは Shift_JIS や EUC-JP と同じ、バイトの並び順の仕様（エンコーディング）で、Unicode を表す方法の一つです。

Perl は Unicode を保持する際内部で付けているフラグを（UTF-8 を使っているため）「utf8」フラグと呼んでおり、一般向けの説明でもその表現なので少々ややこしいです。

文字処理の基本

Encode の decode()/encode() を使います。

use Encode;

# 入力はバイト列。以下は例で、euc-jp エンコーディングでの「ああ」 
my $input = "xa4xa2xa4xa2";

warn length $text; # => 4 (バイト長。2バイト×2文字で4バイト)

# (1) まず該当エンコーディングで decode() する
my $text = decode('euc-jp', $input);

# (2) Unicode になったものを文字として好きに処理する
warn length $text; # => 2 (文字長。2文字)

# (3) 外部へは好きなエンコーディングで encode() して出す
print encode('utf-8', $text); # => xe3x81x82xe3x81x82

上記例の $input と $text は意味的には同じ「ああ」ですが、前者はバイト列・後者は文字列です。最後 print() で出す時にまたバイト列にしています。

たとえ入力が UTF-8 な文字だったとしても、そのままでは「UTF-8 で並んだバイト列」にすぎませんので、decode('utf-8', $input); して Unicode にする必要があります。

よくある入出力

具体的な入出力の場面でどう decode()/encode() するのか見てみます。

ファイル読み書き

use Encode;
open(my $fh, '<', 'text.txt') or die $!;
while (<$fh>) {
    my $line = decode('euc-jp', $_); # text.txt は euc-jp の場合
    $line =~ s/^s*//; # とかなんとか
    print encode('utf-8', $line); # 例えば utf-8 で出力
}

CGI.pm

#!/usr/bin/perl
use strict;
use warnings;
use CGI;
use CGI::Carp qw(fatalsToBrowser);
use Encode;
use utf8;

my $cgi = CGI->new;

# charset=Shift_JIS な HTML からのフォーム送信を想定
my $name = decode('cp932', $cgi->param('name')); # 入力を decode()

if ($name eq 'とみた') { # この cgi スクリプト自体は utf-8 で保存すること
    die "「とみた」は私です";
}

my $message = "$nameさん こんちは";

print $cgi->header('-charset' => 'Shift_JIS');
print encode('cp932', $message); # ブラウザに返すものは encode()

Catalyst

C::P::Unicode::Encoding を使うと、入力（$c->req->params）の decode()、最終出力（$c->res->body）の encode() を config で指定したエンコーディングで自動にやってくれます。

use Catalyst qw(
    ConfigLoader
    ...
    Unicode::Encoding
);

__PACKAGE__->config(encoding => 'euc-jp');

decode()/encode() 専業ですので、必要に応じて Content-Type ヘッダを指定する必要もあります。特に RenderView を使ってる場合は指定しないとデフォルトの 'text/html; charset=utf-8' になるので必須です。

$c->res->content_type('text/html; charset=EUC-JP');

DBIx::Class

DBIx::Class::UTF8Columns を使って ResultSource のクラスで

__PACKAGE__->utf8_columns(qw( name kana ));

とか指定すると、そのフィールドへの出し入れの際に自動で decode()/encode() してくれます。使われるエンコーディング（つまり DB の文字コード）は UTF-8 前提です。それ以外の場合は自分で inflate/deflate を書くです。

Template-Toolkit

POD に明記されていないので要確認なのですが、UNICODE と ENCODING を指定することで、TT にテンプレートファイルを decode() して読むよう指示できます。

use Template;

my $tt = Template->new({
    UNICODE  => 1,       # テンプレートファイルを Unicode として扱う宣言
    ENCODING => 'utf-8', # テンプレートの文字コード。これで decode() される
});

もしくは Template::Provider::Encoding を使い、以下のようにもできます。この場合 Template::Provider::Encoding の他の機能も使うことができます。

use Template;
use Template::Provider::Encoding;

my $tt = Template->new({
    LOAD_TEMPLATES   => [ Template::Provider::Encoding->new ],
    DEFAULT_ENCODING => 'utf-8', 
});

$tt->process() の結果は Unicode のままですので、出力する時には以下のように encode() します。（process() の binmode オプション)や $Template::BINMODE を使うことも可能）

# 上の続き

use utf8;
my $vars = { name => "とみた" }; # 変数は Unicode

$tt->process('template.tt', $vars, my $text) # $text に入れて
    or die $tt->error;

print encode('euc-jp', $text); # 出す時に encode()

その他のモジュールと Unicode

最近は Unicode を渡し Unicode を受け取るモジュールがほとんどであり、そうでないものも移行しつつあります。ですので、今でも文字をむりやり全部バイトのまま扱うことも可能ですが、Unicode で扱ったほうが何かと楽になってきました。

各モジュールの Unicode 受け入れ体制についてはそれぞれの POD や Changes をチェックして欲しいのですが、少なくとも今後この連載で取り上げるモジュールについては日本語まわりの話題に触れるようかと。

Unicode を表記する

上の例ですでに使っていますが、use utf8; するとそのスコープ（レキシカル）において、UTF-8 で書いたリテラルがそのまま Unicode として扱われます。これ以外にも Unicode を表記する方法がいくつかあります。以下の例はどれもだいたい同義で最終的に $text は Unicode です。

# A: utf8 プラグマのスコープ内に utf-8 で書く
use utf8;
my $text = "笑"; # この時点でもう Unicode（ソースは UTF-8 で保存する）

# B: utf-8 で書いて decode()
use Encode;
my $text = "笑"; # この時点ではバイト（ソースは UTF-8 で保存した場合）
   $text = decode('utf-8', $text); # ここで Unicode

# C: xHHxHH 表記で書いて decode()
use Encode;
my $text = decode('euc-jp', "xbexd0"); # バイト部分は笑の euc-jp 表現

# D: B の UTF-8 版. perl にとってはほぼ B と同義
use Encode;
my $text = decode('utf-8', "xe7xacx91"); # バイト部分は笑の utf-8 表現

# E: x{UUUU} 表記. UUUU は 16進表記の Unicode コードポイント
my $text = "x{7B11}";

# F: chr() に Unicode コードポイントの10進を渡す
my $text = chr 31505;  # または、
my $text = chr 0x7B11; # コードポイントは16進表記が多いので 0x 表記が楽かも

特定の文字の Unicode コードポイントや、いろんなエンコーディングでどう表現されるかは Unicode Character Search が超便利です。（例： 「笑」のページ や More.. からたどる 各種エンコーディングでの表記）。最近落ちてることが多くて悲しいです。

Unicode を Data::Dumper した場合、E の "x{UUUU}" 表現になりバイト列と区別が付きます。（ADVANCED も見てください）

正規表現

Perl は Unicode サポートを実直に実装しており、正規表現もサポートしています。具体的には、Unicode に対しては . が「1文字」に対応します。これは良いですが、s や d や w なども意味的なマッチになるので要注意です。

use utf8;
if ("あ１2　 " =~ /^(.)(d+)(s+)$/) {
    warn $1; # あ
    warn $2; # １2   // 全角半角問わず数字にマッチ
    warn $3; # "　 " // 全角半角問わず空白にマッチ
}

半角スペースや数字のみにマッチさせたい場合、やり方はいろいろありますが

1. 事前に Unicode::Normalize、Encode::JP::H2Z、tr/// などで半角にしておく。
2. 正規表現の部分だけ（use utf8; の逆である）use bytes; を使う
3. s の代わりに [ ]、d の代わりに [0-9] を使う

3番でいいと思います。

文字化け・エラー

「化けました」（ãããã みたいなアクセント付きアルファベット多数散見）

フラグ付きのものとそうでないものをくっつけるとこう化けます。よく TT を、上で示した方法を取らずに使い、テンプレートファイルと挿入する変数のどちらかがバイト列のまま（＝ decode() 忘れ）だったりとかで起こります。

「Wide character in print ...」

print "x{7B11}";

フラグ付きのまま print() すると出ます（＝ encode() 忘れ）。この際、文字そのものは UTF-8 で出てくるので読めちゃうかもしれませんが、print() 前に encode() すべきです。ちなみに warn() だとこの warning は出ないですので warning を当てにしている場合は注意です。

「機種依存文字が出ません」／「波ダッシュが出ません」

'shift_jis' ではなく 'cp932' で decode()/encode() するようにすればたいていうまくやってくれます。

「?」になる

ある Unicode を encode() した時、指定したエンコーディングでは対応する文字がないよ、という場合、デフォルトでは ? になります。この動作を、encode() の第三引数で変更してやることができます。（詳細）

print encode('shift_jis', "x{3231}"); # => ? (株) が Shift_JIS にないので
print encode('shift_jis', "x{3231}", Encode::FB_HTMLCREF); # => ㈱
print encode('shift_jis', "x{3231}", Encode::FB_XMLCREF);  # => ㈱
print encode('shift_jis', "x{3231}", Encode::FB_PERLQQ);   # => x{3231}

なおブラウザは10進の文字参照（Encode::FB_HTMLCREF）もしくは16進の文字参照（Encode::FB_XMLCREF）でそのまま見えたりしますので使えます（10進の方がより安全と記憶）。

Encode のその他の機能

エンコーディング名の表記ゆれ

Encode はたくさんのエンコーディングを知っています。Encode::JP あたりに日本語で使いそうなエンコーディングが書いてあります。表にあるようにエンコーディング名は表記ゆれをある程度吸収してくれます。（euc-jp の場合 EUC-JP でも ujis でも OK）

Encode::Encoding オブジェクト

Encode::find_encoding() で、あるエンコーディング名がサポートされているかのチェック、そしてサポートされている場合は Encode::Encoding オブジェクトを取得できます。

my $encoding = Encode::find_encoding('cp932')
    or die "non supported";

my $text = $encoding->encode($input); # encode('cp932', $input); と同じ
my $out  = $encoding->decode($text);  # decode('cp932', $text); と同じ

機能というわけじゃないですが

Encode 以外で decode()/encode() というサブルーチンを持つモジュールがけっこうあるので、Encode::decode()/Encode::encode() と書く習慣を付けてると問題が防げるかもしれません。

SEE ALSO

perlunitute（和訳）, perlunicode（和訳）, perlunicode, Encode（和訳）

Unicode::Japanese

Data::Dumper はある変数のデータ構造を Perl のシンタックスで表現してくれるもので、デバッグ時など普通によく使います。Ruby の p() や .inspect()、JavaScript（Firefox）の .toSource() 相当のものです。Perl5 ではこれがモジュールでの提供です（コア・モジュールです）。

use Data::Dumper;

my $data = {
    name => 'Ultra Seven',
    human => 'Dan Moroboshi',
    transform => 'glasses',
    power => ['Emerium Beam', 'Eye Slugger', 'Wide Shot'],
};

warn Dumper $data;

# 出力 ---

$VAR1 = {
          'human' => 'Dan Moroboshi',
          'transform' => 'glasses',
          'power' => [
                       'Emerium Beam',
                       'Eye Slugger',
                       'Wide Shot'
                     ],
          'name' => 'Ultra Seven'
        };

Dumper にはいくつも引数を渡すことができます。ハッシュやリストを渡す時は、ばらばらになってしまわないよう \%table や @list のようにリファレンスで渡すと良いです。

カスタマイズ

最初の $VAR数字 = 部分は、複数の変数の結果を eval する時にいいのかもしれませんが、たいていは要りません。気になる時やインデントを縮めたいとかいう場合は以下のように指定します。

use Data::Dumper;

local $Data::Dumper::Sortkeys = 1; # ハッシュのキーをソートする
local $Data::Dumper::Indent = 1; # インデントを縮める
local $Data::Dumper::Terse = 1; # $VAR数字要らない

warn Dumper $data;

# 出力結果 ---
{
  'human' => 'Dan Moroboshi',
  'name' => 'Ultra Seven',
  'power' => [
    'Emerium Beam',
    'Eye Slugger',
    'Wide Shot'
  ],
  'transform' => 'glasses'
}

他のオプションはこちらにあります。

オブジェクト・サブルーチン

Dumper した結果は eval して戻せるので、ファイルに書き出しておき do のファイル名構文で my $data = do 'ultra-seven.pl'; みたいにして復元できます。

オブジェクトやサブルーチンをシリアライズしたいことはあまりないと思いますが、オブジェクトはデフォルトでは

'wikipedia' => bless( do{(my $o = 'http://en.wikipedia.org/wiki/Ultra_Seven')}, 'URI::http' ),

といった感じに bless で表現されるので、モノによっては復元できます。

ただしサブルーチンについては sub { "DUMMY" } と出力され、そこにサブルーチンがあったことがわかるだけです。あまり必要ないでしょうがどうしても出したければ $Data::Dumper::Deparse = 1; を使うことができます。

SEE ALSO

Data::Dumper, 和訳

use Data::Dumper; warn Dumper と打つのがめんどいので、たいていエディタにマクロを仕込んだりしてますが、XXX とか Smart::Comments というのを使うのもアリです。

久しぶりということでネタはたくさんあるのですが、ぱっとすぐ思いつくおススメ Web::Scraper を紹介。これはその名のとおり、ウェブのスクレイピング（HTML のある部分を抽出）用のモジュールです。半年くらい前に生まれた新しいモジュールでありながら、すでにこの分野でメジャー感がある miyagawa プロダクトです。

API が用意されているサイトの情報は普通に API で取ればよいですが、世の中そうばかりでもないわけで、HTML を文字列処理したりするわけです。昔からこの辺は Perl が得意としてきたところですが、Web::Scraper がどう新しくて便利なのかは、作者によるプレゼン資料にわかりやすく説明されているとおりです。

• 正規表現ではなく CSS のシンタックス（や XPath）で切り出し場所を特定できる
• トライ＆エラーに便利なコマンドラインインターフェースが付属
• 文字コードや URL の正規化など裏側処理を Web::Scraper がワンモジュールでめんどうみてくれるので、コードがすっきり

素敵、というわけでさっそく

使い方

Amazon の商品ページから価格部分を取るサンプルで説明してみます。

use Web::Scraper;
use URI;

# 価格部分を yen という名前で取るスクレイパーを作成
my $scraper = scraper {
    process '#buyboxTable b.price', 'yen' => 'TEXT';
};

# 悪魔の箱ページのURLオブジェクトを、
my $uri = new URI('http://www.amazon.co.jp/o/ASIN/B000WQKBE2/');

# 先ほどのスクレイパーに渡す。（スクレイピングされる）
my $res = $scraper->scrape($uri);

print $res->{yen}; # ￥ 4,401

Web::Scraper は、use すると scraper という関数をエクスポートします。scraper は、サンプルのようにスクレイピングの指示をブロック（{ }）の形で取り、スクレイパーオブジェクトを返します。そのスクレイパーは scrape() という関数を持ち、それに URL とか渡すとスクレイピングして結果を返してくれます。

解説

scraper に渡すブロックの中の構文は以下のようになります。

process どこから, 何というキー名で => どう取得（値の形式）;

先ほどのサンプルだと、'#buyboxTable .price' という箇所から、yen という名前でその 'TEXT' を取る、みたいに読めます。

1. どこから

ここには HTML から切り出す場所を CSS セレクタもしくは XPath で記述します。Amazon の価格部分は id="buyboxTable" の中にある <b class="price"> だったので '#buyboxTable b.price' と指定しています。

もちろん XPath で '//table[ @id="buyboxTable" ]//b[ @class="price"]' みたいな感じでも OK ですが、この場合は CSS セレクタの方がわかりやすい。XPath はひどいマークアップの HTML から何かを取りたい時とかに本領発揮します。

2. キー名

scraper が取るブロックには、そのページで取りたい箇所の分 process 行を並べることができますが、それぞれの結果に付けるキー名を指定します。

my $scraper = scraper {
    process '#buyboxTable .price', 'yen' => 'TEXT';
    process '#primaryUsedAndNew .price', 'used' => 'TEXT';
    process '//*[ @id="ftMessage" ]//b', 'delivery' => 'TEXT';
};

これで、$scraper->scrape($uri) の結果は以下のようになります（utf8 フラグ付き）。

{
    yen => "￥ 4,401",
    used => "￥ 3,639",
    delivery => "2007/12/28 金曜日 にお届けします！",
}

ちなみに process の仲間に result というのがあって、これでキー名を指定しておくとハッシュじゃなくてそのものが返ってきます。詳しくは後述の実例のリンク先で見てください。

セレクタの指定によっては合致する部分が複数ある場合がありますが、キー名を 'item[]' のように各カッコ付きで指定することで、リストで取得することもできます。

# 全 <a> タグの href 属性を url というキーにリストで
my $res = scraper { process 'a', 'url[]' => '@href'; }->scrape($uri);

use YAML;
print Dump $res;

# 結果
---
url:
  - !!perl/scalar:URI::http http://www.amazon.co.jp/ref=bd_vg/250-9239974-3346614
  - !!perl/scalar:URI::http http://www.amazon.co.jp/gp/cart/view.html/ref=topnav__vg/250-9239974-3346614
  - !!perl/scalar:URI::http http://www.amazon.co.jp/gp/registry/wishlist/ref=topnav__vg/250-9239974-3346614
...

※ URI モジュールはそのうち取り上げます。

3. 値の形式

'TEXT' や '@href' が出てきましたが、値の取り方をいろいろな方法で指定できます。ここが柔軟で、いろいろ工夫のしがいがあるところです。

まずは基本。http://example.com/ が

<div>
    <a href="/2008.html" target="_blank">Happy New Year</a>!
</div>

という HTML だったとすると以下のようになります。

• 'HTML' はその部分の内側の HTMLです。
  process 'div', 'test' => 'HTML';
  の結果は '<a href="/2008.html" target="_blank">Happy New Year</a>!'
• 'TEXT' は HTML タグを取りはらったもの。
  process 'div', 'test' => 'TEXT';
  の結果は 'Happy New Year!'
• '@属性名' で属性の値。
  process 'div a', 'test' => '@target';
  の結果は '_blank'

これ以外の方法で取りたい時用として、

• scraper {} をさらに渡してネストさせる
• フィルタ という 'TEXT' などを手軽に加工する方法が用意されています
• さらに サブルーチンを渡すと $_ としてその HTML::Element が来るので好きにできます。

これらについては後述の実例リンク先を参照。

一つの場所から上記を組み合わせて取りたい時は、scraper を渡してネストさせるか、もしくは

• ハッシュ でまとめます。

  process 'div a', 'link' => {
      text => 'TEXT',
      host => [ '@href', sub { $_->host } ],
  };
  

  で以下のように取れます。

  link => {
      text => 'Happy New Year',
      host => 'example.com',
  }
  

コマンドラインインターフェース

Web::Scraper をインストールすると scraper というコマンドが入ります。これが超絶便利です。HTML はサイトによってまちまちなのでトライアンドエラーを繰り返しがちですが、いつのまにかスクレイピングに成功するのが目的になってしまってたり。。みたいな事態を防げます。

$ scraper <取るURLまたはhtmlファイルのパス>

で始めます。
さっそくミニミニさまーずの放送時間を Yahooテレビのこのページから取ってみることにします。

$ scraper "http://tv.yahoo.co.jp/bin/sea...(長いので省略)"

scraper>

と、そのページについての scraper シェルが立ち上がります。ここで、おもむろに process 文を作っていくのですが、実際の対象の HTML はいつでも

scraper> s

と、s コマンドでソースを見ることができます。ただし、scraper + Firebug で鬼に金棒です。

Firebug からコピーした XPath を使って process 文を作っていきます。scraper シェルの中だけ 「何というキー名で => どう取得（値の形式）」の代わりに WARN というのが使えます。これはその場ですぐ結果を見ることができるものです。

scraper> process '/html/body/center/table[6]/tbody/tr[2]/td[2]/small', WARN;

何も起きません。実は Firebug で取った table タグ内の XPath は Firefox がレンダリング時に加えた実際の HTML にはない tbody タグが入っているので、それを取ります。

scraper> process '/html/body/center/table[6]/tr[2]/td[2]/small', WARN;
<small>20:54〜21:00</small>

これでうまく出ました。他のを全部取ってみるよう tr の指定を取ります。こういった微調整＆確認がすぐできるのが scraper シェルのすばらしいところ。

scraper> process '/html/body/center/table[6]/tr/td[2]/small', WARN;
<small>20:54〜21:00</small>
<small>26:25〜26:30</small>
<small>17:54〜18:00</small>
...

うまくいったので、WARN を 'list[]' => 'TEXT'; に変えます。変えた後は、y コマンドで、YAML::Dump した結果を表示できます。

scraper> process '/html/body/center/table[6]/tr/td[2]/small', 'list[]' => 'TEXT';
scraper> y
---
list:
  - 20:54〜21:00
  - 26:25〜26:30
  - 17:54〜18:00
...

最後に、c でコードを吐き出してくれます。試行錯誤した process 文を全部出したい場合は c all です。

scraper> c
#!/usr/bin/perl
use strict;
use Web::Scraper;
use URI;

my $uri = URI->new("http://tv.yahoo.co.jp/bin/search?p=%A5%DF%A5%CB%A5%DF%A5%CB%A4%B5%A4%DE%A4%A1%A1%C1%A4%BA&cate=0&search222=%B8%A1%BA%F7&area=tokyo");
my $scraper = scraper {
    process '/html/body/center/table[6]/tr/td[2]/small', 'list[]' => 'TEXT';
};
my $result = $scraper->scrape($uri);

まあこれこの年末しか使えないし、ブラウザで表示している時点で目的は達成されている気がしますが、まあサンプルということで（笑）

TIPS

UserAgent を変える

use LWP::UserAgent;
my $ua = new LWP::UserAgent( agent => 'Mozilla/5.0 ...' );

# セット
$scraper->user_agent($ua);

# その UA でスクレイピング
print Dumper $scraper->scrape($url);

Basic 認証

# 普通にこの方法が楽
my $url = new URI('http://user:pass@example.com/private/');

ログイン認証

$scraper->scrape() には URI オブジェクト以外に、HTML そのものを文字列で渡すこともできます。なので、普通に Mech とかで進んで、コンテンツを Web::Scraper に渡すとよいです。

use WWW::Mechanize;
my $mech = new WWW::Mechanize;

# mech で進んで...（ニコニコ動画の）
$mech->get('http://www.nicovideo.jp/ranking/view/daily/all');
$mech->submit_form(
    fields => {
      mail => 'me@example.jp',
      password => 'p4ssw0rd',
    },
);

# ランキングを取るスクレイパーに
my $scraper = scraper {
    process 'a.video', 'ranking[]' => '@href';
};

# mech から HTMLを渡してスクレイプさせる
my $res = $scraper->scrape($mech->content);

HTML 渡しの場合スクレイパーはそれが何という URL のものなのかわかりませんが、 Web::Scraper にある URL の正規化機能を生かすには、scrape() の第二引数で渡せばよいので、mech からの場合は以下のようにすると良いです。

my $res = $scraper->scrape($mech->content, $mech->uri);

実例

• Web::Scraperの 例ディレクトリ や テストスクリプト
• はてなブックマーク - タグ webscraper
• Encode::JP::Mobile の tools ディレクトリには、各キャリアの絵文字コードのウェブページをスクレイピングするスクリプトがあります。

Happy holidays!

まぐまぐ、半年発行しないでいると廃刊扱いになってバックナンバーごと消えてしまうという仕様らしいのであわてて配送。そういう仕組みだったとは（笑） とはいえリクエストもあったので来年は定期的に書こうと思います。

ではみなさん、よいお年を

SEE ALSO

Web::Scraper

と、時効警察ぽく始めてみたりしました。今日は画像編集用モジュール Imager を説明します。サムネールを作ったり形式を変換したりなどなど画像操作のいろんな要望に応えてくれるモジュールです。

他の画像編集ライブラリ GD や ImageMagick の Perl インターフェースに比べ、できることは多く、必要とする外部ライブラリが少なめで、同じくらい速く、品質も悪くなく、そしてAPI がきれいです。使わない手はありません。

Imager も他の画像編集ライブラリのようにコアは C ですが、コアと Perl インターフェースが別々ではなく、セットで Perl 専用に開発されているという点が強みになっているのだと思います。公開から数年たっていますが、Subversion レポジトリのログを見るとわかりますが今なお開発が活発です。（開発は imager.perl.org ドメインで行なわれています）

どうでもいい点ですが、C ライブラリの Perl binding はメソッドが camelCase になる場合が多いですが、ぼくは perlstyle や PBP で推奨されている non_camelcase の方が好みで、このあたりでも GD などより Imager がお気に入りだったりします。

インストール

開発者たちの Good Job に付いていくには cpan で最新版を入れるのがよいかと。ただ、apt や yum とかに Imager そのものがあります。なお、事前に jpeglib libtiff libpng libgif libttf libfreetype あたりのライブラリが入ってるか確認しておくとよいです。なくても Imager は入りますが、対応形式が少なくなってしまいます。Debian の場合だとこんな感じですかね

# aptitude install libjpeg-dev libtiff-dev libpng-dev giflib-dev libttf-dev libfreetype6-dev
# cpan Imager

インストールされた Imager が対応したファイル形式は %Imager::formats ハッシュのキーとして入っていますので、以下のようなワンライナーで対応形式一覧を見れます。

perl -MImager -e 'print join ", ", sort keys %Imager::formats'

OSX はもちろん Windows もサポートされているのも心強いところです。README によると ActivePerl と cygwin でテストされているようです。今回のサンプルは Debian、cygwin で同じスクリプトで動作することを確認してます。

使い方

使い方は単純で、Imager->new で Imager のインスタンスを作成した後、それが持つ たくさんのメソッドのいずれかを使って画像操作します。

サムネール作成

よくあるサムネール作成をやってみます。

use Imager;

my $img = Imager->new;

# ある画像を開き...（type を指定しない ＝ 自動認識）
$img->read( file => 'nya.png' )
    or die $img->errstr;

# 縦か横が160pxになるように縮小し...
# （新しい Imager オブジェクトが返るので、それで元のを上書き）
$img = $img->scale(
    xpixels => 160,
    ypixels => 160,
);

# Jpeg、画質 90% で保存
$img->write( file => 'nya-scaled.jpg', jpegquality => 90 )
    or die $img->errstr;

この画像が こうなります。

この例では Imager のメソッドの read()、 scale()、 write() を使ってます。その他のたくさんのメソッドは POD に

• アルファベット順の一覧
• 「○○をしたい」の逆引き

の2系統でまとめれられていて、たいへんわかりやすいです。各リンク先にあるのメソッドの説明も、オプションに何が指定できるのか、何が返ってくるのか、サンプル中心で英語もわかりやすいと思います。

例えば scale() の項目を見ると、200x200に「収まるように」小さくするには、type => 'min'、縦横比を無視してそのサイズに引き伸ばしたい場合は type => 'nonprop' というオプションをつければいいことがわかります。

元画像の50%というように指定したい場合は、逆引きのところ を「size」で検索すると size, image - "getwidth" in Imager::ImageTypes, "getheight" in Imager::ImageTypes とあり、getwidth() で画像のサイズが取れるようですので、こんな風に。

$img = $img->scale(
    xpixels => $img->getwidth * 0.5,
);

画像を縮小するときはシャープマスクをかけるときれいです。これも逆引きのところ を「sharp」で探してみると以下のようなのが見つかります。

sharpen - "unsharpmask" in Imager::Filters, "conv" in Imager::Filters …と、２種類方法があるようですが、アンシャープマスクの方を弱めにかけるには、以下のコードを先ほどの例の $img->write() の前に入れる感じですね。

$img->filter( type => 'unsharpmask', stddev => 1 )
    or die $img->errstr;

こんな感じになりました。

ちなみに、アンシャープマスクは「シャープにしない」という意味ぽい名前ですが、そうじゃなく、ボケた（アンシャープな）画像との差を計算して逆にシャープにするというロジックの名前です。

図形描画

図形を描画することもできます。四角を描くには box() を使って以下のようにします。

$img->box(
    xmin =>  20, ymin => 320,
    xmax => 170, ymax => 370,
    color => '#ffffff',
    filled => 1,
);

こんな感じの画像ができます。ソース全文

画像の貼り付け

四角以外に、丸とか、座標を指定してもっと複雑な図形もかけますが、ふきだしを追加したい場合とかならそのような画像を貼り付けるほうが楽です。

このふきだし画像 （背景が透過な GIF）を貼り付けるには、rubthrough() で以下のようにします。

# ふきだし画像を透過を考慮して貼り付け...
$img->rubthrough(
    src  => do {
        my $tmp = Imager->new;
        $tmp->read( file => 'caption.png' ) or die $tmp->errstr;
        $tmp; # srcへふきだし画像のImagerオブジェクトを渡す
    },
    tx => 22,
    ty => 567,
);

こんな風になります。透過処理をしない場合は paste() ですが、貼り付けたいのはたいてい透過な部分がある画像なので、結局いつも rubthrough() を使ってます。

テキスト

こうなってくると そろそろ文字も追加してみたくなるころですので、逆引きのところを調べると、drawing text - "string" in Imager::Draw, "align_string" in Imager::Drawとあります。

string() を見ると、文字については特別で、Imager::Font オブジェクトとの組み合わせになります。全体では以下のようなコードになります。

# IPA Pゴシックフォントをオブジェクト化
my $font = Imager::Font->new( file => 'ipagp.ttf' );

# 文字を書き込み...
$img->string(
    x => 40,
    y => 650,
    string => "潜入成功ニャ！",
    utf8 => 1,
    font => $font,
    size => 38,
    aa => 1,
    color => '#000000',
);

こんな風になりました。全体のコードはこちら

string パラメータの文字列は、

• utf8 フラグ付きで渡すか
• UTF-8 の文字を utf8 => 1 オプションと一緒に渡してあげる

必要があります。このあたりは、メルマガでまだ utf8 まわりを取り上げてないので、詳細は省略します。いずれまとめて説明します。

さて、テキストの入力を考え始めると、

• 字送り
• 行送り
• 折り返し処理
• 縦書き！

などのめんどうな話がでてきます。しかし、そこは CPAN。このあたりの文字組み処理は、Imager からの派生モジュールで Imager::DTP というのがあり、これがかなりいい感じにやってくれます。これはまた別の機会に取り上げます。

とはいえ Imager だけでも、デジカメ写真の撮影日とかを EXIF から取りたいよ（→ tags() ）とか、モザイク画像にしたいよ（→ filter( type => "mosaic" ) ）とか、使える機能がいろいろです。一度 逆引きのところ を通してながめておくことをおすすめします。

ちなみに今回、予告していた Catalyst じゃなくて Imager を取り上げたのは、今回のをネタに何かウェブアプリをサンプルで作りながら進めようかと思ったからなのですが、どうしようかな。考え中です。次回をお楽しみに。

SEE ALSO

Imager, チュートリアル, Cookbook

実は、CPAN には Image::Imlib2 という、もうひとつ気になる画像編集モジュールがあります。これは、できることは少ないですが、処理速度が超絶速いです。たとえば、単純なサムネールを作るだけみたいな処理で処理速度が求められる場合は、このモジュールも検討するとよいです。ただ、Perl インターフェースはまだ新しくアルファ版といった感じです。

Perl の世界では、昔から Class::DBI （略称 CDBI）という優れた ORM モジュールがあり、プロダクションでもがりがり使われてきました。CDBI をより便利にする拡張もたくさん現れ、中でも Class::DBI::Sweet というモジュールがよく使われていました。

この CDBI::Sweet の作者が、CDBI の拡張という形ではできないことまでやりたくなってついに一から書き直したのが DBICです。今では多くの開発者が加わり、（CDBI ほど枯れてませんが）プロダクションで使えるレベルになったと思います。先日の YAPC::Asia でも いくつかセッションが ありました。

CDBI、DBIC 以外の ORM モジュールもありますが、現時点ではこれが一番おすすめできます。現実的（複雑なことも可能・カスタマイズ可能）であり、それらを満たす範囲で十分わかりやすい API。今から Perl 始める人は幸せだなと。

使い方

例として、SQLite でまたドラクエの呪文 DB を作ることにします。http://e8y.net/mag/011-dbix-class/ の db ディレクトリの中に元ネタの SQL 文 schema.sql があるので、これを流し込んだ SQLite DB ファイル spell.db を作成しておいてください。

DBIC は DBIx::Simple と違い、事前に「データベース」に対応したクラス（スキーマクラス）や、「テーブル」に対応したクラスを用意しておき、プログラムではそいつらを通して DB にアクセスします。この対応クラスを用意するには手動と自動の2種類ありますが、半自動（自動＋手動で微調整がおすすめです。この方法を簡単に解説します。

スキーマクラス

プロジェクト名が Magic だった場合、スキーマクラスは Magic::Schema というパッケージ名にする場合が多いです。このファイルから書いていきます。といっても書く量はわずかです。lib/Magic/Schema.pm として以下のようなコードを保存します。

package Magic::Schema;
use strict;
use base qw/DBIx::Class::Schema::Loader/;

__PACKAGE__->loader_options(
    debug => 1,
    exclude => qr/^sqlite_/,
);

1;

DBIx::Class::Schema::Loader を継承し、コードは loader_options を指定するくらいです。ちなみに手動の場合は DBIx::Class::Schema::Loader ではなく DBIx::Class::Schema を継承します。

プログラムから利用

こいつを実際にプログラムで使うには、以下のようにします。

use lib 'lib';

# スキーマクラスを use し、
use Magic::Schema;

# スキーマクラスのインスタンスを作成
my $schema = Magic::Schema->connect('dbi:SQLite:dbname=db/spell.db');

# ResultSet を作成し全レコード取得したり...
my $rs = $schema->resultset('Spell')->search;

# 件数を出力したり...
warn $rs->count, " rows ---

";

# word、descフィールドを出力しながらイテレートしたり...
while (my $row = $rs->next) {
    warn sprintf "* %s: %s

", $row->word, $row->desc; }

これを test.pl とかで保存して、perl test.pl してみます。

Magic::Schema::ClassMap->load_components("PK::Auto", "Core");
Magic::Schema::Spell->load_components("PK::Auto", "Core");
Magic::Schema::ClassMap->table("class_map");
Magic::Schema::ClassMap->add_columns(
  "id",
  { data_type => "INTEGER", is_nullable => 0, size => undef },
  "name",
  { data_type => "VARCHAR", is_nullable => 0, size => 255 },
);
Magic::Schema::ClassMap->set_primary_key("id");
Magic::Schema::Spell->table("spell");
Magic::Schema::Spell->add_columns(
  "id",
  { data_type => "INTEGER", is_nullable => 0, size => undef },
  "word",
  { data_type => "VARCHAR", is_nullable => 0, size => 255 },
  "class_id",
  { data_type => "INTEGER", is_nullable => 0, size => undef },
  "desc",
  { data_type => "VARCHAR", is_nullable => 0, size => 255 },
  "ctime",
  { data_type => "DATETIME", is_nullable => 0, size => undef },
);
Magic::Schema::Spell->set_primary_key("id");

13 rows ---
* メラ: 火の玉
* ギラ: 炎
* イオナズン: 爆発で敵全体を攻撃
* ホイミ: HPを回復する
つづく

debug を ON にしているので、Loader が DB から取得できる内容を元にテーブルの対応クラスをどう作っていったかがわかります。

スキーマクラスが Magic::Schema の場合、各テーブルを表すクラスは Magic::Schema::*の名前空間になります。なので spell テーブルは Magic::Schema::Spell として、class_map テーブル はMagic::Schema::ClassMap として、DB から取得できる内容を元に PK やフィールド名、型などが DBIC語で表現されています。

作るといってもメモリ上に作るだけで、lib/Magic/Schema/Spell.pm などのファイルが作られるわけではありませんが、Loader を使わない場合はこれを手動で書く必要があります。フィールドが多いとだるいので、自動でやってくれるのがだいぶ楽です。

使い方の流れが見えたところで、以下の順序で例をもう少し詳しく説明していきます。

1. スキーマクラスの設定
2. 設定の微調整（リレーションの設定）
3. いろいろな select, update, insert, delete

スキーマクラスの設定

スキーマクラスに書くコードは loader_options くらいです（その他の内容）。その loader_options に指定できる内容はここに列挙されていますが、よく使うのを説明します。

• debug => 1 ... ON にすると Loader の自動作業内容を出力します。デフォルトはオフです。
• exclude => qr// ... デフォルトでは全テーブルを自動設定しようとしますが、スキップしてほしいテーブル名を正規表現で指定できます。例では、sqlite_ で始まるテーブル（AUTOINCREMENT 使ったので作られた SQLite の内部テーブル）を飛ばしています。

• constraint => qr// ... exclude の反対です。例ではテーブル2個だけなので、exclude を使う代わりに以下のように指定することもできます。

  constraint => qr/^( class_map | spell )$/x,
  

• components => [ ] ... ロードするコンポーネントのリストを指定します。

DBIC コンポーネント

DBIC を拡張する方法の基本はこのコンポーネントを追加する方法です。毎回追加してもいいくらい便利なコンポーネントを紹介してみると

• DBIx::Class::InflateColumn::DateTime ... 日付型のフィールドを自動で DateTime オブジェクトに昇華
• DBIx::Class::AsFdat ... ハッシュでレコードを取りたい時や TT と組み合わせる時に便利
• DBIx::Class::UTF8Columns ... 必ず UTF8 フラグを付けて返すよう指定できる

と、コンポーネントは DBIx::Class::なんちゃら という形で CPAN に上げられています。例の3つをロードさせるには、以下のように components に「なんちゃら」部分を並べます。

__PACKAGE__->loader_options(
    debug => 1,
    exclude => qr/^sqlite_/,
    components => [qw(
        InflateColumn::DateTime
        AsFdat
        UTF8Columns
    )],
);

設定の微調整（リレーションの設定）

自動だけで足りないのは、主にリレーションの設定です。（自動でさせる機能もありますが DB のタイプで対応してなかったり、思ったようにいかない場合もあるので手動で設定する方がいい）

例えば呪文マスタと分類マスタは N:1 の関係で、具体的には spell テーブルの class フィールドが class_map テーブルの id の値なのですが、このリレーションを設定してみます。

lib/Magic/Schema/Spell.pm として以下の内容を保存します。

package Magic::Schema::Spell;
use strict;

__PACKAGE__->belongs_to(
    class => 'Magic::Schema::ClassMap'
);

1;

belong to（属する）という関係で classフィールドを分類マスタ（Magic::Schema::ClassMap）に結びつけています。ここで Magic::Schema::Spellとして手動で書きましたが、この内容が Loader がメモリ上で作成した同名のクラスにうまいことマージされます。

先ほどの test.pl の while 部分を以下のようにしてみてください。

while (my $row = $rs->next) {
    warn sprintf "* %s: [%s] %s

", $row->word, $row->class->name, $row->desc; }

# 結果 ---

* ギラ: [攻撃] 炎
* イオナズン: [攻撃] 爆発で敵全体を攻撃

リレーションの設定の書き方はこの POD に書いてあります。設定できる関係は belongs_to 以外に、逆から見た has_many などが用意されています。また、オプションでもっと複雑なリレーションの書き方ができたりもしますが、説明はこのくらいにしておきます。

どんな SQL が作成されてるか

デバッグの仕方はこの POD に書いてありますが、簡単なのは

export DBIC_TRACE=1

と DBIC_TRACE 環境変数に1を入れてから perl test.pl することです。SQL 文と、バインドされる値が出力されながら進みます。

SELECT COUNT( * ) FROM spell me: 
13 rows ---
SELECT me.id, me.word, me.class, me.desc, me.ctime FROM spell me: 
SELECT me.id, me.name FROM class_map me WHERE ( ( ( me.id = ? ) ) ): '1'
* メラ: [攻撃] 火の玉

・・・きっと想像したのとは違う SQL になってると思います。DBIC では SQLの発行を本当に必要なぎりぎりまで伸ばし、またその時々で必要最低限のレコードだけを取得するよう工夫されてたります。もちろんオプションで指示することで SQL を調整可能です。

いろいろな select, update, insert, delete

サンプルのように、データにアクセスするには、

# スキーマクラスを use し、
use Magic::Schema;

# スキーマクラスのインスタンスを作成
my $schema = Magic::Schema->connect('dbi:SQLite:dbname=db/spell.db');

# ResultSet を作成し...
my $rs = $schema->resultset('Spell')->search;

と進め、スキーマクラスのインスタンスを作成するには connect() を使うのが普通です。引数は DBI の connect() と一緒です。（さらに便利に拡張されてます）

DBIC では ResultSet というオブジェクトでデータにアクセスします。ResultSet を取得するには、スキーマの resultset() メソッドなどを使います。resultset() は、spell テーブル（Magic::Schema::Spell）なら Magic::Schema:: 部分を省略した部分（Spell とか ClassMap とか）を指定します。

上の例では取得した ResultSet に search() メソッドで全レコードを取得していますが、他のメソッドは DBIC::ResultSet に列挙されています。

この ResultSet がポイントで、DBIC が CDBI とはまったく違うところであり、工夫されてます。ほとんどのメソッドが ResultSet を返すのが特徴で、メソッドを単独で使うこともできればつなげて使うこともできます。この ResultSet が、データが必要になるぎりぎりまで問い合わせを解釈する役割を果たしています。

全部は説明できませんが感じがつかめる程度に例をあげてみます。

# 一つのレコードを特定
my $id3 = $schema->resultset('Spell')->find(3);
warn "ID 3:" . $id3->word if $id3;


# 分類が4,5,6のものを作成日の降順で、3行のみ
my $class4 = $schema->resultset('Spell')->search({
    class => [4, 5, 6],
}, {
    order_by => ['ctime desc'],
    rows     => 3,
});


# パルプンテの説明を変える
$schema->resultset('Spell')
        ->search({ word => "パルプンテ" })
        ->update({ desc => "何が起きるかわからない。"
                         . "携帯版ドラクエ2だといいことしか起きなかった" });


# ルカニ系削除
$schema->resultset('Spell')->search({
    word => { like => "ルカ%" },
})->delete;


# 項目追加
$schema->resultset('Spell')->create({
    word  => "ルカナン",
    class => 3,
    desc  => "敵一グループの防御力を下げる",
});


# 名前に「ラ」説明に「い」を含む呪文の最初の一つのみ取得
my $class3 = $schema->resultset('Spell')->search_like({
    word  => "%ラ%",
    desc  => "%い%",
})->first;

どうでしょう。ResultSet のメソッドやオプション、メソッドチェーンや値の取得あたりの使い方のイメージが伝わったでしょうか。

More

何でもできそうですが、現実の案件ではだいたい基本機能じゃ足りなくなったりします。しかし、カスタマイズが容易でいろいろな方法が用意されているのも DBIC の特徴で、具体的には以下のような点に手を入れます。

• コンポーネントを入れる
• ResultSource （テーブルを表現したクラス）に好きなメソッドを追加する
• ResultSet に好きなメソッドを生やす

さて、DBIC は実際はウェブアプリで使うことがほとんどです。View、Model に続き、次回は MVC で言う Controller を柔軟にこなしてくれるモジュール Catalyst をとりあげようと思います。

SEE ALSO

DBIx::Class, DBIx::Class::Schema::Loader

CPAN には Acme:: というジョーク専用の名前空間があります。この名前空間が生まれたのは 2001 年。提唱したのは Perl 界の重鎮 Damian で、彼が Bleach というジョークモジュールを作ったときの話らしいです。

最初は Bleach という名前でアップしたのですが、「ジョークモジュールがいろいろ混ざっていくのはいかがなもんかね。ジョーク系は Acme:: という名前空間に入れるようにしませんか」というような感じで提唱。Bleach も Acme::Bleach として再 UP されました。

Acme は美味しんぼで言う『究極』とか『至高』とかいうニュアンスと、思ってたのですが、ルーニー・テューンズのロードランナーの中に出てくる、コヨーテに怪しい商品を売る Acme 社 から来てるそうです（このへん参照）。 メールで教えてもらいました。すみません。

単純に Joke:: とかじゃないのがセンスあるなあと思います。

Acme::Bleach は、

use Acme::Bleach;

print "Hello.";

みたいに普通に use Acme::Bleach; した後続けて 好きなコードを書いた bleach.pl を作り、実行すると、bleach.pl ファイルそのものが“漂白”され（書き換えられる）、以下のようになります。

use Acme::Bleach;
                                           
           
選択してみるとわかりますが、コードがすべて（バイトにされたのち）タブとスペースと改行で表現されてます。use Acme::Bleach; はデコードとエンコード両方の役割を持っており、このまま perl bleach.pl を実行するとちゃんと Hello. を表示します。

とまあ、こうして Acme:: 名前空間ができたおかげで、世界の Perl ハッカーは心置きなく思いついたジョークモジュールを次々 CPAN に投入できるようになったのでした。めでたしめでたし♪

日本人にもわかりやすい Acme:: 系をいくつか紹介してみます。

Acme::DoubleHelix

Double helix = DNA の 二重らせんです。Acme::Bleach と同じようなモジュールですが、先ほどの Hello. を出力するやつがこうなります。

use Acme::DoubleHelix;

 CG
T--A
A---T
A----T
 C----G
  T----A
   A---T
    G--C
     AT
     CG
    C--G
   G---C
  G----C
 C----G
A----T
C---G
G--C
 TA
 CG
C--G
A---T
A----T

# 以下続く


こういうのがお好きなら Acme::EyeDrops が気に入ると思います。

Acme::MorningMusume

モーニング娘モジュール。1メンバー1モジュールになってて、年齢とかがわかる便利？モジュール。

Sex

こいつは、Acme:: ができる前に投入されたジョークモジュール（2000年）で、まだその名前空間のまま生き残ってるやつですね。2つのモジュールを Sex させます。実行時にあえぎます（笑）

Acme::Hoge

foo や bar を print しようとしても日本風の hoge とか fuga になってしまう、俺は日本男児だー向け？モジュール。

Acme::Kensiro

ケンシロウ進数 に基づき「あたたたたた」を出力。くだらない・・・（← Acme:: 系への最高のほめことばです）

Acme::Hyde

こちらは、ラルクアンシエルの Hyde の身長を 1 とする新たな単位 hyde の計算用モジュール。。

Acme::Lou

これはぼくの作品です。テキストをルー大柴風に変換します。ルー語変換 で作ったものをモジュール化したものです。結構まじめに組んだ苦心作で、思い出深いモジュールです。

SEE ALSO

その他の Acme:: モジュール, Acme:: 名前空間誕生秘話
]]>
    
    tomita
    2007-04-01T20:53:00+09:00


    
    http://e8y.net/mag/009-dbix-simple/
    今みたら、読者数60人を超えてました。このメルマガは会社にしか告知していなくて、会社で登録してるのはとりあえず3,4人です。せっかく書くならまぐまぐにしておけば、誰かが見つけて登録してくれるかも、とか思っていたのですが、意外とたくさん登録してくれていてうれしいです。 今回はデータベースまわりのモジュールを取り上げます。 Perl から DB 接続するときは DBI.pm を使うというのは定番で、これはすばらしいモジュールなのですが、ステートメントハンドラが出てきたりレイヤーとしては低い層の API です。そこで普通なにがしかのラッパーモジュール経由で DBI を使います。  軽量・シンプルで小...
    今みたら、読者数60人を超えてました。このメルマガは会社にしか告知していなくて、会社で登録してるのはとりあえず3,4人です。せっかく書くならまぐまぐにしておけば、誰かが見つけて登録してくれるかも、とか思っていたのですが、意外とたくさん登録してくれていてうれしいです。


今回はデータベースまわりのモジュールを取り上げます。

Perl から DB 接続するときは DBI.pm を使うというのは定番で、これはすばらしいモジュールなのですが、ステートメントハンドラが出てきたりレイヤーとしては低い層の API です。そこで普通なにがしかのラッパーモジュール経由で DBI を使います。 

軽量・シンプルで小粋なラッパーをご所望であれば、DBIx::Simple がおすすめです。もっといろんなことを期待するのであれば、本格 ORマッパー DBIx::Class がいちおしです。 

今回は DBIx::Simple を解説します。Web 系アプリでは DBIx::Class を使うことのほうが多いですが、簡単な処理系バッチを書くときなどは DBIx::Simple の方を使うこともあります。 

使い方は簡単です。素の DBI.pm での操作と比較しながら見てみてください。 

接続

接続まわりは DBI と同じです。 

# MySQLの例
my @dsn = (
    'dbi:mysql:host=localhost;database=test;',
    'test',
    'test',
    { RaiseError => 1 },
);

my $db = DBIx::Simple->connect(@dsn)
  or die DBIx::Simple->error;

# SQLiteの例
my $db = DBIx::Simple->connect('dbi:SQLite:dbname=../db/hoge.db')
  or die DBIx::Simple->error;


テスト用テーブルを作っておくといろいろ試せてよいです。今回以下のようなスキーマを前提に話を進めます。

http://e8y.net/mag/009-dbix-simple/sample.sql（文字コードUTF-8、SQLite 用 create 文です）

SQL文の実行

一番基本的なクエリ発行は query() です。以下のように使います。

my $rs = $db->query('select * from spell where class = ?', 1) 
  or die $db->error;


query() の第一引数に SQL文、2個目以降に ? にバインドする値を渡します。そして結果のオブジェクトが返ります。（失敗した場合は 偽 が返り、上記のように $db->error でエラー内容を取り出せます）

この結果オブジェクト（DBIx::Simple::Result）がいい感じです。

DBIx::Simple::Result

件数

件数を引くには $rs->rows() を使います。 

print "Results:". $rs->rows;


query() に渡した SQL が更新系（insert, update, delete）だった場合は、影響を受けた件数が取れます。

データのイテレート 

select系の場合は、結果オブジェクトの hash() というメソッドを使うと、以下のように結果をハッシュで受け取りながらイテレートできます。 

use Data::Dumper;

while (my $row = $rs->hash) {
    warn Dumper $row;
}

# 結果 ---

$VAR1 = {
          'word' => 'メラ',
          'desc' => '火の玉をぶつける',
          'class' => '1'
        };
$VAR1 = {
          'word' => 'ギラ',
          'desc' => '炎',
          'class' => '1'
        };


$rs->hash のところを array() に変えると、ハッシュじゃなくリストリファレンスで行を取得できます。

my $rs = $db->query('select desc, word from spell where class = ?', 2);

while (my $row = $rs->array) {
    warn Dumper $row;
}

# 結果 ---

$VAR1 = [
          'HPを回復する',
          'ホイミ'
        ];
$VAR1 = [
          '毒を治療する',
          'キアリー'
        ];
$VAR1 = [
          '生き返らせる',
          'ザオリク'
        ];


ほかにも、渡した変数に展開する into() という小技もあります。

my $rs = $db->query('select word, classmap.name 
                     from spell left join classmap 
                     on spell.class = classmap.id
                     limit 3');

while ( my $row = $rs->into( my ($word, $class) ) ) {
    warn "* $word ($class系)


";
    }

# 結果 ---

* メラ (攻撃系)
* ギラ (攻撃系)
* ホイミ (回復系)


count(*) の結果など、値を直接を受け取りたい場合は、list() という array() のリファレンスにならないバージョンを使います。 

my ($count) = $db->query('select count(*) from spell')->list;


結果の全取得

hashes() や arrays() を使うと、全行が返ります。

my $set = $db->query('select word, desc from spell class = ?', 3)->hashes;
warn Dumper $set;

# 結果 ---

$VAR1 = [
          {
            'word' => 'バルシーラ',
            'desc' => 'ふっとばす'
          },
          {
            'word' => 'ギラ',
            'desc' => '消し去る'
          },
          {
            'word' => 'モシャス',
            'desc' => '能力をコピーする'
          }
        ];


全取得メソッドは、上記のようにスカラで受け取ればリストのリファレンスに、@set = とリストで受け取ればリストで受け取れます。

実際は $rs->hash() を while で回すことが多いので全取得はあまり使いませんが、map_hashes() という、あるフィールドをキーにしたハッシュの構造体にして返すというのが便利なのでたまに使います。 

my $rs = $db->query('select word, classmap.name, desc 
                     from spell left join classmap 
                     on spell.class = classmap.id
                     where class >= 4');

warn Dumper { $rs->map_hashes('word') };

# 結果 ---

$VAR1 = {
          'ラリホー' => {
                          'desc' => '眠らせる',
                          'name' => '防御'
                        },
          'マホトーン' => {
                            'desc' => '相手の呪文を無効にする',
                            'name' => '防御'
                          },
          'ルーラ' => {
                        'desc' => '移動する',
                        'name' => '移動'
                      }
        };


色物的ですが、DBIx::XHTML_Table や Text::Table というモジュールとの連携も組み込まれていて、html()

print $db->query('select word as "呪文", desc as "説明" from spell limit 2')->html;


で以下みたいな HTML テーブルを書き出せたり（内部で DBIx::XHTML_Table を使っています）

<table>
        <thead>
        <tr>
                <th>呪文</th>
                <th>説明</th>
        </tr>
        </thead>
        <tbody>
        <tr>
                <td>メラ</td>
                <td>火の玉をぶつける</td>
        </tr>
        <tr>
                <td>ギラ</td>
                <td>炎</td>
        </tr>
        </tbody>
</table>


また、text()

print $db->query('select class, word from spell where class = ?', 4)->text('table');


で以下みたいなアスキーテーブルを書き出せたり（内部で Text::Table を使っています）します。日本語の数え方の問題でアスキーテーブルはちょっと崩れてしまいますが。おまけ機能的な感じですね。

class |      word      
------+----------------
  4   | ラリホー   
  4   | マホトーン


このように、DBIx::Simple の結果オブジェクトは直感的にデータを引き出せて便利です。しかし、DBIx::Simple がオススメなのはこれだけじゃなくて、SQL::Abstract という名モジュールが組み込まれていることにあります。

SQL::Abstract

結果オブジェクトを取得するのに、上記例では query() を使っていましたが、その代わりに select()、insert()、update()、delete() というそのまんまなメソッドを使うことができます。SQL 文とプレースホルダ形式よりだいぶわかりやすいです。裏側で、SQL::Abstract が Perl の構造式を SQL 文に変換してくれます。

※ 現在のバージョン（1.27）では、select()、insert()、update()、delete() を使う前に $db->abstract; が必要です。バグレポート出したのですが最近返事があったので近く作者が修復してくれるはずです。（追記：修復済みです）

使い方ですが、例えば 

my $rs = $db->query('select word, desc from spell 
                     where word (class = ? OR class = ?) and 
                     desc like ?', 2, 3, "%回復%");


の代わりに、以下のようにできます。

my $rs = $db->select('spell', ['word', 'desc'], {
    class => [ 2, 3 ],
    desc => { like => '%回復%' },
});


insert などは、abstract メソッドの方がよっぽどわかりやすいです。

my $rs = $db->query('insert into spell (word, class, desc) values (?, ?, ?)', 
                    "パルプンテ", 6, "何が起こるかわからない");


は insert() だとこう書けます。

my $rs = $db->insert('spell', {
    word  => "パルプンテ",
    class => 6,
    desc  => "何が起こるかわからない",
});


他の例については、Examples をながめるとつかめると思います。

More

LEFT JOIN などのリレーションをもっと透過的に操作したいとか、日付型フィールドは日付オブジェクトとして扱いたい、など、もっと高度なモデルが欲しい場合も多いと思います。

そんなときは今なら DBIx::Class という うってつけのものがあります。次回はこれを取り上げる予定です。DBIx::Class も同じ SQL::Abstract を使っており、DBIx::Simple から DBIx::Class への移行は比較的簡単です。 

SEE ALSO

DBIx::Simple, 例いろいろ, DBI.pm との比較
]]>
    
    tomita
    2007-03-20T13:25:00+09:00


    
    http://e8y.net/mag/008-template/
     2008/1/1 - 内容が薄かったので大幅に書き足しました。 これから数回は、仕事でよく使う大型モジュールを中心に紹介して行こうと思います。まずは、Templateです。ディストリビューション名は Template-Toolkit というので、TT と呼ばれます。  CPAN は、こういったトップレベル（モジュール名に :: がつかない）の名前空間はよほどのものでないと使わないようにということになっています。いちおう。その点、Template は「テンプレート」を名乗るにふさわしい、一級のモジュールです。 要するに Perl 版 JSP と言えば早いでしょうか。非常に強力なのでテンプレート...
    
2008/1/1 - 内容が薄かったので大幅に書き足しました。


これから数回は、仕事でよく使う大型モジュールを中心に紹介して行こうと思います。まずは、Templateです。ディストリビューション名は Template-Toolkit というので、TT と呼ばれます。 

CPAN は、こういったトップレベル（モジュール名に :: がつかない）の名前空間はよほどのものでないと使わないようにということになっています。いちおう。その点、Template は「テンプレート」を名乗るにふさわしい、一級のモジュールです。

要するに Perl 版 JSP と言えば早いでしょうか。非常に強力なのでテンプレート側でいろいろできちゃったりしますので使い方はあなた次第、という感じです。が、いざという時（きれいなロジックを書いてるヒマがなかった時とか...）助かります。

コード側は簡単で、以下のように使います。

use Template;

# インスタンスを作成し、
my $tt = new Template;

my $vars = { 
    name => "とみた", 
    age => 28, 
};

# test.tt テンプレートファイルに $vars をバインドして出力
$tt->process('test.tt', $vars)
    or die $tt->error;


process() メソッドだけ覚えておけばよく、1番目がテンプレート、2番目が変数のハッシュです。test.tt ファイルには、例えば以下のように書いておくと、 

「[% name %]さん、あと[% 30 - age %]才で30ですよ」


「とみたさん、あと2才で30ですよ」と出力されます。テンプレートファイルの拡張子は何でもいいですが、TT なので .tt とする人が多いです。

1番目の引数にはファイル名以外に、ファイルハンドルやテキストそのものも渡せます。これらを渡すときはリファレンスで渡します。

$tt->process(*DATA, $vars); # DATAファイルハンドル

my $text = "My name is [% name %].";
$tt->process($text, $vars); # テキストのリファレンス


私はこれのようにコネタ系 CGI を書くときDATA ファイルハンドルを使ったりします。一つのファイルに __DATA__ 前後でまとめて入れられるので気に入っています。

process() はデフォルトは標準出力に結果を出しますが、結果を変数、例えば $out に入れたい場合は3番目に格納先変数をリファレンスで渡します。

$tt->process('template-test.tt', $vars, my $out)
    or die $tt->error;


シンタックス 基本編

では、そんな TT の強力っぷりについてできるだけ説明してみます。それぞれ簡単にしか説明できないので、詳しくはそれぞれの項目に置いた POD のリンクも参照してください。


TT タグ（POD）

基本は [% と %] 内が TT エリアとなりますが、インスタンスを作るときの TAG_STYLE オプションで <? ?> とか <% %> とか <!-- --> とかに好きに設定できます。

my $tt = new Template({ 
    TAG_STYLE => 'html', # <!-- と --> を使う
});


他にもテンプレート内で指定しちゃうこともできます。途中から変えるのも有り。

[% foo.bar %]...
[% TAGS html %] ここからは HTML コメントスタイル
<!-- foo.bar -->
<!-- TAGS default --> ここから戻る
[% foo.bar %]...

TT タグ前後の改行（POD）

『こんにちは
[% IF name %]
、[% name %]さん
[% END # IF %]
。』


は

『こんにちは
、とみたさん
。』


と出力されます。HTML の場合改行は問題なかったりしますが、以下のように TT タグの内側にハイフンをつけるとその方向の空文字が消え、『こんにちは、とみたさん。』とつながって出ます。

『こんにちは
[%- IF name %]
、[% name %]さん
[% END # IF -%]
。』

変数へのアクセス（POD）

$tt->process('test.tt', {
    name => 'とみた',
    hatena => 'tomi-ru',
    skill => ['迷子', '寝坊'],
    favorite => {
        game => 'ドラクエ３',
        movie => 'インディペンデンスデイ',
    },
    birthday => DateTime->new(year=>'1979', month=>'1', day=>'4'),
    hello => sub {
        my $word = shift;
        return "こんにちは $word。";
    },
});


というような形で変数があった場合、以下のようにアクセスします。Ruby のように ドットでたどります。TT は HTML で使うことが多いので、-> でなくドットでたどれるのはいい感じです。

<dl>
    <dt>名前:</dt>
    <dd>[% name %]</dd>
    <dt>特技:</dt>
    <dd>[% skill.0 %], [% skill.1 %]</dd>
    <dt>好きな映画: </dt>
    <dd>[% favorite.movie %]</dd>
    <dt>誕生日:</dt>
    <dd>[% birthday.strftime('%Y年%m月%d日') %]</dd>
    <dt>ひとこと:</dt>
    <dd>[% hello("みなさん") %]</dd>
    <dt>はてな:</dt>
    <dd>[% "http://d.hatena.ne.jp/" _ hatena _ "/about" %]</dd>
</dl>


なお、_で始まる変数は変数側では参照できません。
四則演算（POD）・ 比較（POD）

+ - * / % and or not ?: は Perl と同じに使えます。文字列の連結だけ . じゃなくて _ になります。比較演算子も == != < <= > >= && || ! and or not が Perl と同じに使えます。

[% 30 - age <= 0 ? "もう" _ age : "まだ" _ age %]

仮想メソッド（POD）

どんな変数にもくっつけることができるスーパーオブジェクト関数のようなものがたくさん用意されていて、文字列操作が多いテンプレートまわりで役立ちます。よくできた言語になっています。以下は一例です。

[% date = "2008-01-01";
   date.remove('^200[0-9]-');  # 01-01
   date.replace('-0?', '/');  # 2008/1/1
   date.split('-').join('/');  # 2008/01/01
   date.search('^2008');  # true(1)


   m = date.match('(d+)-(d+)-(d+)');
   m.0;  # 2008


   abc = ["z", "a", "a", "b", "c"];
   abc.size;  # 5
   abc.unique.sort.join('/');  # a/b/c/z


   map = {
      one => 1,
      two => 2,
      three => 3,
   };
   map.keys;  # ["one", "two", "three"] ※順不同
   map.values.sort.join('-');  # 1-2-3
%]


例のように、[% %] 内に複数の文を入れるときは、セミコロンで区切ります。また、# 以降はコメントとなります。
フィルタ（POD）

HTMLエスケープなどの最終処理用に、| を使ったフィルタというシンタックスがあり、デフォルトでよく使うものが複数用意されています。

[% title | html %]


html や uri、改行を <br /> に変える html_line_break なんかを良く使います。HTML エスケープして改行を <br /> にする場合は以下のようにつなげます。

<p>[% daily.body | html | html_line_break %]</p>

IF文など制御構文（POD）

TT の制御構文キーワードは大文字で、Perl とは少し違います。どれも END で終われるので、ネストした時にわかるよう、END # IF とかするとわかりやすいです。


IF

[% IF a == "A" and (b <= 3 and c > 4) %]
foo
[% ELSIF not d %]
bar
[% ELSE %]
gee
[% END # IF %]

SWITCH

[% SWITCH x %]
[% CASE "A" %] Aの時（breakはいらないです）
[% CASE ["B", "C"] %] BかCの時
[% CASE %] 指定しないと、それ以外
[% END # SWITCH %]

リストと FOREACH

[% var = ["a", "b", "c", "d", "e"] %]
<ul>
[% FOREACH v = var;
      NEXT IF v == "b";
      LAST IF v == "e";
%]
<li>[% v %]</li>
[% END # FOREACH %]
</ul>

ハッシュと FOREACH

[% unit = {
      ja => 'yen',
      us => 'dollar',
      eu => 'euro',
   }
%]


[% FOREACH u IN unit %]
* [% u.key %]: [% u.value %]
[% END # FOREACH %]

ハッシュのリストと FOREACH

[% rank = [
      { name => 'usagi', color => 'white' },
      { name => 'kame',  color => 'green' },
   ];
%]


[% FOREACH r IN rank %]
No.[% loop.count %]
   [% r.name %] ([% r.color %])
[% END # FOREACH %]


※ loop というのは FOREACH 内部で利用できる特別な変数で、count 以外に index などがあります。どの FOREACH 内でも利用できます。
WHILE

[% WHILE (row = rs.next) %]
[% row.id %] - [% row.name %]
[% END # WHILE %]




シンタックス 発展編


WRAPPER（POD）

HTML出力に TT を使う場合、共通ヘッダやフッタ部分などをまとめたいという話が出てくると思います。もちろん普通の INCLUDE のしくみもありますが、WRAPPER という仕組みが便利です。まず、

<html>
<head>
<title>[% title _ " - " | html IF title %]<title>
[% IF jquery %]
<script type="text/javascript" src="jquery.js"></script>
[% END %]
</head>
<body>
[% content %]
</body>
</html>


という [% content %] を含むテンプレートを、例えば wrapper.tt という名前で用意しておきます。そして、test.tt を WRAPPER ディレクティブで囲みます。

[% WRAPPER wrapper.tt;
   title = "目次"
   jquery = 1
%]


コンテンツ


[% END # WRAPPER %]


これで、$tt->process('test.tt') すると、WRAPPER ディレクティブ内が wrapper.tt の [% contents %] のところに埋め込まれます。コンテンツの上下にヘッダとフッタを2回 INCLUDE するよりわかりやすいです。ラッパーの方でも呼び出し元テンプレートの変数を参照できますので、例のようにタイトルとかを渡すと良いです。

ちなみに、FOREACH の中の loop のように、TT が用意する特別な変数があって、template と component というのがあります。


[% template.name %] にはラッパーした側 された側 関係なく $tt->process された大元のファイル名が入っています。
[% component.name %] にはラッパーした側 された側 関係なく、自分のファイル名が入っています。


META で template に簡単な変数を入れることもでき、タイトル名などはここに入れて渡すのを好む人もいるようです。
USE プラグイン（POD）

それでも不足がある場合は、プラグインで強化することができます。たとえば


Template::Plugin::Dumper を使うと TT 内で Dumper できます。プラグインは以下のように USE 構文を使い Template::Plugin:: 以降を指定します。 

[% USE Dumper %]
[% Dumper.dump(template) %]



Dumper など TT に同梱のプラグインもけっこうありますが、 ほかにもたくさんのプラグインが Template::Plugin:: 名前空間にあります。TT は人気があるので、かゆいところに手がとどくのが揃っているわけです。たとえば、


T::P::Comma は、数値をカンマ区切りするフィルタを追加してくれます。10,000 とかになります。

[% USE Comma %]
&yen; [% yen | comma %]

T::P::Clickable という、URL ぽいものを <a> タグでリンクにしてくれるフィルタもあります。 

[% USE Clickable %]
[% entry | html | clickable %]

T::P::JapanesePrefectures は、よくある都道府県 <select> を作るのを楽できます。 

[% USE prefs = JapanesePrefectures('utf-8') %]
<select name="pref">
    <option value="">選択してください</option>
    [% FOR p IN prefs.prefectures %]
    <option value="[% p.name | id %]">[% p.name %]</option>
    [% END %]
</select>




SEE ALSO

Template, 良く使う部分の和訳

和訳されていませんが、専門に扱った書籍が出ています。 



その他プロダクションでも使われる View モジュールには、Mason や HTML::Template などがあります。 
]]>
    
    tomita
    2007-02-25T03:01:00+09:00


    
    http://e8y.net/mag/007-www-mechanize/
    WWW::Mechanize を使うと、人間がブラウザですること （URL を開き、リンクをたどり、ID・Pass を入力、ログインボタンを押す…） を Perl にエミュレートさせることができます。略称 Mech（メック）。あまりに簡単・便利なのでなにかと悪用されることも多いモジュールです（うそです）。 Perl での HTTP 通信まわりは、LWP (libwww-perl) ファミリーが担当しており、ウェブの HTTP リクエストは LWP::UserAgent モジュールを使って操作します。 Mech はその LWP::UserAgent の高度なラッパーモジュールです。LWP::Us...
    WWW::Mechanize を使うと、人間がブラウザですること （URL を開き、リンクをたどり、ID・Pass を入力、ログインボタンを押す…） を Perl にエミュレートさせることができます。略称 Mech（メック）。あまりに簡単・便利なのでなにかと悪用されることも多いモジュールです（うそです）。


Perl での HTTP 通信まわりは、LWP (libwww-perl) ファミリーが担当しており、ウェブの HTTP リクエストは LWP::UserAgent モジュールを使って操作します。

Mech はその LWP::UserAgent の高度なラッパーモジュールです。LWP::UserAgent の 全機能に加え、cookie の処理やヒストリ（戻るボタンに相当）、HTMLを人が見るように扱えるよう解析、といった処理を自動で行なってくれる賢いモジュールです。素で LWP::UserAgent を使ってやることもできますがかなりめんどうです。

しかも使い方は簡単で、 

use WWW::Mechanize;
my $mech = new WWW::Mechanize( autocheck => 1 );


と、インスタンスを作成した後、

$mech->get("http://www.google.co.jp/");
$mech->submit_form(...
$mech->get(...


というように、Mech のメソッドを並べブラウジングをエミュレートしていきます。

（なお、new に渡した autocheck => 1 は、リクエストに失敗した時そこで die するという意味です。autocheck しない場合は $mech->success などで手動でチェックする必要があります）

Mech のメソッドはいろいろありますが、基本的に以下の3つのメソッドだけで、行きたいページまでたどれるはずです。 


get() 

引数で指定したURLを開きます。

$mech->get('http://www.google.co.jp/blogsearch?hl=ja&amp;q=link:e8y.net&amp;scoring=d');

follow_link() 

今いるページ内で、引数で指定した条件のリンクを探し、クリック（移動）します。指定できる条件には

url     - そのリンクのURL。a タグなら href の値
url_abs - 絶対パスにしたもの。http://e8y.net/index.html にある 
           <a href="/blog/" は http://e8y.net/blog/ となる。
text    - そのリンクのタグの innerHTML
name    - name 属性の値
tag     - タグ名。a や frame、iframe のように小文字で来ます


例えば、

$mech->follow_link(text => "もっと読む");


で、「もっと読む」というリンクを探しクリックしたように遷移します。

それぞれの条件名の後に _regex をつけると、正規表現で指定できます。あと、 n => でその何番目、というのを指定できます（指定しない場合は、最初に見つかったリンクに飛びます）。これらは、好きに組み合わせることができます。

$mech->follow_link( 
    text_regex => qr/^全てを見る/,
    url_abs_regex => qr{^http://mixi.jp/},
    n => 2,
);


これで、『テキストが「全てを見る」で始まり、mixi.jp のドメイン内のリンクで、2番目にあるもの』をクリック となります。  
submit_form() 

引数で指定した要領でフォームをクリックし次へ進みます。以下のように、fields => にハッシュリファレンスの形でフォームの値を指定します。

$mech->submit_form(
    fields => {
        email => 'test@example.com',
        password => 'p4ssw0rd',
    },
);


follow_link と同じように、何も指定しない場合は一番最初に出てきたフォームに対して処理が行なわれます。なので、引数なしでただ $mech->submit_form() を実行すると、ページの最初のフォームのデフォルト値そのまま送信されます。

フォームが複数ある場合は form_number =>（何番目）や form_name =>（nameの値）で明示的に指定することもできます。また、フォームの中に Submit ボタンがたくさんある場合には button =>（nameの値） で指定できます。たいていは fields => だけでよいと思います。  


そして、現在の HTML の内容そのものは $mech->content で取得できます。

EXAMPLES

Mixiにログインし、足あとページを取得

my $mech = new WWW::Mechanize( autocheck => 1 );

# トップにアクセスし、
$mech->get('http://mixi.jp/');

# ログイン。
$mech->submit_form(
    fields => {
        email => 'your-email@example.com',
        password => 'p4ssw0rd',
    },
);
$mech->get('http://mixi.jp/home.pl');

# 足あとページに遷移
$mech->get('http://mixi.jp/show_log.pl');

print $mech->content;


ちなみに Mixi 用は WWW::Mixi という専用モジュールもあります。Plagger にもプラグインがあります。Plagger については、またいずれ。。.

定時打刻

もっと黒い使い方だと、Desknet's のようなウェブアプリで出退勤管理している会社の場合..

my $mech = new WWW::Mechanize( autocheck => 1 );

# ここでは NEOJAPAN 社のデモサイトを使わせてもらいます。
$mech->get('http://www.desknets.com/standard/product/demo/');
$mech->follow_link(url_regex => qr{/cgi-bin/demo/dnet/dnet.cgi});

# ログインし...
$mech->submit_form(
    fields => {
        uid  => 2, # 山田太郎
       _word => '',
        save => 1,
    },
);

# 出勤！
$mech->submit_form(
    button => 's_go',
);


これを cron にしこめば。。。あ、ぼくはやってるわけじゃありません。あくまで例です！ 笑

実際にやったお遊びな例では、

出前館でピザを取る

このファイルを参照。出前館というサイトにログイン → 適当なピザを選択 → 注文までを実行しています。こんなこともできますよ、という例として。

あとこの時は、HTTP::Recorder というモジュールを使い、ブラウザの操作を自動で Mech スクリプトとして記録させる、という面白いこともやっています。当時のエントリの下のほうに書いていますので、興味のある方はご覧ください。 

JavaScript

さて、遊びだけではなく、ウェブアプリケーションのテストモジュールといったまじめな用途にも向いてます。これは、Test::WWW::Mechanize としてテストモジュール化されています。

ただ、Mech は賢いのですが JavaScript の動作はエミュレートしません。なので、Ajax 部分などクライアント側のテストには向いていません。

クライアント側の挙動のテストを行なうには、実際のブラウザのエンジンを使うのが一番でしょう。これは、Selenium というウェブアプリテストスイートがあります。

Selenium コアは JavaScript によるアプリですが、ドメインをまたげない制限を回避するソリューションとして、プロキシサーバーとして動作する Selenium RC という Java アプリも用意されています。そのプロキシサーバーに対しては各種プログラミング言語から直接テストをたたく API が用意されていますが、Perl 用も WWW::Selenium として CPAN にあります。

Mech については、文字コードまわりやファイルのダウンロード＆保存など、まだ話は尽きませんが、関連モジュールを扱うときなどにまた取り上げようと思います。

SEE ALSO

WWW::Mechanize, WWW::Mechanize 和訳 

和訳のあるモジュールについては和訳のリンクも載せることにしました。ただ、CPAN モジュールの英語はコードが間に入るのでそんなに難しくないので挑戦してみてください。Mech のドキュメントはわかりやすいお手本のような英語です。

Spidering hacks という本には、Mech を使ったサンプルが多数載っています。 


]]>
    
    tomita
    2007-02-18T21:03:00+09:00


    
    http://e8y.net/mag/006-cpan-mini/
    これまで、軽めのモジュールを何個か取り上げてきましたが、「なんだこんなもんか」とナメられても困るので、次回あたりからそろそろ気合を入れ大型モジュールを取り上げようかと思います。 それに先立って、CPANモジュールを全部ローカルに落としておくといいです。  大型モジュールは依存モジュールも相当ありますが、全部ローカルにあればインストールが当然超ー速いです。今回はそれをするためのモジュールの話です。 http://www.cpan.org/ の右上に現在の CPAN モジュールの総数、サイズが出ています。1995年から10年以上にわたって蓄積され続けている CPAN モジュールですが、現時点で 1...
    これまで、軽めのモジュールを何個か取り上げてきましたが、「なんだこんなもんか」とナメられても困るので、次回あたりからそろそろ気合を入れ大型モジュールを取り上げようかと思います。


それに先立って、CPANモジュールを全部ローカルに落としておくといいです。 

大型モジュールは依存モジュールも相当ありますが、全部ローカルにあればインストールが当然超ー速いです。今回はそれをするためのモジュールの話です。

http://www.cpan.org/ の右上に現在の CPAN モジュールの総数、サイズが出ています。1995年から10年以上にわたって蓄積され続けている CPAN モジュールですが、現時点で 10,000 強のモジュール、総容量 3.5GB 程度あるらしいです。ただし、各モジュールの最新版だけ集めると、実は660MB程度です。まだ CD 1枚に入るんです。

CPAN::Mini というモジュールがその最新版全部の一括ダウンロード・更新管理をしてくれます。まずは CPAN::Mini をインストールしてください。CPAN::Mini を入れると、（昨日の corelist のように） minicpan というコマンドがいっしょに入ります。

こうやって使います。

> minicpan -r http://ftp.cpan.jp/ -l ~/minicpan


これで、リモートの http://ftp.cpan.jp/ から、ローカルのホームディレクトリに minicpan というディレクトリを作り、そこに一式ダウンロードを開始します。リモートサイトはCPANミラーの他のサイトでもOKです。ftp.cpan.jp は落ちてることが多い気がします。

ネットワーク状況にもよりますが、初回だけは30分?1時間くらいかかると思います。2回目以降は、新規追加・更新があったモジュールだけ入りますので、すぐ終わります。

完成したら、cron などでこのコマンドが1日1回とか動くようにしておくとよいです。-q をつけるとエラー以外は出力されないのでそうするとよいでしょう。 

0 3 * * * minicpan -q -r http://ftp.cpan.jp/ -l ~/minicpan


次に、この ~/minicpan からインストールするように cpan 側を設定します。~/minicpan が /home/tomi/minicpan な場合は、

$ su
# cpan
cpan> o conf prerequisites_policy follow
cpan> o conf urllist unshift file:///home/tomi/minicpan
cpan> o conf
cpan> o conf commit
cpan> q


こんなかんじで、ローカルの ~/minicpan を優先できます。

o conf prerequisites_policy follow は、依存モジュールがあった時の 「インストールしますか？ [Y/n]」 みたいなとき、自動で Y を選ぶ、というオプションです。 

SEE ALSO

CPAN::Mini
]]>
    
    tomita
    2007-02-16T04:01:00+09:00


    
    http://e8y.net/mag/005-module-corelist/
    
    ぜんぜん日刊じゃないじゃないか！と言われそうなので、こっそり発行周期を「ほぼ日刊」に改めた今日のCPANモジュールです。


さて、前々回の Fatal は、“コア”モジュールでした。つまり、Perlと一緒に入ってくるので別途インストールが不要なモジュールです。前回の App::Options は、コアじゃないのでインストール（> sudo cpan App::Options）が必要です。

あるモジュールが、コアなのかコアじゃないのか、また Perl のバージョンいくつからバンドルされているのか、そのあたりを調べることができるのが Module::CoreList です。

インストールすると、corelist というプログラムが /usr/local/bin などパスの通ったところにインストールされます。 

使い方は、corelist に聞きたいモジュール名を渡すだけです。 

> corelist Fatal

Fatal  was first released with perl 5.00307


Fatal は Perl 5.3 のころからコアであることがわかります。

ほかに、例えば CGI というモジュールはコアなのですが、バージョン3.06で文字コードまわりの動作変更がありました。そこで、最近の Perl にはバージョン何がバンドルされてるのかな、と調べるときは -a を使います。

> corelist -a CGI

CGI  was first released with perl 5.004
  5.004      2.36      
  5.00405    2.42      
  5.005      2.42      
  5.00503    2.46      
  5.00504    2.46      
  5.006      2.56      
  5.006001   2.752     
  5.006002   2.752     
  5.007003   2.80      
  5.008      2.81      
  5.008001   3.00      
  5.008002   3.00      
  5.008003   3.01      
  5.008004   3.04      
  5.008005   3.05      
  5.008006   3.05      
  5.008007   3.10      
  5.008008   3.15      
  5.009      3.00      
  5.009001   3.04      
  5.009002   3.07      
  5.009003   3.15_01


と、Perl 5.8.7 から 3.06 以上が入っていることがわかります。ちなみに、点2個を使うバージョン表記を小数表記すると 5.8.6 = 5.008006 です。

corelist に聞くモジュール名は大文字小文字正しい必要がありますが、よくわからないときは正規表現風に スラッシュではさんで渡すとそう解釈してくれます。さて、Module::CoreList そのものはコアでしょうか？ 

> corelist /::corelist/i

Module::CoreList  was first released with perl 5.009002


perl 5.9.2 から、ということですね。5.8 系の場合は corelist を使う前に cpan Module::Corelist する必要があります。

Perl では、この点2個形式で真ん中の数字が偶数＝正式リリース、奇数＝開発版という意味で、5.9.x は 5.10 へ向けての開発版ということです。つまり、Module::CoreList は 5.10 から晴れてコア入りするらしいことがわかります。

他のオプションは、corelist --help するか、PODを参照してください。 

Module::CoreList のように、インストールすると、そのモジュール自身を使った小さなプログラムをインストールしてくれるタイプのはけっこうたくさんあります。App::Ack の ack とか、LWP の GET や HEAD など。いずれとりあげます。

SEE ALSO

Module::CoreList, corelist
]]>
    
    tomita
    2007-02-15T04:32:00+09:00


    
    http://e8y.net/mag/004-app-options/
    コマンドライン型プログラムで、引数を受け取る部分の話題です。たとえば、 hoge.pl --name="Tomita Naoki" --age=28 --debug というように引数を指定した場合、プログラム側では name が "Tomita Naoki"、debug は true というように受け取りたいわけです。 受け取るだけじゃなく、こんな要件もあろうかと思います。  name と age は必須にしたい age は数字だけ受け取れるように name のデフォルト値は Unknown に --help が指定された場合は Usage を表示して終わる GetOptions + pod2...
    コマンドライン型プログラムで、引数を受け取る部分の話題です。たとえば、


hoge.pl --name="Tomita Naoki" --age=28 --debug


というように引数を指定した場合、プログラム側では name が "Tomita Naoki"、debug は true というように受け取りたいわけです。

受け取るだけじゃなく、こんな要件もあろうかと思います。 


name と age は必須にしたい
age は数字だけ受け取れるように
name のデフォルト値は Unknown に
--help が指定された場合は Usage を表示して終わる


GetOptions + pod2usage を使う方法

このとき、よく使われて、かつ悪くないのは、Getopt::Long と Pod::Usage の組み合わせです。Getopt::Long まわりは幾つかの書き方がありますが、こんな感じです。

use Getopt::Long;
use Pod::Usage;

my %argv = (
    name => 'Unknown',
    age  => '',
);

GetOptions(
    \%argv,
    "name=s",
    "age=i",
    "debug",
    "help",
) or $argv{help}++;

pod2usage(2) if $argv{help};

# 処理...
print "Hello $argv{name}.


";

=head1 SYNOPSIS

使い方...

=cut


この GetOptions + pod2usage の組み合わせがいいのは、両方ともコアモジュールだという点です。しかし、CPAN には上記例をもっと簡単便利に書けるモジュールが超たくさんあります。

App::Options を使う方法

中でもぼくのお気に入りは App::Options です。 

これだと上の例がこうなります。

use App::Options(
    option => {
        name  => "type=string; required; default=Unknown;",
        age   => "type=integer;",
        debug => "type=boolean",
    },
);

# 値は %App::options ハッシュの中に入ります
print "Hello $App::options{name}.


";

use 文の中ですべてまとまっていることや、シンプルで直感的なのでお気に入りです。

いちおうほかの引数取得系モジュールで琴線にふれたものをメルマガの最後の SEE ALSO に並べておきますので、以下の説明で App::Options にひかれない人は別なのも見てみてください。

賢いのが自動 Usege 機能で、特に指示しなくても --help の時や必須条件をクリアしなかった場合に自動で Usage を表示してくれます。 

> test.pl --age="twenty eight" --name=Tomita

Error: "age" must be of type "integer" (not "twenty eight")
Usage: test.pl [options] [args]
       --help                             print this message (also -?)
       --age=<value>                      [twenty eight] (integer)
       --debug                            [undef] (boolean)
       --name=<value>                     [Tomita] (string)


お気に入りなのですが、日本語での説明を見かけないモジュールなので、少し詳しく解説していきます。

option =>

use App::Options に渡す option という引数にはコマンドラインから取得するキーと、その値の条件を書いていきます。条件は、セミコロンで区切って以下のような各種指示を書けます。


type=...; として、例で使った string、integer、boolean 以外に、float、date（YYYY-MM-DD形式）、time（HH:MM:SS形式）、datetime（YYYY-MM-DD HH:MM:SS形式）が選べます。日付系は便利です。それ以外の場合は、

use App::Options(
    option => {
        gender => 'type=/^(male|female)$/; required;',
    },
);


と正規表現で指定したりできます。
required; もしくは required=1; で「必須」です。
default=...; にデフォルトの値を指定できます。
env=...; というのもあって、コマンドライン引数じゃなく任意の環境変数から値をとるようにする指示を書けます、これも便利なのですが、環境変数の話をまだしてなかったので後で説明します。


使うのは こんなとこですが、ほかのもあげると、description=...; や value_description=...; を指示すると、自動 Usage 表記をカスタマイズできます。セミコロン区切りの文字列ではなく、ハッシュで渡すこともできます。 

use App::Options(
    option => {
        name => {
            type => 'string',
            required => 1,
            default => 'Unknown',
        },
        age => {
            type => 'integer',
        },
    },
);


values =>

use App::Options のところで渡せるオプションには option 以外にいろいろあって、便利なのが values です。デフォルトだと App::Options は %App::options ハッシュ（oが小文字なのに注意）に値を入れていきますが、これを変えることができます。`$App::options{なんとか}" だとちょっと長い？ということでそれを短い %argv にしたい場合はこうです。

my %argv;
use App::Options (
    values => \%argv,
    option => {
        name  => "type=string;",
    },
);

# $App::options{name} ではなく、
print "Hello $argv{name}.


";

短縮化を進むなら %ARGV を使うのもおすすめです。%ARGV は Perl が使う変数ではありませんが、@ARGV などが予約されている関係で、use strict; 下でも my とか our 宣言しないで使える抜け道です。

use App::Options (
    values => \%ARGV,
);

print "Hello $ARGV{name}.


";

print_usage =>

App::Options の自動 Usage が気に入らない場合は、print_usage にサブルーチンを渡すことで置き換えることができます。例えばヘルプは Pod::Usage を使って POD の SYNOPSIS を出したいよ、という場合は以下のようにします。

use Pod::Usage;
use App::Options (
    print_usage => sub { pod2usage(2) },
);

=head1 SYNOPSIS

test.pl --date=2006-02-28

brah brah brah brah brah brah...

=cut


App::Options の自動 Usage も出したいよ、という場合にはデフォルトのも呼び出せばいいです。

use Pod::Usage;
use App::Options (
    values => \%ARGV,
    option => {
        debug => "type=date",
    },
    print_usage => sub { 
        App::Options->print_usage(@_);
        pod2usage(2);
    },
);

=head1 SYNOPSIS

test.pl --date=2006-02-28

brah brah brah brah brah brah...

=cut


さて、書くのが疲れてきました。くわしくは POD を眺めるとだいたいわかると思うのででそろそろ終わりにします。（POD = Perl のソースコード内に書かれるドキュメント形式。ドキュメントという意味で使われることも。）

デフォルトで行われる処理

ただ、App::Options はただ引数処理をするだけではなく、もっと大きな野望をもったモジュールだ、というのを覚えておく必要があります。それがゆえに、ただ引数を取りたいという目的だけだとちょっと余計とも思える動作をします。

App:: というかっこいい名前空間は、P5EE - Perl 5 Enterprise Environment Project で使われていて、大規模なアプリケーション用モジュールを見越したモジュール用とされています。App::Options もそのファミリーであり、いろいろ考えているわけです。どうもP5EE プロジェクトそのものはあまり盛り上がっていないように見えますが、ストップしているわけではありませんし、複数メンバーで全体を見ているようなので、わりと安心して使い続けられます。

まず、コマンドラインで指定しなくても、app, host, prefix, hostname というキーが自動的に設定されます。たとえば app には、ファイル名が test.pl の場合、test という値が入ります。

さらに実は App::Options は、コマンドラインからの引数と環境変数からの値と ini 形式のファイルからの値をブレンドするという機能があり、それが自動で働きます。（no_env_vars => 1; や no_option_file => 1; を use App::Options に渡すことでそちらは無視させることが可能）

環境変数は、APP_なんとか に値を指定しておくと、「--なんとか」の代わりとして使えます。あと option の env 指示でまったく別な環境変数を読ませることもできます。

ini 形式のファイルを読む機能はなかなか高度で、この順番で設定ファイルを探す機能や、プロダクション環境用とステージング環境用の値を書いておいて、app の値でどちらかを選ぶ、などが実装されています。

最近は YAML で設定を書くことが多いので、ぼくはこの機能はほとんど使わず、App::Options を引数の処理だけに使うことが多いです。メンテナーの Stephen に聞いたところ、将来 ini 形式だけじゃなくて、YAML などに対応する予定もあるよ、ということだったので、期待してます。 

SEE ALSO

App::Options, Getopt::Long, Pod::Usage 

Getopt::Casual, Getopt::Euclid, Scriptalicious, Script::Toolbox, Getopt::Auto, App::CLI
]]>
    
    tomita
    2007-02-08T05:56:00+09:00


    
    http://e8y.net/mag/003-fatal/
    
    ファイルを開いてごにょごにょする処理はありがちですが、以下のようなサンプルを見かけることがあります。


$file = "file.txt";
open FH, "< $file" or die "Can't open $file: $!";
while (<FH>) {
    # 処理...
}
close FH or die "Close $file failed: $!";


open や close は、失敗したときに undef を返すので、エラー処理のため or die が2回入ってますが、この何個も並ぶ or die を書かなくてよくなるちょいと便利なモジュールが Fatal です。上の例はこんな感じになります。

use Fatal qw(open close);

my $file = "file.txt";

open my $fh, '<', $file;
while (<$fh>) {
    # ...
}
close $fh;


Fatal が、渡されたサブルーチン（上の例だと open と close） をくるんで、自動で or die してくれます。open や close がだいぶすっきりしました。あとついでに先ほどの例に対してファイルハンドルを変数にしたり open を3引数にと今風に変更してみてあります。

Fatal は Perl 5.00307 以降コアモジュールなので、たいていはどこでも最初から入っています。エラー処理をしつつ、コードもすっきりするのでおすすめです。

:void

一個オプションがあって、:void という特別な名前を渡して use すると、先ほどの例のようなものは普通に Fatal するのですが、if 文の中にあるような、返り値が評価される場合にはたとえ undef が返ってきたとしても Fatal しなくなります。

use Fatal qw( :void open );

if ( open my $fh, '<', $file ) { # Fatalしない
    # 自分で処理を書きたい場合
}

open my $fh, '<', $file; # Fatalする


ぼくはもっぱら open と close にしか使ってないですが、

use Imager;
use Fatal qw( Imager::read );

my $img = Imager->new;
$img->read(file => "dummy");


ていう風に他モジュールのサブルーチンを Fatal 化したり、

sub foo {

}

use Fatal qw( foo );
foo();


みたいに自作のルーチンを Fatal 化するのも一応可能です。どちらも、Fatal が use される前にサブルーチンが宣言されている必要ありですが。あんまりやらないですね。

SEE ALSO

Fatal
]]>
    
    tomita
    2007-02-07T03:28:00+09:00


    
    http://e8y.net/mag/002-strict/
    まあこれは、お気に入りというより、基本なので最初にとりあげておきます。 SYNOPSIS use strict; my $hello = "こんにちは"; print "$helo "; # エラー 使い方は簡単で、スクリプトの最初で普通に use するだけです。  効果としては、上の例のように、宣言してない変数を使った場合（Typoした時とか）などにコンパイルエラーとなります。 Perl は最初は「賢いシェルスクリプト」といった感じでしたが、その過去のバージョンとの互換をたいへん重視して進化してきたため、strict しない状態だとかなりゆるい言語です。が、use strict した Per...
    まあこれは、お気に入りというより、基本なので最初にとりあげておきます。


SYNOPSIS

use strict;

my $hello = "こんにちは";
print "$helo


"; # エラー

使い方は簡単で、スクリプトの最初で普通に use するだけです。 

効果としては、上の例のように、宣言してない変数を使った場合（Typoした時とか）などにコンパイルエラーとなります。

Perl は最初は「賢いシェルスクリプト」といった感じでしたが、その過去のバージョンとの互換をたいへん重視して進化してきたため、strict しない状態だとかなりゆるい言語です。が、use strict した Perl は LL（Lightweight Language） の中でもかなり厳しい言語仕様を身につけます。

使い方のイメージとしては、strict が便利だから、というよりも、さあ始めるかっ！ 的にまずは use strict; を書き入れる感じです。

よく strict に並んで use warnings も並列して上げられ、それも書いておいて間違いはないですが、strict の方がより重要です。モジュールを書く時は、デバッグ時に perl -w したなどの理由で、モジュールそのものには use warnings を書かないケースもあります。

でも use strict は絶対です。use strict されてないモジュールは、作者の品格が疑われる位の扱いです。笑

こういった Perl 紹介系の本・雑誌・メルマガで、どれくらい最初の方で strict に触れるかで内容が見極められてしまうとも思うので、2回目で忘れずに紹介しておきます。 

ちなみにこういった小文字から初まるモジュールをプラグマモジュールと呼びます。コンパイル時に影響を及ぼすモジュールという意味です。

次回からは普通にお気に入りのモジュールを適当に紹介していきます。 

SEE ALSO

strict
]]>
    
    tomita
    2007-02-06T03:09:00+09:00


    
    http://e8y.net/mag/001-cpan/
    なかなか身近に Perl 好きが現れないなあ・・と思い、 とつぜんですが、メルマガを始めてみることにしました。この時代にメルマガ！？というのも面白いかと。 Perl の面白さは CPAN モジュール にあります。 PHP、Python、Java、Ruby といろいろさわって来ましたが、他の言語に比べ Perl のライブラリ（モジュール）は仕事の範囲が小さく多岐に及んでいる、という特徴がある気がします。  つまり、細かい部品を組み合わせてものを作るというイメージです。その部品は CPAN に1万以上あるのですが、これだけあると最初はなかなかとっつきにくいです。また、CPAN が発達した理由には玉...
    なかなか身近に Perl 好きが現れないなあ・・と思い、 とつぜんですが、メルマガを始めてみることにしました。この時代にメルマガ！？というのも面白いかと。


Perl の面白さは CPAN モジュール にあります。

PHP、Python、Java、Ruby といろいろさわって来ましたが、他の言語に比べ Perl のライブラリ（モジュール）は仕事の範囲が小さく多岐に及んでいる、という特徴がある気がします。 

つまり、細かい部品を組み合わせてものを作るというイメージです。その部品は CPAN に1万以上あるのですが、これだけあると最初はなかなかとっつきにくいです。また、CPAN が発達した理由には玉石混合を認めるという文化があるのです（だからいろんなのがあっておもしろい）が、最初は「どれが玉？」というのもあると思います。

このメルマガでは、「これはおすすめ」というものや、「最近達人たちが注目してるのはこれ」てなモジュールを1回1個形式でお届け。冨田の私見ですが。とりあえずは1日1個ペースでいける・・と思います。

第一回目は最初なので そのまま CPAN というモジュールです。 

CPAN は Comprehensive Perl Archive Network の略で、Perl そのものやモジュール郡を保管してあるサイト（プロジェクト）の名前です。 

http://www.cpan.org/ （モジュールの検索ページは http://search.cpan.org/）

cpan

そのモジュール郡は tar.gz 形式でUPされており、linux 系でインストールするには、

wget http://search.cpan.org/../Hoge-Hoge-0.01.tar.gz # ダウンロードして
tar zxvf Hoge-Hoge-0.01.tar.gz  # 解凍、
cd Hoge-Hoge-0.01
perl Makefile.PL  # これで make コマンド用ファイルが作成される
make          # あとは普通のプログラム的に make で
make test
sudo make install


が基本的な形です。

で、上記ダウンロード?インストールまでを簡略化するためのモジュールがあり、その名も CPAN です。CPAN は Perl が入ってたらすでに入ってると思いますが、入ってない場合はここから落としてきて、上記手順で make install すると入ります。

インストールされると、cpan というコマンドも入ります。これが、ダウンロードからインストールまでやってくれるものです。

$ su
# cpan
cpan>              # cpanシェルに入る
cpan> install Hoge::Hoge
cpan> q


最初いろいろ聞かれますが、ネットワークにつながったマシンなら適当ーに Enter でいいはずです。

もしくは、

# cpan Hoge::Hoge


とか

$ sudo cpan Hoge::Hoge


これでもOKです。 

こんな感じで cpan コマンドを使えるなら、続く号もすぐ試せて面白いと思います。

SEE ALSO

CPAN

まるごとPerlはとっかかりの部分が比較的丁寧に説明されています。 


]]>
    
    tomita
    2007-01-27T22:24:53+09:00