2606-36J

Twitter account/update_profile_image API

2010-08-12T12:21:00.002+09:00

こんなところで注意喚起しても、って気がしますが、
７月中旬くらいまで動いていた account/update_profile_image APIが突然動かなくなった皆さんへ。

http://twitter.com/account/update_profile_image.xml
を
http://api.twitter.com/1/account/update_profile_image.xml
に変えると直る可能性が高いと思われます。

国内外でいろいろなサンプルコードが twitter.com を利用しているため、
TwitterのAPIドキュメントが api.twitter.com を指していても気付かない人が国内外で多数発生。
twitter.comが突然期待通りに動作せず、且つAPIからは200のステータスが返ってきた事で余計に混乱。

Amazon SimpleDBをPythonから使う(2)

2010-03-25T19:15:00.003+09:00

昨日に引き続いてPythonでbotoを使ってSimpleDBを使う。
検索まではうまくできたものの、selectやqueryで検索した時に、じゃあその結果についてるキーは何なのよ、悩んだ結果、wikiに載ってました。。


from boto.sdb.connection import SDBConnection

domain = 'mydomain' # ドメイン名
key = 'abcde' # 一意となるキー名

# 接続
c = SDBConnection()
# 既存のドメインから探す
d = c.lookup(domain)

# SimpleDB Query Languageで検索
rs = d.select("select * from `%(domain)s` where 'aaa'='bbb'" % {'domain': domain})
# 戻り値はResultSetオブジェクトへのイテレータなので、nextメソッドで中身を取り出す。
item = rs.next()

print item.name # キーはコレ

Amazon SimpleDBをPythonから使う(1)

2010-03-24T18:59:00.004+09:00

今更ながらSimpleDB(以下、SDB)を使ってみた。
使用言語はPython。PythonからAWSを使うときにはbotoが便利なのでこれで何とでもなるでしょう、という思い込み。
(S3で使うぶんには特に不満はなかったが、SDBに関しては微妙な部分もある。)

今回の利用にあたっては、2つのキーを.bashrcに書いて環境変数として利用している。


export AWS_ACCESS_KEY_ID=
export AWS_SECRET_ACCESS_KEY=

まずはデータを入れる方法。


from boto.sdb.connection import SDBConnection

domain = 'mydomain' # ドメイン名
key = 'abcde' # 一意となるキー名

# 接続
c = SDBConnection()

# 既存のドメインから探す
d = c.lookup(domain)
if not d:
 # 該当するドメインがなかったら新たに作る
 d = c.create_domain(domain)

# 指定したキーで既存のデータを探す
item = d.get_item(key)
if not item:
 # 該当するデータがなかったら新たに作る
 item = d.new_item(key)
item['aaa'] = 'bbb'
item['ccc'] = {'ddd': 'eee', 'fff': 'ggg'}
# SDBへ保存
item.save()

lookupやget_itemは該当するデータがなければNoneが返ってくるので、
これを使ってキーのみならずドメインもinsertとupdateを共通化できる。

次にデータの取得だが、キーを基に一本釣りする場合は、


from boto.sdb.connection import SDBConnection

domain = 'mydomain' # ドメイン名
key = 'abcde' # 一意となるキー名

# 接続
c = SDBConnection()
# 既存のドメインから探す
d = c.lookup(domain)
# キーを指定してデータを取得
item = d.get_item(key)

といった感じで簡単。

ハマったのはqueryを使ってkey-valueのvalueについて条件を付けて検索をする場合。
AWSではSimpleDB Query LanguageというSQLと同じような記述で検索するクエリー言語があるわけですが、botoで使う場合にはselectメソッドが前提らしい。一見似たようなqueryメソッドとかget_with_attributesメソッドは条件の指定方法が全然違ったりする。


from boto.sdb.connection import SDBConnection

domain = 'mydomain' # ドメイン名
key = 'abcde' # 一意となるキー名

# 接続
c = SDBConnection()
# 既存のドメインから探す
d = c.lookup(domain)

# SimpleDB Query Languageで検索
rs = d.select("select * from `%(domain)s` where 'aaa'='bbb'" % {'domain': domain})
# 戻り値はResultSetオブジェクトへのイテレータなので、nextメソッドで中身を取り出す。
item = rs.next()

selectメソッドの方がSQLライクに条件を設定しやすくて良いのですが、ついでにqueryメソッドを使った場合はコチラ。


from boto.sdb.connection import SDBConnection

domain = 'mydomain' # ドメイン名
key = 'abcde' # 一意となるキー名

# 接続
c = SDBConnection()
# 既存のドメインから探す
d = c.lookup(domain)

# queryメソッドで検索
rs = d.query("['aaa' = 'bbb']")
# 戻り値はResultSetオブジェクトへのイテレータなので、nextメソッドで中身を取り出す。
item = rs.next()

ドメインを明示しなくて良かったり、一瞬queryメソッドの方が良さそうに見えるのですが、queryメソッドで条件を複数設定したり、order句を付ける方法が今のところ無い気がします。

これで快適にkey-valueで配列とか辞書型とか放り込んで自由なデータの持ち方ができる！と思い、調子に乗って(?)valueに階層を掘っていったとしても、下の階層はselectメソッドを使っても検索の対象とならないので注意！

CentOS5.3のAMI作成（再び）

2009-10-30T12:26:00.003+09:00

Amazon EC2でサーバを構築する際のベースには以前作ったCentOS5.3のイメージを使用しているのですが、相変わらずKernelが2.6.18だったり、ディスク容量が1GBだったりして使い勝手が良くないために手直しすることにしました。
実際にはKernelは起動時にAmazonが提供しているAKIを選択できるのですが、選ぶ作業も地味に煩わしいのでFedra用と思われる2.6.21をデフォルト選択するようにしつつ、ディスク容量は/(root)ディスクの最大容量10GBに。
作っている途中で作業を誤って元々作ってあったCentOS5.3のイメージをS3上で上書きして駄目にしたりしましたが無事に起動が確認できたのでpublicに。
これまで使っていた2.6.18のカーネルと比べて違うのは、提供されているモジュールの種類が増えているのが一番大きいところ。モジュール群も/lib/modules以下に展開済みなのですぐにmodprobeできます。難点はAMIのサイズが大きくなったので起動に時間がかかるところでしょうか。

AMI ID:ami-d36182ba
Manifest: tmhrnskw.com/AMI/CentOS5.3-i386.manifest.xml

TDA7491KITの組み立て

2009-09-30T11:41:00.002+09:00

Arduinoをやるにせよ、電子工作経験が少ない私としては組込み分野というのはわからないことだらけなので基本に立ち返っていろいろ勉強してみる事にしました。そして電子工作の初歩といえばアンプでしょ、とあまり根拠のないところから始めてみることに。

「そもそもアンプって増幅させる装置ということでしょ？プレーヤーのボリューム大きくすれば音量なんて大きくなるのに、それを作ることの意味ってイマイチよくわからない」というあたりからスタートしているのでいろいろ調べれば調べるほどにこれまでの無知を思い知らされます。

そもそも個人的には自宅でのアンプ需要ってあまりないのだけれど、作る以上は方向性を決めなければいけません。最近は専ら買ったCDをiTunesで取り込んでiPodで聴いている事が多いので、CDプレーヤを用意するよりはiPodをソースとした方が使いやすい。となればBOSEのこういうのとかiPod Hi-Fiをイメージして音楽を再生しつつ充電もできるものにしようかと。

アンプ自体についてはいろいろ調べてみたところ、ICにもいろいろ種類があってオペアンプとかパワーアンプとかあるらしいですが、パワーアンプのICを使えばできそうだと思って買い出しへ。ところが事前に調べたICが秋葉原で探しまわっても売ってない！秋葉原で電子工作のパーツが見つからないという事態を1ミリも想定していなかったので、とりあえずスピーカーユニットだけ買って再検討。

スピーカーユニットは自作派の（たぶん）定番FOSTEX。丁度新製品が出た直後くらいだったようで、よくわからないけれど今後の入手性を考えて新製品FE126Enをチョイス。45Wまで出せるそうですが、そんなことをしたら近所から苦情が来るでしょう。とりあえず下手をしても壊れてしまわないように安全マージンを多めに取ったつもりで。

再びアンプですが、どうやら最近のトレンドは事前に調べた内容とは違うようで、D級アンプとかオーディオ用のオペアンプを使っているようです。真空管はずっと根強い人気があるようですが、ここはICにこだわって。再び秋葉原を探しまわるものの、D級アンプ単体で売られている状況は見られず、オペアンプはイマイチ区別がつかないのでキット頼りに方向転換。初心者だし。

若松通商にてカマデンのTDA7491KITと若松通商のTA2020-020/KIT、マルツパーツ館でトラ技2008年3月号のD級アンプキットを買ってきました。３つも必要ないといえばそれまでですが、いろいろ数をこなして見えてくる事もあろうかと。

とりあえず一番簡単そう（というか既に実装済み部品の多い）カマデンTDA7491KITに着手。取説通りに部品をハンダ付けして手元にあった古いイヤホンを分解して接続、スピーカーユニットもそのままつないでみたのが冒頭の画像。特にトラブルもなくすんなり音が出ました。音の善し悪しはスピーカーがこの状態なのでどうこう言える筈もなく。

キットを使ってすんなり音が出たとはいえ、最初に鳴った時はちょっとテンション上がります。
スピーカーをフルレンジから２Wayに変更したり、アンプ部分を気分で取り替えたりアップグレードしたりできるのは自作ならではかもしれません。ハイエンドはキリがないオーディオの世界ですから、自作を前提とするなどの制約を付けて楽しむのが自分には丁度良い気がします。

とりあえず音は出たのでスピーカーユニットをちゃんと箱に詰めたり、iPodのドック接続端子からLine出力を取ってくるのを次のフェーズとします。

CentOS5.3のAMI作成(x86_64版)

2009-08-21T12:35:00.003+09:00

昨日のi386版に加えてx86_64版を作りました。

AMI ID: ami-2397774a
Manifest: tmhrnskw.com/AMI/CentOS5.3-x86_64.manifest.xml

構成はi386版と一緒。
これでlargeインスタンスも安心。

このようなAMIを何故わざわざ作っているのかと言うと、Amazon EC2にはAmazon謹製のCentOSイメージがないためRightScale等のサードパーティ製のものを利用することになるのですが、サードパーティ製のものは独自のスクリプトが仕込まれていたり、不要なサービスが起動していたりするので、最小インストール構成のCentOSを自分自身が求めていたためです。

他のエントリにも書いていますが、
・# yum groupinstall Core でインストールされるパッケージ
・内部の/etc/rc.localスクリプトの実行に必要なパッケージ（スクリプトの内容はAmazonのドキュメントにあるもの）
・ec2-ami-toolsの実行に必要なパッケージ
・screen
これらのみインストールしているため予め起動しているプロセスも非常に少なく、makeやgcc等もない状態です。タイムゾーンすらJPTではありません。

公開されているAMIの中にはシンプルな構成のものよりは「インスタンスを立ち上げればすぐに○○ができますよ！」といったサトウのごはん的なものが多いようですが、サーバ構築ができる人がカスタマイズのベースに使っていただければ、と思って公開しています。

CentOS5.3のAMI作成

2009-08-20T12:40:00.005+09:00

CentOS5.3がリリースされてからしばらく経ちますが、5.2の時と同様にAMIを作りました。

AMI ID: ami-0d907064(※削除しました新AMI IDは ami-d36182ba）
Manifest: tmhrnskw.com/AMI/CentOS5.3-i386.manifest.xml

今回もi386版をとりあえず作成。
カスタマイズの元イメージ用なので、最小インストールと言える構成になっています。
kernelはAmazonの提供している2.6.18、対応するmoduleもイメージ内に展開済みです。

個人的にCentOS5.3の嬉しいところとしては、サードパーティのパッケージを使わなくてもPHP5とMySQL5が使えるようになっているあたりでした。
インスタンスを立ち上げてSSHでログイン後、
# yum install php mysql-server
# /etc/init.d/httpd start
# /etc/init.d/mysqld start
でLAMP構成が動き出すから楽です。

Getting Started with Arduino

2009-07-29T15:54:00.005+09:00

Arduino Duemilanovaが届いたのでまずはお約束なLED点灯から。
何せ電子工作って初めてなもので。

とは言えArduinoサイトからIDEとドライバのセットをダウンロード＆インストールして本体をUSBケーブルと繋いでコードを書いて実行するだけなのですが。

IDEは起動時に例外が出て怒られたので32bitモードで起動するように対処。

オライリーから出てる「Arduinoをはじめよう」を倣ってLEDの点滅。


#define LED 13

void setup()
{
  pinMode(LED, OUTPUT);
}

void loop()
{
  digitalWrite(LED, HIGH);
  delay(1000);
  digitalWrite(LED, LOW);
  delay(1000);
}

ちなみにArduino Duelilanova本体に付いているLEDで動作確認ができるところを
早とちりしてわざわざ5個入りLEDを買ってしまいました。
LEDのアノード（足の長い方）をデジタルの13番に、カソード（足の短い方）をGNDに差し込んで上記のコードを実行しても同じように点滅してくれます。

で、何作るかなぁ。
しばらくはいろいろなセンサーを繋げてみたりするつもりです。
まずは情報の多いWiiヌンチャクあたりから。

307 Temporary Redirect

2009-07-23T12:10:00.003+09:00

わかっているようであまりわかっていない物事が多いなぁと思った話。

「Locationヘッダでリダイレクトさせる時にPOSTで値を渡せるのか」

これまであまりそういった事をやった事が無いので思わず
「GETじゃないと無理」
と答えたものの、QUERY_STRINGを引き継げればできるんじゃないかと思って
調べ始めたところ、そのようなことをしなくてもHTTPステータスコード"307"で
POSTされた値を引き継いで任意のURLにリダイレクトさせることができました。


header('Location: http://www.example.com/redirect/target/', true, 307);

但しこの方法、ブラウザによっては警告のダイアログが表示されてしまいます。

そもそも（私だけかも知れませんが）あまり聞き慣れないこのステータスコード"307"。
HTTP1.1で追加されたステータスコードらしいのですが、
そもそもHTTP/1.0のステータスコード"302 Moved Temporarily"はPOSTされた値を引き継がない
クライアントが多かったためHTTP/1.1でステータスコードをわける事になったのだそうです。

ちなみにHTTP/1.1の"302"は"Found"、
HTTP/1.0では意味を持たなかった"303"は"See Other"に変わっている訳ですが、
HTTP/1.1のRFCができたのは1999年6月なので、このことを10年も経って初めて知るあたり
己の勉強不足を感じます。。

ClientFormによるmultipart/form-dataなPOST

2009-05-28T18:14:00.005+09:00

pythonからスクリプトからWebサーバへファイルをmultipart/form-dataでPOSTする方法その２。
というか、前回のpycurlを使ったスクリプトが上手くいかなかったりしたのでリトライ。

今回はClientFormを使った方法。
ClientFormの特徴としてFormのあるページをparseしてオブジェクトを生成するところ。
ページの取得とか、POSTを行う部分はurllib2の助けを借りるのですが。

Form


<html>
  <body>
    <form action="http://example.com/post.cgi" method="POST" enctype="multipart/form-data">
      <input type="text" name="text_field">
      <input type="file" naem="image">
    </form>
  </body>
</html>

Script


#!/usr/bin/env python

import urllibs2
import ClientForm

request = urllib2.Request("http://example.com/form.html")
response = urllib2.urlopen(request)
forms = ClientForm.ParseResponse(response, backwards_compat=False)
response.close()

form = forms[0]
form['text_field'] = 'Test Text Data'
form.add_file(open('image.jpg','rb'))

urllib2.urlopen(form.click())

Pythonからmultipart/form-dataでPOSTする

2009-05-22T09:51:00.005+09:00

pythonスクリプトからWebサーバへファイルをmultipart/form-dataでPOSTする方法を探して右往左往。結局一番シンプルなのはpycurlでした。


#!/usr/bin/env python

import pycurl

c = pycurl.Curl()
c.setopt(c.URL, "http://sample.com/post.cgi")
c.setopt(c.POST, 1)
c.setopt(c.HTTPPOST, [('text_field', 'Test Text Data'),
                      ('image', (c.FORM_FILE, 'test.jpg'))])
c.perform()
c.close()

そもそも設定できるオプション(setopt)の項目すらきちんと把握できてないのですが、curlのpython用インターフェースなので知ってると便利。

multipart/form-dataならurllib2があるじゃないか、という向きもありますが、ファイルのreadの部分でUnicodeDecodeErrorとか言われて萎えた。open('test.jpg','rb')で開いたものをUnicodeDecodeErrorってちょっと理不尽に感じたので。

たぶん自分の努力が足りてないせいなんでしょうけれども。

MantisのPluginを作ってみる(2)

2009-04-16T11:14:00.016+09:00

前回はMantisのプラグイン管理に表示されるだけで機能としては何もないプラグインを作りましたが、今回からはMantisを要求管理システムとして使用できるようなプラグインを作成します。

Mantisに要求を登録する場合はメニューの「登録」から行うのが一般的ですが、元々がバグ管理システムなので社内で何らかの申請書を提出する場合にはどこに何を記入したら良いのかユーザが迷ってしまいます。
またユーザの思いのままに自由なフォーマットで登録された要求は、その要求を判断・処理する側にとっても作業しづらいため、同様の要求はある程度統一されたフォーマットで登録して欲しいものです。

この点を解決するためにプラグインでカスタムフォームを作り、社内の各種申請フォームをまとめて行きたいと思います。
まずはプラグインの名称をApplicationFormとし、プラグインを置く場所を作成します。

# mkdir plugins/ApplicationForm
# vi plugins/ApplicationForm/ApplicationForm.php


<?php
require_once(config_get('classpath') . 'MantisPlugin.class.php');

class ApplicationFormPlugin extends MantisPlugin {

// プラグインについての情報を記載
function register() {
    $this->name = 'ApplicationForm';
    $this->description = 'Application form for work flows.';
    $this->page = '';

    $this->version = '0.1';
    $this->requires = array(
        'MantisCore' => '1.2.0',
    );

    $this->author = 'nskw';
    $this->contact = 'nskw@sample.com';
    $this->url = '';
}

// 利用するイベントとメソッドを紐付け
function hooks() {
    $hooks = array(
        'EVENT_MENU_MAIN' => 'MainMenu',
    );
    return $hooks;
}

// メインメニューでの表示内容を返す
function MainMenu() {
    return array('<a href="'. plugin_page('application_menu') .'">'. plugin_lang_get('title') .'</a>');
}
}

前回と比べるとイベントをフックさせる部分について加わったくらいですが、メインメニューへの項目が追加されます。
plugin_page()の引数はこのプラグイン内のPHPファイル(pages/application_menu.php)を呼び出すためのpathを返します。plugin_lang_get()はプラグイン内の言語ファイルから該当する文字列を返します。

メインメニューに追加した項目をクリックした際に表示するページを作ります。

# mkdir plugins/ApplicationForm/pages
# vi plugins/ApplicationForm/pages/application_menu.php


<?php
// Mantisの共通ヘッダ部分を表示します
html_page_top1();
html_page_top2();
?>
<div align="center">
<table class="width90" cellspacing="1">
<tr>
 <td class="form-title"><?php echo plugin_lang_get('title'); ?></td>
</tr>
<?php
// pagesディレクトリ内で"application_form_"で始まるPHPファイルを申請フォームとしてリストアップします
$handle = opendir(dirname(__FILE__));
while(false !== ($file = readdir($handle))){
 if(preg_match("/^(application_(form_.+))\.php/",$file, $matches)){
?>
<tr class="row-1">
 <td class="category" width="30%"><a href="plugin.php?page=ApplicationForm/<?php echo $matches[1]; ?>"><?php echo plugin_lang_get( $matches[2] . "_title" ); ?></a></td>
 <td width="70%"><?php echo plugin_lang_get( $matches[2] . "_description" ); ?></td>
</tr>
<?php
 }
}
?>
</table>
</div>
<?php
// Mantisの共通フッタ部分を表示します
html_page_bottom1( __FILE__ );

ここまでで使用しているプラグイン用言語ファイルを作ります。
以下では英語表記の言語ファイルを作っていますが、日本語(UTF8)の場合はstrings_japanese.txtという名前で作ります。
表示言語の切り替えはユーザの言語環境設定に基づき、該当する言語ファイルがなければ英語の言語ファイルを読み込むようです。勿論、多言語化が不要でしたらPHPファイルに直接書き込む方法も採れます。

# mkdir plugins/ApplicationForm/lang
# vi plugins/ApplicationForm/lang/strings_english.txt


<?php

$s_plugin_ApplicationForm_title = 'Application Menu';

これで下のように新しいメニューが追加されました。

今回はとりあえず申請メニューを表示するところまで。
ここまででpages以下のPHPファイルを呼び出す方法がわかったので、次回は実際に申請フォームを作って要求の登録まで行います。呼び出されたPHPファイルは共通ヘッダ／フッタすら明示的に呼び出さないと表示されないのでAjaxなんかもプラグインに組み込みやすいですね。

MantisのPluginを作ってみる(1)

2009-04-14T16:14:00.011+09:00

MantisはBTS(BugTrackingSystem)ですが、単にバグを管理するだけでなく
ワークフローに入れてみると比較的小さな会社でも組織化させるにあたって有効です。
丁度前に勤めていた会社でそのような使い方をしていたのですが、元々のコードを
かなりいじったものを使っていたのでバージョンアップは時の運。

今時のMantis 1.2系ではプラグインで拡張できるようになっているらしいので、
しばらくコレをさわってみることにしました。

とりあえずはMantis 1.2.0a3をダウンロードしてセットアップ。
デフォルトではPluginは /path/to/mantis/plugins/ 以下に置くことになっています。
試しにTestingPluginを作成してみます。

# mkdir plugins/Testing
# vi plugins/Testing.php




// 基となるクラスファイルを読み込みます
require_once( config_get( 'class_path' ) . 'MantisPlugin.class.php' );

// MantisPluginを継承してクラスを作成
class TestingPlugin extends MantisPlugin {
    // PluginをMantisに認識させるのに必要な情報をregisterメソッドで定義します
    function register( ) {
        $this->name = 'Test'; // Pluginの名称
        $this->description = 'Just a testing plugin. under construnction.'; // Pluginの説明
        $this->page = '';

        $this->version = '0.1'; // このPluginのバージョン
        $this->requires = array(
            'MantisCore' => '1.2.0',
        ); // 依存するPluginとそのバージョン

        $this->author = 'vegao'; // 作成者
        $this->contact = 'vegao@sample.com'; // 作成者への連絡先
        $this->url = ''; // 作成者のURL
    }
}

単にPluginとして認識されるようにregisterのみ記述しているだけですが、
コレでも一応「システム管理」の「プラグイン管理」に表示されます。

ドキュメントを見る限り、MantisのPluginの仕組みはEventがどーのこーのと書かれていますが
徐々に紐解いて行くことにします。

Hadoop Cluster Setup（和訳）

2009-04-08T11:56:00.017+09:00

Hadoop Cluster Setupの日本語超訳版。まだ途中なんでまた後で直す予定。
---

1.目的

このドキュメントではインストール方法、僅か数ノードから数千ノードによる非常に大規模な構成まで組めるHadoopクラスタの設定と運用について説明しています。

Hadoopを始めるにはまず、単一のコンピュータにHadoopをインストールしてみるのが良いでしょう。(参照：Hadoop Quick Start）

2.事前に必要なもの

クラスターの各ノードに必要なソフトウェアがインストールされていること
Hadoopソフトウェアのダウンロード

3.インストール

Hadoopクラスタをインストールするためにクラスタの各ノードでソフトウェアを解凍します。

通常はクラスタ内の１台のコンピュータをNanmeNodeとJobTrackerとして排他的に扱います。これらがマスタとなります。
クラスタ内の残りのコンピュータはDataNode兼TaskTrackerとして動作します。これらがスレーブとなります。

解凍したディレクトリをHADOOP_HOMEと呼びます。クラスタ内の全てのコンピュータはたいてい同じHADOOP_HOMEとします。

4.設定

以下のセクションにてHadoopクラスタの設定方法を説明します。

4.1.設定ファイル

Hadoopの設定はconfディレクトリ内の２つの重要な設定ファイルで行われます。

hadoop-default.xml - 読み取り専用のデフォルト設定
hadoop-site.xml - サイト固有の設定

Hadoopフレームワークがこれらの設定ファイルによってどのように動作するのか詳しく知るにはこちらを参照してください。

また、conf/hadoop-env.shにサイト固有の値を書き入れる事でbinディレクトリ内のスクリプトの動作をコントロールする事ができます。

4.2.サイト設定

Hadoopクラスタの設定をするためにHadoopデーモンがうまく動作するように環境設定をする必要があります。

HadoopデーモンはNameNode/DataNode、JobTracker/TaskTrackerに分類されます。

4.2.1.Hadoopデーモンの環境を設定する

管理者はconf/hadoop-env.shスクリプトでHadoopデーモンプロセスのためにサイト固有のカスタマイズをする必要があります。

少なくとも各ノードでJAVA_HOMEの設定が正しいか確認するべきです。

管理者はそれぞれのデーモンが使うHADOOP_*_OPTSを設定する事ができます。各オプションについては以下の通りです。

Daemon	Configure Options
NameNode	HADOOP_NAMENODE_OPTS
DataNode	HADOOP_DATANODE_OPTS
SecondaryNamenode	HADOOP_SECONDARYNAMENODE_OPTS
JobTracker	HADOOP_JOBTRACKER_OPTS
TaskTracker	HADOOP_TASKTRACKER_OPTS

例えば、NamenodeがparallelGCを使うように設定したい場合には以下の設定をhadoop-env.shに書き加えます。
export HADOOP_NAMENODE_OPTS="-XX:+UseParallelGC ${HADOOP_NAMENODE_OPTS}"

他に便利な設定パラメータとして設定できるものはこれらがあります。

HADOOP_LOG_DIR - デーモンのログファイル出力先を指定します。指定されたディレクトリがなければ自動的に作成されます。
HADOOP_HEAPSIZE - 使用できるヒープサイズの最大量を"1000MB"のようにMBで指定できます。Hadoopデーモンのヒープサイズに指定されます。デフォルトでは1000MBです。

4.2.2.Hadoopデーモンの設定

このセクションではconf/hadoop-site.xmlで指定できるHadoopクラスタにとって重要なパラメタについて取り扱います。

Parameter	Value	Notes
fs.default.name	NameNodeのURI	hdfs://hostname/
mapred.job.tracker	JobTrackerのHostnameまたはIPアドレスとPort番号	host:port
dfs.name.dir	ローカルファイルシステム上でNameNodeが名前空間の保存やトランザクションログを保存するディレクトリ	カンマ区切りのディレクトリのリストであった場合、冗長性のため全てのディレクトリにデータが複製されます。
dfs.data.dir	カンマ区切りのリストに指定されたDataNodeのローカルファイルシステム上に保存されます。	カンマ区切りのディレクトリのリストであった場合、通常は異なるデバイスに上の全てのディレクトリにデータが保存されます。
mapred.system.dir	Map/Reduceのフレームワークがシステムファイルを保存するHDFSのディレクトリ例） /hadoop/mapred/system/	これはデフォルトのフィアルシステム(HDFS)内にあり、サーバとクライアントの両方からアクセスできる必要があります。
mapred.local.dir	一時的なMap/Reduceのデータが保存されるローカルファイルシステム上のディレクトリをカンマ区切りで指定したリスト	複数指定することでディスクI/Oが増えます。
mapred.tasktracker.{map\|reduce}.tasks.maximum	TaskTrackerそれぞれに与え、同時実行するMap/Reduceタスクの最大数	デフォルトは2（Mapタスク2つとReduceタスク2つ）ですが、ハードウェア性能にとても左右されます。
dfs.hosts/dfs.hosts.exclude	許可または除外されるDataNodeのリスト	必要であれば、これらのファイルでDataNodeをコントロールできます。
mapred.hosts/mapred.hosts.exclude	許可または除外されるTaskTrackerのリスト	必要であれば、これらのファイルでTaskTrackerをコントロールできます。
mapred.queue.names	送出可能なジョブをカンマ区切りにしたリスト	Map/Reduceシステムは常に少なくとも１つのdefaultトキューをサポートします。よって、このパラメータの値は常にdefaultという文字列を含める必要があります。CapacityスケジューラのようなHadoopでサポートされているいくつかのジョブスケジューラでは複数のキューをサポートしています。そのようなスケジューラを使用した場合、キューの名前を個別に指定する必要があります。一度キューが定義されると、ユーザはmapred.job.queue.nameのプロパティ名でジョブをキューに送ることができます。スケジューラによって管理されるこれらのキューの設定については別々のファイルに分けることができる。詳しくは同じくスケジューラのドキュメントを参照してくdさい。
mapred.acls.enabled	ジョブの送出と管理にACLをサポートするかどうかを指定する	trueであればジョブの送出と管理にACLのチェックが行われます。ACLは後述のmapred.queue.queue-name.acl-nameから設定パラメータを取ります。
mapred.queue.queue-name.acl-submit-job	queue-nameで指定したジョブを送出できるユーザとグループのリスト	ユーザとグループのリストはどちらもカンマ区切りで指定します。２つのリストは空白スペースで区切られます。例）user1,user2 group1,group2 もしグループだけを指定したいならば、値の最初に空白スペースを入れてください。
mapred.queue.queue-name.acl-administer-job	queue-nameで指定した送出済みジョブの優先度を変更したり、中止させることができるユーザとグループのリスト	ユーザとグループのリストはどちらもカンマ区切りで指定します。２つのリストは空白スペースで区切られます。例）user1,user2 group1,group2 もしグループだけを指定したいならば、値の最初に空白スペースを入れてください。ジョブのオーナーはACLに関係なくそのジョブの優先度を変更したり中止させられることに注意してください。

通常これら全てのパラメータはユーザアプリケーションによって上書きされないようにfinalとして設定されています。

Real-World Cluster Configurations
このセクションでは大規模クラスタでのソートベンチマークで使われるいくつかのデフォルトではない設定パラメータを挙げます。

・9TBのデータを900ノードに保存するsort900を実行するのに使われるデフォルトではない設定値。

Parameter	Value	Notes
dfs.block.size	134217728	大規模ファイルシステムのためにHDFSブロックサイズを128MBに指定。
dfs.namenode.handler.count	40	多数のDataNodeからのRPCを処理させるためにNameNodeサーバのスレッド数を増やします。
mapred.reduce.parallel.copies	20	Higher number of parallel copies run by reduces to fetch outputs from very large number of maps.
mapred.child.java.opts	-Xmx512M	Larger heap-size for child jvms of maps/reduces.
fs.inmemory.size.mb	200	Larger amount of memory allocated for the in-memory file-system used to merge map-outputs at the reduces.
io.sort.factor	100	More streams merged at once while sorting files.
io.sort.mb	200	Higher memory-limit while sorting data.
io.file.buffer.size	131072	Size of read/write buffer used in SequenceFiles.

・14TBのデータを1400ノードに保存するsort1400と20TBのデータを2000ノードに保存するsort2000を実行するために更新した設定値

Parameter	Value	Notes
mapred.job.tracker.handler.count	60	More JobTracker server threads to handle RPCs from large number of TaskTrackers.
mapred.reduce.parallel.copies	50
tasktracker.http.threads	50	More worker threads for the TaskTracker's http server. The http server is used by reduces to fetch intermediate map-outputs.
mapred.child.java.opts	-Xmx1024M	Larger heap-size for child jvms of maps/reduces.

4.2.3.スレーブ

通常は１つのコンピュータをNameNodeとして、また１つのコンピュータをJobTrackerとして排他的に選択します。
残りのコンピュータはDataNode兼TaskTrackerとし、スレーブとなります。

4.2.4.ロギング
HadoopはロギングのためにApache Common Loggingフレームワークを通してApache log4jを使います。Hadoopのロギング設定を変更するにはconf/log4j.propertiesを編集してください。（ログフォーマットなど）

履歴ログ
The job history files are stored in central location hadoop.job.history.location which can be on DFS also, whose default value is ${HADOOP_LOG_DIR}/history. The history web UI is accessible from job tracker web UI.

履歴ファイルはユーザがhadoop.job.history.user.locationで指定したディレクトリにも記録されている。ファイルは指定したディレクトリの"_logs/history/"の中にある。よってデフォルトでは"mapred.output.dir/_logs/history/"となる。hadoop.job.history.user.locationの値をnoneにすることでロギングしないようにできる。

指定したディレクトリで次のコマンドを実行して履歴ログのサマリを見る事ができる。
$ bin/hadoop job -history output-dir
このコマンドはジョブの詳細、失敗、中止を出力する。
成功したタスクや各タスクの進行状況についてのより詳細については次のコマンドを実行することで閲覧できる。
$ bin/hadoop job -history all output-dir

全ての必要な設定が完了したら、通常は${HADOOP_HOME}/confとなる全てのコンピュータのHADOOP_CONF_DIRディレクトリにファイルを配布します。

5.クラスタの再起動
5.1.Map/Reduce
The job tracker restart can recover running jobs if mapred.jobtracker.restart.recover is set true and JobHistory logging is enabled. Also mapred.jobtracker.job.history.block.size value should be set to an optimal value to dump job history to disk as soon as possible, the typical value is 3145728(3MB).

6.Hadoop Rack Awareness
The HDFS and the Map/Reduce components are rack-aware.

The NameNode and the JobTracker obtains the rack id of the slaves in the cluster by invoking an API resolve in an administrator configured module. The API resolves the slave's DNS name (also IP address) to a rack id. What module to use can be configured using the configuration item topology.node.switch.mapping.impl. The default implementation of the same runs a script/command configured using topology.script.file.name. If topology.script.file.name is not set, the rack id /default-rack is returned for any passed IP address. The additional configuration in the Map/Reduce part is mapred.cache.task.levels which determines the number of levels (in the network topology) of caches. So, for example, if it is the default value of 2, two levels of caches will be constructed - one for hosts (host -> task mapping) and another for racks (rack -> task mapping).

7.Hadoop Startup

To start a Hadoop cluster you will need to start both the HDFS and Map/Reduce cluster.

Format a new distributed filesystem:
$ bin/hadoop namenode -format

Start the HDFS with the following command, run on the designated NameNode:
$ bin/start-dfs.sh

The bin/start-dfs.sh script also consults the ${HADOOP_CONF_DIR}/slaves file on the NameNode and starts the DataNode daemon on all the listed slaves.

Start Map-Reduce with the following command, run on the designated JobTracker:
$ bin/start-mapred.sh

The bin/start-mapred.sh script also consults the ${HADOOP_CONF_DIR}/slaves file on the JobTracker and starts the TaskTracker daemon on all the listed slaves.

8.Hadoop Shutdown

Stop HDFS with the following command, run on the designated NameNode:
$ bin/stop-dfs.sh

The bin/stop-dfs.sh script also consults the ${HADOOP_CONF_DIR}/slaves file on the NameNode and stops the DataNode daemon on all the listed slaves.

Stop Map/Reduce with the following command, run on the designated the designated JobTracker:
$ bin/stop-mapred.sh

The bin/stop-mapred.sh script also consults the ${HADOOP_CONF_DIR}/slaves file on the JobTracker and stops the TaskTracker daemon on all the listed slaves.

Visitorsの最近のブラウザ対応

2009-03-30T16:22:00.004+09:00

またしてもVisitorsです。
ずっと0.7からバージョンが変わらないVisitors。
動作はちゃんとしてくれるからいいようなものの、
やはり更新されていないと気になるところもある訳で。

今回はBrowsersレポートで最近のInternetExplorerが「Explorer unknown version」とか、
GoogleChromeが「Safari」に分類されてしまうのに対応するpatch。
ただ、これもまた時が経てば新たなpatchを作らねばならない感じ。。

これまで３回分のpatchを適用して作成したrpmファイルはこちら。
visitors-0.70-1.i386.rpm


*** ../visitors_0.7/visitors.c 2006-03-31 00:31:49.000000000 +0900
--- visitors.c 2009-03-30 16:07:23.000000000 +0900
***************
*** 1435,1441 ****
--- 1435,1444 ----
    "MSIE 4", "Explorer 4.x",
    "MSIE 5", "Explorer 5.x",
    "MSIE 6", "Explorer 6.x",
+   "MSIE 7", "Explorer 7.x",
+   "MSIE 8", "Explorer 8.x",
    "MSIE", "Explorer unknown version",
+   "Chrome", NULL,
    "Safari", NULL,
    "Konqueror", NULL,
    "Galeon", NULL,

Visitors XML output patch

2009-03-26T21:11:00.010+09:00

どうしてそんなにVisitorsにご執心なのか。たぶん生Cで書かれてるからかな。
今日は前回に続いて集計結果をXML形式で出力するpatchを作ってみた。Visitors-0.7のvisitors.cに対するpatchだが、基本的にgraphizには対応していない。
~~前回のpatchと両方当てることはまだ考えない方が良い。後で気が向いた時にもっとまともなpatchに仕上げるつもり。~~
03/30追記：前回分と今回分のpatchの出力を少し変えました。多分コレで両方当てられるかと。

そもそもVisitorsのサイトに

Visitors is internally designed to be extended. You can develop more output modules for it if you are not happy with html and text only. Check the source code to see how the output modules already developed work. You have just to define methods for your new output module like print_header, print_title, and so on.

出力が気に食わなければOutput moduleでも書いたらいいじゃん、ってあるくらいだから
「結構スマートな作りになってるのかな？」とか思ったら実際そうでもない。
XMLみたいに入れ子で出力する事はあまり考慮されていない作りだから
結局Output HTML moduleもOutput Text moduleも少しだけ手を入れました。

visitors-xmloutput.patch


*** ../visitors_0.7/visitors.c 2006-03-31 00:31:49.000000000 +0900
--- visitors.c 2009-03-30 16:05:20.000000000 +0900
***************
*** 113,118 ****
--- 113,119 ----
   void (*print_hline)(FILE *fp);
   void (*print_credits)(FILE *fp);
   void (*print_report_link)(FILE *fp, char *report);
+  void (*print_element)(FILE *fp, char *element, int close);
  };
  
  /* Just a string with cached length */
***************
*** 1965,1970 ****
--- 1966,1976 ----
   return;
  }
  
+ void om_text_print_element(FILE *fp, char *element, int close)
+ {
+  return;
+ }
+ 
  struct outputmodule OutputModuleText = {
   om_text_print_header,
   om_text_print_footer,
***************
*** 1979,1984 ****
--- 1985,1991 ----
   om_text_print_hline,
   om_text_print_credits,
   om_text_print_report_link,
+  om_text_print_element,
  };
  
  /* ---------------------------- html output module -------------------------- */
***************
*** 2308,2313 ****
--- 2315,2325 ----
   return;
  }
  
+ void om_html_print_element(FILE *fp, char *element, int close)
+ {
+  return;
+ }
+ 
  struct outputmodule OutputModuleHtml = {
   om_html_print_header,
   om_html_print_footer,
***************
*** 2322,2329 ****
--- 2334,2536 ----
   om_html_print_hline,
   om_html_print_credits,
   om_html_print_report_link,
+  om_html_print_element,
  };
  
+ /* ---------------------------- xml output module --------------------------- */
+ void om_xml_print_element(FILE *fp, char *element, int close)
+ {
+  if (!close) {
+   fprintf(fp, "<%s>", element);
+  } else {
+   fprintf(fp, "\n", element);
+  }
+  return;
+ }
+ 
+ void om_xml_print_header(FILE *fp)
+ {
+  fprintf(fp, "\n");
+  return;
+ }
+ 
+ void om_xml_print_footer(FILE *fp)
+ {
+  return;
+ }
+ 
+ void om_xml_print_title(FILE *fp, char *title)
+ {
+  om_xml_print_element(fp, "title", 0);
+  fprintf(fp, title);
+  om_xml_print_element(fp, "title", 1);
+ }
+ 
+ void om_xml_print_subtitle(FILE *fp, char *subtitle)
+ {
+  om_xml_print_element(fp, "subtitle", 0);
+  fprintf(fp, subtitle);
+  om_xml_print_element(fp, "subtitle", 1);
+  return;
+ }
+ 
+ void om_xml_print_numkey_info(FILE *fp, char *key, int val)
+ {
+  fprintf(fp, "", key);
+  fprintf(fp, "%d", val);
+  om_xml_print_element(fp, "key", 1);
+  return;
+ }
+ 
+ void om_xml_print_keykey_entry(FILE *fp, char *key1, char *key2, int num)
+ {
+  fprintf(fp, "", num);
+  om_xml_print_element(fp, "name", 0);
+  fprintf(fp, "%s", key1);
+  om_xml_print_element(fp, "name", 1);
+  om_xml_print_element(fp, "value", 0);
+  fprintf(fp, "%s", key2);
+  om_xml_print_element(fp, "value", 1);
+  om_xml_print_element(fp, "order", 1);
+  return;
+ }
+ 
+ void om_xml_print_numkey_entry(FILE *fp, char *key, int val, char *link, int num)
+ {
+  fprintf(fp, "", num);
+  if (link != NULL) {
+   fprintf(fp, "%s", link, key);
+  } else if (!strncmp(key, "http://", 7)) {
+   fprintf(fp, "%s", link, key);
+  } else {
+   fprintf(fp, "%s", key);
+  }
+  om_xml_print_element(fp, "name", 1);
+  om_xml_print_element(fp, "value", 0);
+  fprintf(fp, "%d", val);
+  om_xml_print_element(fp, "value", 1);
+  om_xml_print_element(fp, "order", 1);
+  return;
+ }
+ 
+ void om_xml_print_bar(FILE *fp, int l, char *leftclass, char *rightclass)
+ {
+  return;
+ }
+ 
+ void om_xml_print_numkeybar_entry(FILE *fp, char *key, int max, int tot, int this)
+ {
+  int l, weekend;
+  float p;
+ 
+  if (tot == 0) tot++;
+  if (max == 0) max++;
+  l = ((float)(100*this))/max;
+  p = ((float)(100*this))/tot;
+  weekend = vi_is_weekend(key);
+ 
+  if (weekend)
+   fprintf(fp, "");
+  else
+   fprintf(fp, "");
+  om_xml_print_element(fp, "name", 0);
+  fprintf(fp, "%s", key);
+  om_xml_print_element(fp, "name", 1);
+  om_xml_print_element(fp, "value", 0);
+  fprintf(fp, "%d", this);
+  om_xml_print_element(fp, "value", 1);
+  om_xml_print_element(fp, "percent", 0);
+  fprintf(fp, "%02.1f%%", p);
+  om_xml_print_element(fp, "percent", 1);
+  om_xml_print_element(fp, "item", 1);
+  return;
+ }
+ 
+ void om_xml_print_numkeycomparativebar_entry(FILE *fp, char *key, int tot, int this)
+ {
+  int l, weekend;
+  float p;
+ 
+  if (tot ==0) tot++;
+  p = ((float)(100*this))/tot;
+  l = (int) p;
+  weekend = vi_is_weekend(key);
+ 
+  if (weekend)
+   fprintf(fp, "");
+  else
+   fprintf(fp, "");
+  om_xml_print_element(fp, "name", 0);
+  fprintf(fp, "%s", key);
+  om_xml_print_element(fp, "name", 1);
+  om_xml_print_element(fp, "value", 0);
+  fprintf(fp, "%d", this);
+  om_xml_print_element(fp, "value", 1);
+  om_xml_print_element(fp, "percent", 0);
+  fprintf(fp, "%02.1f%%", p);
+  om_xml_print_element(fp, "percent", 1);
+  om_xml_print_element(fp, "item", 1);
+  return;
+ }
+ 
+ void om_xml_print_bidimentional_map(FILE *fp, int xlen, int ylen, char **xlabel, char **ylabel, int *value)
+ {
+  int x, y, l, max = 0;
+ 
+  /* Get the max value */
+  l = xlen*ylen;
+  for (x = 0; x < l; x++)
+   if (max < value[x])
+    max = value[x];
+  if (max == 0) max++; /* avoid division by zero */
+  /* print the map */
+  om_xml_print_element(fp, "items", 0);
+  for (y = 0; y < ylen; y++) {
+   fprintf(fp, "", ylabel[y]);
+   for (x = 0; x < xlen; x++) {
+    fprintf(fp, "%d", xlabel[x], value[(y*xlen)+x]);
+    om_xml_print_element(fp, "value", 1);
+   }
+   om_xml_print_element(fp, "item", 1);
+  }
+  om_xml_print_element(fp, "items", 1);
+  return;
+ }
+ 
+ void om_xml_print_hline(FILE *fp)
+ {
+  return;
+ }
+ 
+ void om_xml_print_credits(FILE *fp)
+ {
+  om_xml_print_element(fp, "credits", 0);
+  fprintf(fp, "Statistics generated with VISITORS version %s", VI_VERSION_STR);
+  om_xml_print_element(fp, "credits", 1);
+  return;
+ }
+ 
+ void om_xml_print_report_link(FILE *fp, char *report)
+ {
+  return;
+ }
+ 
+ struct outputmodule OutputModuleXml = {
+  om_xml_print_header,
+  om_xml_print_footer,
+  om_xml_print_title,
+  om_xml_print_subtitle,
+  om_xml_print_numkey_info,
+  om_xml_print_keykey_entry,
+  om_xml_print_numkey_entry,
+  om_xml_print_numkeybar_entry,
+  om_xml_print_numkeycomparativebar_entry,
+  om_xml_print_bidimentional_map,
+  om_xml_print_hline,
+  om_xml_print_credits,
+  om_xml_print_report_link,
+  om_xml_print_element,
+ };
  
  /* ---------------------------------- output -------------------------------- */
  void vi_print_statistics(struct vih *vih)
***************
*** 2345,2357 ****
--- 2552,2568 ----
     max = vih->hour[i];
    tot += vih->hour[i];
   }
+  Output->print_element(fp, "report", 0);
   Output->print_title(fp, "Hours distribution");
   Output->print_subtitle(fp, "Percentage of hits in every hour of the day");
+  Output->print_element(fp, "items", 0);
   for (i = 0; i < 24; i++) {
    char buf[8];
    sprintf(buf, "%02d", i);
    Output->print_numkeybar_entry(fp, buf, max, tot, vih->hour[i]);
   }
+  Output->print_element(fp, "items", 1);
+  Output->print_element(fp, "report", 1);
  }
  
  void vi_print_weekdays_report(FILE *fp, struct vih *vih)
***************
*** 2362,2372 ****
--- 2573,2587 ----
     max = vih->weekday[i];
    tot += vih->weekday[i];
   }
+  Output->print_element(fp, "report", 0);
   Output->print_title(fp, "Weekdays distribution");
   Output->print_subtitle(fp, "Percentage of hits in every day of the week");
+  Output->print_element(fp, "items", 0);
   for (i = 0; i < 7; i++) {
    Output->print_numkeybar_entry(fp, vi_wdname[i], max, tot, vih->weekday[i]);
   }
+  Output->print_element(fp, "items", 1);
+  Output->print_element(fp, "report", 1);
  }
  
  /* Generic function for qsort(3) called to sort a table.
***************
*** 2463,2468 ****
--- 2678,2684 ----
   int months;
   void **table;
  
+  Output->print_element(fp, "report", 0);
   Output->print_title(fp, "Unique visitors in each day");
   Output->print_subtitle(fp, "Multiple hits with the same IP, user agent and access day, are considered a single visit");
   Output->print_numkey_info(fp, "Number of unique visitors",
***************
*** 2481,2498 ****
     max = value;
    tot += value;
   }
   for (i = 0; i < days; i++) {
    char *key = table[i*2];
    long value = (long) table[(i*2)+1];
    Output->print_numkeybar_entry(fp, key, max, tot, value);
   }
   free(table);
!         Output->print_hline(fp);
  
   /* Montly */
   if (Config_process_monthly_visitors == 0) return;
   tot = max = 0;
   months = ht_used(&vih->month);
   Output->print_title(fp, "Unique visitors in each month");
   Output->print_subtitle(fp, "Multiple hits with the same IP, user agent and access day, are considered a single visit");
   Output->print_numkey_info(fp, "Number of unique visitors",
--- 2697,2718 ----
     max = value;
    tot += value;
   }
+  Output->print_element(fp, "items", 0);
   for (i = 0; i < days; i++) {
    char *key = table[i*2];
    long value = (long) table[(i*2)+1];
    Output->print_numkeybar_entry(fp, key, max, tot, value);
   }
+  Output->print_element(fp, "items", 1);
   free(table);
!  Output->print_hline(fp);
!  Output->print_element(fp, "report", 1);
  
   /* Montly */
   if (Config_process_monthly_visitors == 0) return;
   tot = max = 0;
   months = ht_used(&vih->month);
+  Output->print_element(fp, "report", 0);
   Output->print_title(fp, "Unique visitors in each month");
   Output->print_subtitle(fp, "Multiple hits with the same IP, user agent and access day, are considered a single visit");
   Output->print_numkey_info(fp, "Number of unique visitors",
***************
*** 2511,2522 ****
--- 2731,2745 ----
     max = value;
    tot += value;
   }
+  Output->print_element(fp, "items", 0);
   for (i = 0; i < months; i++) {
    char *key = table[i*2];
    long value = (long) table[(i*2)+1];
    Output->print_numkeybar_entry(fp, key, max, tot, value);
   }
+  Output->print_element(fp, "items", 1);
   free(table);
+  Output->print_element(fp, "report", 1);
  }
  
  /* A report to compare visits originating from google VS all the rest. */
***************
*** 2525,2530 ****
--- 2748,2754 ----
   int days = ht_used(&vih->date), i, months;
   void **table;
  
+  Output->print_element(fp, "report", 0);
   Output->print_title(fp, "Unique visitors from Google in each day");
   Output->print_subtitle(fp, "The red part of the bar expresses the percentage of visits originated from Google");
   Output->print_numkey_info(fp, "Number of unique visitors",
***************
*** 2539,2544 ****
--- 2763,2769 ----
    return;
   }
   qsort(table, days, sizeof(void*)*2, qsort_cmp_dates_key);
+  Output->print_element(fp, "items", 0);
   for (i = 0; i < days; i++) {
    char *key = table[i*2];
    long value = (long) table[(i*2)+1];
***************
*** 2547,2558 ****
    googlevalue = vi_counter_val(&vih->googledate, key);
    Output->print_numkeycomparativebar_entry(fp, key, value, googlevalue);
   }
   free(table);
!         Output->print_hline(fp);
  
   /* Montly */
   if (Config_process_monthly_visitors == 0) return;
   months = ht_used(&vih->month);
   Output->print_title(fp, "Unique visitors from Google in each month");
   Output->print_subtitle(fp, "The red part of the bar expresses the percentage of visits originated from Google");
   Output->print_numkey_info(fp, "Number of unique visitors",
--- 2772,2786 ----
    googlevalue = vi_counter_val(&vih->googledate, key);
    Output->print_numkeycomparativebar_entry(fp, key, value, googlevalue);
   }
+  Output->print_element(fp, "items", 1);
   free(table);
!  Output->print_hline(fp);
!  Output->print_element(fp, "report", 1);
  
   /* Montly */
   if (Config_process_monthly_visitors == 0) return;
   months = ht_used(&vih->month);
+  Output->print_element(fp, "report", 0);
   Output->print_title(fp, "Unique visitors from Google in each month");
   Output->print_subtitle(fp, "The red part of the bar expresses the percentage of visits originated from Google");
   Output->print_numkey_info(fp, "Number of unique visitors",
***************
*** 2567,2572 ****
--- 2795,2801 ----
    return;
   }
   qsort(table, months, sizeof(void*)*2, qsort_cmp_months_key);
+  Output->print_element(fp, "items", 0);
   for (i = 0; i < months; i++) {
    char *key = table[i*2];
    long value = (long) table[(i*2)+1];
***************
*** 2575,2581 ****
--- 2804,2812 ----
    googlevalue = vi_counter_val(&vih->googlemonth, key);
    Output->print_numkeycomparativebar_entry(fp, key, value, googlevalue);
   }
+  Output->print_element(fp, "items", 1);
   free(table);
+  Output->print_element(fp, "report", 1);
  }
  
  void vi_print_generic_keyval_report(FILE *fp, char *title, char *subtitle,
***************
*** 2586,2591 ****
--- 2817,2823 ----
   int items = ht_used(ht), i;
   void **table;
  
+  Output->print_element(fp, "report", 0);
   Output->print_title(fp, title);
   Output->print_subtitle(fp, subtitle);
   Output->print_numkey_info(fp, info, items);
***************
*** 2594,2599 ****
--- 2826,2832 ----
    return;
   }
   qsort(table, items, sizeof(void*)*2, compar);
+  Output->print_element(fp, "orders", 0);
   for (i = 0; i < items; i++) {
    char *key = table[i*2];
    long value = (long) table[(i*2)+1];
***************
*** 2604,2610 ****
--- 2837,2845 ----
    else
     Output->print_numkey_entry(fp, key, value, NULL, i+1);
   }
+  Output->print_element(fp, "orders", 1);
   free(table);
+  Output->print_element(fp, "report", 1);
  }
  
  void vi_print_generic_keyvalbar_report(FILE *fp, char *title, char *subtitle,
***************
*** 2615,2620 ****
--- 2850,2856 ----
   int items = ht_used(ht), i, max = 0, tot = 0;
   void **table;
  
+  Output->print_element(fp, "report", 0);
   Output->print_title(fp, title);
   Output->print_subtitle(fp, subtitle);
   Output->print_numkey_info(fp, info, items);
***************
*** 2628,2633 ****
--- 2864,2870 ----
    tot += value;
    if (value > max) max = value;
   }
+  Output->print_element(fp, "items", 0);
   for (i = 0; i < items; i++) {
    char *key = table[i*2];
    long value = (long) table[(i*2)+1];
***************
*** 2637,2643 ****
--- 2874,2882 ----
    else
     Output->print_numkeybar_entry(fp, key, max, tot, value);
   }
+  Output->print_element(fp, "items", 1);
   free(table);
+  Output->print_element(fp, "report", 1);
  }
  
  /* This is similar to the generic key/val report, but
***************
*** 2650,2655 ****
--- 2889,2895 ----
   int items = ht_used(ht), i;
   void **table;
  
+  Output->print_element(fp, "report", 0);
   Output->print_title(fp, title);
   Output->print_subtitle(fp, subtitle);
   Output->print_numkey_info(fp, info, items);
***************
*** 2658,2663 ****
--- 2898,2904 ----
    return;
   }
   qsort(table, items, sizeof(void*)*2, compar);
+  Output->print_element(fp, "orders", 0);
   for (i = 0; i < items; i++) {
    char *key = table[i*2];
    long value = (long) table[(i*2)+1];
***************
*** 2683,2689 ****
--- 2924,2932 ----
     Output->print_numkey_entry(fp, key, value, link, i+1);
    }
   }
+  Output->print_element(fp, "orders", 1);
   free(table);
+  Output->print_element(fp, "report", 1);
  }
  
  void vi_print_referers_report(FILE *fp, struct vih *vih)
***************
*** 2841,2846 ****
--- 3084,3090 ----
   int items = ht_used(ht), i;
   void **table;
  
+  Output->print_element(fp, "report", 0);
   Output->print_title(fp, title);
   Output->print_subtitle(fp, subtitle);
   Output->print_numkey_info(fp, info, items);
***************
*** 2849,2854 ****
--- 3093,3099 ----
    return;
   }
   qsort(table, items, sizeof(void*)*2, compar);
+  Output->print_element(fp, "orders", 0);
   for (i = 0; i < items; i++) {
    struct tm *tm;
    char ftime[1024];
***************
*** 2863,2869 ****
--- 3108,3116 ----
       (url[0] == '\0') ? "none" : url, i+1);
    }
   }
+  Output->print_element(fp, "orders", 1);
   free(table);
+  Output->print_element(fp, "report", 1);
  }
  
  void vi_print_googled_report(FILE *fp, struct vih *vih)
***************
*** 2953,2964 ****
--- 3200,3213 ----
   char buf[VI_LINE_MAX];
   time_t now = time(NULL);
   snprintf(buf, VI_LINE_MAX, "Generated: %s", ctime(&now));
+  Output->print_element(fp, "report", 0);
   Output->print_title(fp, "General information");
   Output->print_subtitle(fp, "Information about analyzed log files");
   Output->print_subtitle(fp, buf);
   Output->print_numkey_info(fp, "Number of entries processed", vih->processed);
   Output->print_numkey_info(fp, "Number of invalid entries", vih->invalid);
   Output->print_numkey_info(fp, "Processing time in seconds", (vih->endt)-(vih->startt));
+  Output->print_element(fp, "report", 1);
  }
  
  void vi_print_report_links(FILE *fp)
***************
*** 2994,2999 ****
--- 3243,3249 ----
   };
   unsigned int i, num = 0;
  
+  Output->print_element(fp, "report", 0);
   Output->print_title(fp, "Generated reports");
   Output->print_subtitle(fp, "Click on the report name you want to see");
   for (i = 0; i < sizeof(l)/sizeof(void*); i += 2) {
***************
*** 3006,3011 ****
--- 3256,3262 ----
    if (active)
     Output->print_report_link(fp, (char*)l[i]);
   }
+  Output->print_element(fp, "report", 1);
  }
  
  void vi_print_weekdayhour_map_report(FILE *fp, struct vih *vih)
***************
*** 3027,3032 ****
--- 3278,3284 ----
     minj = j;
   }
  
+  Output->print_element(fp, "report", 0);
   Output->print_title(fp, "Weekday-Hour combined map");
   Output->print_subtitle(fp, "Brighter means higher level of hits");
   snprintf(buf, VI_LINE_MAX, "Hour with max traffic starting at %s %s:00 with hits",
***************
*** 3037,3042 ****
--- 3289,3295 ----
   Output->print_numkey_info(fp, buf, hw[minj]);
   Output->print_hline(fp);
   Output->print_bidimentional_map(fp, 24, 7, xlabel, ylabel, hw);
+  Output->print_element(fp, "report", 1);
  }
  
  void vi_print_monthday_map_report(FILE *fp, struct vih *vih)
***************
*** 3062,3067 ****
--- 3315,3321 ----
     minj = j;
   }
  
+  Output->print_element(fp, "report", 0);
   Output->print_title(fp, "Month-Day combined map");
   Output->print_subtitle(fp, "Brighter means higher level of hits");
   snprintf(buf, VI_LINE_MAX, "Day with max traffic is %s %s with hits",
***************
*** 3072,3077 ****
--- 3326,3332 ----
   Output->print_numkey_info(fp, buf, md[minj]);
   Output->print_hline(fp);
   Output->print_bidimentional_map(fp, 31, 12, xlabel, ylabel, md);
+  Output->print_element(fp, "report", 1);
  }
  
  void vi_print_hline(FILE *fp)
***************
*** 3087,3097 ****
--- 3342,3354 ----
  void vi_print_header(FILE *fp)
  {
   Output->print_header(fp);
+  Output->print_element(fp, "visitors", 0);
  }
  
  void vi_print_footer(FILE *fp)
  {
   Output->print_footer(fp);
+  Output->print_element(fp, "visitors", 1);
  }
  
  /* Generate the report writing it to the output file 'of'.
***************
*** 3536,3541 ****
--- 3793,3800 ----
      Output = &OutputModuleText;
     else if (!strcasecmp(ago_optarg, "html"))
      Output = &OutputModuleHtml;
+    else if (!strcasecmp(ago_optarg, "xml"))
+     Output = &OutputModuleXml;
     else {
      fprintf(stderr, "Unknown output module '%s'\n",
        ago_optarg);

visitorsの出力を制御する

2009-03-24T20:07:00.004+09:00

アクセスログ解析のvisitorsですが、オプションを選択しなくても表示される項目がいくつかあります。出力結果中の以下の項目がそうです。

General information
Generated reports
Unique visitors in each day
Unique visitors in each month
Unique visitors from Google in each day
Requested pages
Requested images and CSS
Referers
Weekdays distribution
Hours distribution

現時点での最新版0.7のvisitors.cに後述するpatchを適用するとデフォルト（表示項目のオプション未指定）での出力はヘッダ、フッタだけになります。
新たに追加した表示オプションは以下。

--credits 上下のクレジットを出力します。
--information "General information"を出力します。
--report-link "Generated reports"を出力します。
--visits "Unique visitors in each day"と"Unique visitors in each month"を出力します。
--google-visits "Unique visitors from Google in each day"を出力します。
--pages "Requested pages"を出力します。
--images "Requested images and CSS"を出力します。
--referers "Referers"を出力します。
--weekdays "Weekdays distribution"を出力します。
--hours "Hours distribution"を出力します。

patchはこちら。（インデントを直してる部分とかありますけど。）


*** ../visitors_0.7/visitors.c 2006-03-31 00:31:49.000000000 +0900
--- visitors.c 2009-03-30 16:06:55.000000000 +0900
***************
*** 45,51 ****
   int endt;
   int processed;
   int invalid;
!         int blacklisted;
   int hour[24];
   int weekday[7];
   int weekdayhour[7][24]; /* hour and weekday combined data */
--- 45,51 ----
   int endt;
   int processed;
   int invalid;
!  int blacklisted;
   int hour[24];
   int weekday[7];
   int weekdayhour[7][24]; /* hour and weekday combined data */
***************
*** 61,67 ****
   struct hashtable referersage;
   struct hashtable date;
   struct hashtable googledate;
!         struct hashtable adsensed;
   struct hashtable month;
   struct hashtable googlemonth;
   struct hashtable agents;
--- 61,67 ----
   struct hashtable referersage;
   struct hashtable date;
   struct hashtable googledate;
!  struct hashtable adsensed;
   struct hashtable month;
   struct hashtable googlemonth;
   struct hashtable agents;
***************
*** 74,82 ****
   struct hashtable os;
   struct hashtable browsers;
   struct hashtable robots;
!         struct hashtable googlehumanlanguage;
!         struct hashtable screenres;
!         struct hashtable screendepth;
   char *error;
  };
  
--- 74,82 ----
   struct hashtable os;
   struct hashtable browsers;
   struct hashtable robots;
!  struct hashtable googlehumanlanguage;
!  struct hashtable screenres;
!  struct hashtable screendepth;
   char *error;
  };
  
***************
*** 145,154 ****
--- 145,159 ----
  int Config_max_tld = 20;
  int Config_max_robots = 20;
  int Config_process_agents = 0;
+ int Config_process_credits = 0;
  int Config_process_google = 0;
  int Config_process_google_keyphrases = 0;
  int Config_process_google_keyphrases_age = 0;
  int Config_process_google_human_language = 0;
+ int Config_process_google_visits = 0;
+ int Config_process_hours = 0;
+ int Config_process_images = 0;
+ int Config_process_information = 0;
  int Config_process_web_trails = 0;
  int Config_process_weekdayhour_map = 0;
  int Config_process_monthday_map = 0;
***************
*** 157,166 ****
--- 162,176 ----
  int Config_process_os = 0;
  int Config_process_browsers = 0;
  int Config_process_error404 = 0;
+ int Config_process_pages = 0;
  int Config_process_pageviews = 0;
  int Config_process_monthly_visitors = 1;
+ int Config_process_referers = 0;
+ int Config_process_report_links = 0;
  int Config_process_robots = 0;
  int Config_process_screen_info = 0;
+ int Config_process_visits = 0;
+ int Config_process_weekdays = 0;
  int Config_graphviz_mode = 0;
  int Config_graphviz_ignorenode_google = 0;
  int Config_graphviz_ignorenode_external = 0;
***************
*** 3121,3136 ****
    return 1;
   /* Report generation */
   vi_print_header(fp);
!  vi_print_credits(fp);
!  vi_print_hline(fp);
!  vi_print_information_report(fp, vih);
!  vi_print_hline(fp);
!  vi_print_report_links(fp);
!  vi_print_hline(fp);
!  vi_print_visits_report(fp, vih);
!  vi_print_hline(fp);
!  vi_print_googlevisits_report(fp, vih);
!  vi_print_hline(fp);
   if (Config_process_weekdayhour_map) {
    vi_print_weekdayhour_map_report(fp, vih);
    vi_print_hline(fp);
--- 3131,3156 ----
    return 1;
   /* Report generation */
   vi_print_header(fp);
!  if (Config_process_credits) {
!   vi_print_credits(fp);
!   vi_print_hline(fp);
!  }
!  if (Config_process_information) {
!   vi_print_information_report(fp, vih);
!   vi_print_hline(fp);
!  }
!  if (Config_process_report_links) {
!   vi_print_report_links(fp);
!   vi_print_hline(fp);
!  }
!  if (Config_process_visits) {
!   vi_print_visits_report(fp, vih);
!   vi_print_hline(fp);
!  }
!  if (Config_process_google_visits) {
!   vi_print_googlevisits_report(fp, vih);
!   vi_print_hline(fp);
!  }
   if (Config_process_weekdayhour_map) {
    vi_print_weekdayhour_map_report(fp, vih);
    vi_print_hline(fp);
***************
*** 3143,3154 ****
    vi_print_pageviews_report(fp, vih);
    vi_print_hline(fp);
   }
!  vi_print_pages_report(fp, vih);
!  vi_print_hline(fp);
!  vi_print_images_report(fp, vih);
!  vi_print_hline(fp);
!  vi_print_referers_report(fp, vih);
!  vi_print_hline(fp);
   if (Config_process_referers_age) {
    vi_print_referers_age_report(fp, vih);
    vi_print_hline(fp);
--- 3163,3180 ----
    vi_print_pageviews_report(fp, vih);
    vi_print_hline(fp);
   }
!  if (Config_process_pages) {
!   vi_print_pages_report(fp, vih);
!   vi_print_hline(fp);
!  }
!  if (Config_process_images) {
!   vi_print_images_report(fp, vih);
!   vi_print_hline(fp);
!  }
!  if (Config_process_referers) {
!   vi_print_referers_report(fp, vih);
!   vi_print_hline(fp);
!  }
   if (Config_process_referers_age) {
    vi_print_referers_age_report(fp, vih);
    vi_print_hline(fp);
***************
*** 3205,3216 ****
    vi_print_trails_report(fp, vih);
    vi_print_hline(fp);
   }
!  vi_print_weekdays_report(fp, vih);
!  vi_print_hline(fp);
!  vi_print_hours_report(fp, vih);
!  vi_print_hline(fp);
!  vi_print_credits(fp);
!  vi_print_hline(fp);
   vi_print_footer(fp);
   if (of != NULL)
    fclose(fp);
--- 3231,3248 ----
    vi_print_trails_report(fp, vih);
    vi_print_hline(fp);
   }
!  if (Config_process_weekdays) {
!   vi_print_weekdays_report(fp, vih);
!   vi_print_hline(fp);
!  }
!  if (Config_process_hours) {
!   vi_print_hours_report(fp, vih);
!   vi_print_hline(fp);
!  }
!  if (Config_process_credits) {
!   vi_print_credits(fp);
!   vi_print_hline(fp);
!  }
   vi_print_footer(fp);
   if (of != NULL)
    fclose(fp);
***************
*** 3301,3318 ****
  /* ----------------------------------- main --------------------------------- */
  
  /* command line switche IDs */
! enum { OPT_MAXREFERERS, OPT_MAXPAGES, OPT_MAXIMAGES, OPT_USERAGENTS, OPT_ALL, OPT_MAXLINES, OPT_GOOGLE, OPT_MAXGOOGLED, OPT_MAXUSERAGENTS, OPT_OUTPUT, OPT_VERSION, OPT_HELP, OPT_PREFIX, OPT_TRAILS, OPT_GOOGLEKEYPHRASES, OPT_GOOGLEKEYPHRASESAGE, OPT_MAXGOOGLEKEYPHRASES, OPT_MAXGOOGLEKEYPHRASESAGE, OPT_MAXTRAILS, OPT_GRAPHVIZ, OPT_WEEKDAYHOUR_MAP, OPT_MONTHDAY_MAP, OPT_REFERERSAGE, OPT_MAXREFERERSAGE, OPT_TAIL, OPT_TLD, OPT_MAXTLD, OPT_STREAM, OPT_OUTPUTFILE, OPT_UPDATEEVERY, OPT_RESETEVERY, OPT_OS, OPT_BROWSERS, OPT_ERROR404, OPT_MAXERROR404, OPT_TIMEDELTA, OPT_PAGEVIEWS, OPT_ROBOTS, OPT_MAXROBOTS, OPT_GRAPHVIZ_ignorenode_GOOGLE, OPT_GRAPHVIZ_ignorenode_EXTERNAL, OPT_GRAPHVIZ_ignorenode_NOREFERER, OPT_GOOGLEHUMANLANGUAGE, OPT_FILTERSPAM, OPT_MAXADSENSED, OPT_GREP, OPT_EXCLUDE, OPT_IGNORE404, OPT_DEBUG, OPT_SCREENINFO};
  
  /* command line switches definition:
   * the rule with short options is to take upper case the
   * 'special' options (the option a normal user should not use) */
  static struct ago_optlist visitors_optlist[] = {
   { 'A',  "all",   OPT_ALL,  AGO_NOARG},
   { 'T',  "trails",  OPT_TRAILS,  AGO_NOARG},
   { 'G', "google",  OPT_GOOGLE,  AGO_NOARG},
   { 'K', "google-keyphrases", OPT_GOOGLEKEYPHRASES, AGO_NOARG},
   { 'Z', "google-keyphrases-age", OPT_GOOGLEKEYPHRASESAGE, AGO_NOARG},
!         { 'H',  "google-human-language", OPT_GOOGLEHUMANLANGUAGE, AGO_NOARG},
   { 'U', "user-agents",  OPT_USERAGENTS,  AGO_NOARG},
   { 'W',  "weekday-hour-map", OPT_WEEKDAYHOUR_MAP, AGO_NOARG},
   { 'M',  "month-day-map", OPT_MONTHDAY_MAP, AGO_NOARG},
--- 3333,3355 ----
  /* ----------------------------------- main --------------------------------- */
  
  /* command line switche IDs */
! enum { OPT_MAXREFERERS, OPT_MAXPAGES, OPT_MAXIMAGES, OPT_USERAGENTS, OPT_ALL, OPT_MAXLINES, OPT_GOOGLE, OPT_MAXGOOGLED, OPT_MAXUSERAGENTS, OPT_OUTPUT, OPT_VERSION, OPT_HELP, OPT_PREFIX, OPT_TRAILS, OPT_GOOGLEKEYPHRASES, OPT_GOOGLEKEYPHRASESAGE, OPT_MAXGOOGLEKEYPHRASES, OPT_MAXGOOGLEKEYPHRASESAGE, OPT_MAXTRAILS, OPT_GRAPHVIZ, OPT_WEEKDAYHOUR_MAP, OPT_MONTHDAY_MAP, OPT_REFERERSAGE, OPT_MAXREFERERSAGE, OPT_TAIL, OPT_TLD, OPT_MAXTLD, OPT_STREAM, OPT_OUTPUTFILE, OPT_UPDATEEVERY, OPT_RESETEVERY, OPT_OS, OPT_BROWSERS, OPT_ERROR404, OPT_MAXERROR404, OPT_TIMEDELTA, OPT_PAGEVIEWS, OPT_ROBOTS, OPT_MAXROBOTS, OPT_GRAPHVIZ_ignorenode_GOOGLE, OPT_GRAPHVIZ_ignorenode_EXTERNAL, OPT_GRAPHVIZ_ignorenode_NOREFERER, OPT_GOOGLEHUMANLANGUAGE, OPT_FILTERSPAM, OPT_MAXADSENSED, OPT_GREP, OPT_EXCLUDE, OPT_IGNORE404, OPT_DEBUG, OPT_SCREENINFO, OPT_CREDITS, OPT_GOOGLEVISITS, OPT_HOURS, OPT_IMAGES, OPT_INFORMATION, OPT_PAGES, OPT_REFERERS, OPT_REPORTLINK, OPT_VISITS, OPT_WEEKDAYS };
  
  /* command line switches definition:
   * the rule with short options is to take upper case the
   * 'special' options (the option a normal user should not use) */
  static struct ago_optlist visitors_optlist[] = {
   { 'A',  "all",   OPT_ALL,  AGO_NOARG},
+  { '\0', "credits",  OPT_CREDITS, AGO_NOARG},
   { 'T',  "trails",  OPT_TRAILS,  AGO_NOARG},
   { 'G', "google",  OPT_GOOGLE,  AGO_NOARG},
   { 'K', "google-keyphrases", OPT_GOOGLEKEYPHRASES, AGO_NOARG},
   { 'Z', "google-keyphrases-age", OPT_GOOGLEKEYPHRASESAGE, AGO_NOARG},
!  { 'H',  "google-human-language", OPT_GOOGLEHUMANLANGUAGE, AGO_NOARG},
!  { '\0', "google-visits", OPT_GOOGLEVISITS, AGO_NOARG},
!  { '\0', "hours", OPT_HOURS, AGO_NOARG},
!  { '\0', "images", OPT_IMAGES, AGO_NOARG},
!  { '\0', "information", OPT_INFORMATION, AGO_NOARG},
   { 'U', "user-agents",  OPT_USERAGENTS,  AGO_NOARG},
   { 'W',  "weekday-hour-map", OPT_WEEKDAYHOUR_MAP, AGO_NOARG},
   { 'M',  "month-day-map", OPT_MONTHDAY_MAP, AGO_NOARG},
***************
*** 3322,3327 ****
--- 3359,3369 ----
   { 'B',  "browsers",  OPT_BROWSERS,  AGO_NOARG},
   { 'X',  "error404",  OPT_ERROR404,  AGO_NOARG},
   { 'Y',  "pageviews",  OPT_PAGEVIEWS,  AGO_NOARG},
+  { '\0', "pages", OPT_PAGES, AGO_NOARG},
+  { '\0', "referers", OPT_REFERERS, AGO_NOARG},
+  { '\0', "report-link", OPT_REPORTLINK, AGO_NOARG},
+  { '\0', "visits", OPT_VISITS, AGO_NOARG},
+  { '\0', "weekdays", OPT_WEEKDAYS, AGO_NOARG},
   { 'S', "robots",  OPT_ROBOTS,  AGO_NOARG},
   { '\0', "screen-info",  OPT_SCREENINFO,  AGO_NOARG},
   { '\0', "stream",  OPT_STREAM,  AGO_NOARG},
***************
*** 3343,3350 ****
   { 'a', "max-referers-age", OPT_MAXREFERERSAGE, AGO_NEEDARG},
   { 'd', "max-domains",  OPT_MAXTLD,  AGO_NEEDARG},
   { 's', "max-robots",  OPT_MAXROBOTS,  AGO_NEEDARG},
!         { '\0', "grep",                 OPT_GREP,               AGO_NEEDARG},
!         { '\0', "exclude",              OPT_EXCLUDE,            AGO_NEEDARG},
   { 'P',  "prefix",  OPT_PREFIX,  AGO_NEEDARG},
   { 'o',  "output",  OPT_OUTPUT,  AGO_NEEDARG},
   { 'V',  "graphviz",  OPT_GRAPHVIZ,  AGO_NOARG},
--- 3385,3392 ----
   { 'a', "max-referers-age", OPT_MAXREFERERSAGE, AGO_NEEDARG},
   { 'd', "max-domains",  OPT_MAXTLD,  AGO_NEEDARG},
   { 's', "max-robots",  OPT_MAXROBOTS,  AGO_NEEDARG},
!  { '\0', "grep",                 OPT_GREP,               AGO_NEEDARG},
!  { '\0', "exclude",              OPT_EXCLUDE,            AGO_NEEDARG},
   { 'P',  "prefix",  OPT_PREFIX,  AGO_NEEDARG},
   { 'o',  "output",  OPT_OUTPUT,  AGO_NEEDARG},
   { 'V',  "graphviz",  OPT_GRAPHVIZ,  AGO_NOARG},
***************
*** 3357,3364 ****
   { 'v',  "version",  OPT_VERSION,  AGO_NOARG},
   { '\0', "tail",   OPT_TAIL,  AGO_NOARG},
   { '\0', "time-delta",  OPT_TIMEDELTA,  AGO_NEEDARG},
!         { '\0', "filter-spam",          OPT_FILTERSPAM,         AGO_NOARG},
!         { '\0', "ignore-404",           OPT_IGNORE404,          AGO_NOARG},
   { '\0', "debug",  OPT_DEBUG,  AGO_NOARG},
   { 'h', "help",   OPT_HELP,  AGO_NOARG},
   AGO_LIST_TERM
--- 3399,3406 ----
   { 'v',  "version",  OPT_VERSION,  AGO_NOARG},
   { '\0', "tail",   OPT_TAIL,  AGO_NOARG},
   { '\0', "time-delta",  OPT_TIMEDELTA,  AGO_NEEDARG},
!  { '\0', "filter-spam",          OPT_FILTERSPAM,         AGO_NOARG},
!  { '\0', "ignore-404",           OPT_IGNORE404,          AGO_NOARG},
   { '\0', "debug",  OPT_DEBUG,  AGO_NOARG},
   { 'h', "help",   OPT_HELP,  AGO_NOARG},
   AGO_LIST_TERM
***************
*** 3462,3468 ****
     Config_process_google_keyphrases_age = 1;
     break;
    case OPT_GOOGLEHUMANLANGUAGE:
!                         Config_process_google_keyphrases = 1;
     Config_process_google_human_language = 1;
     break;
    case OPT_TLD:
--- 3504,3510 ----
     Config_process_google_keyphrases_age = 1;
     break;
    case OPT_GOOGLEHUMANLANGUAGE:
!    Config_process_google_keyphrases = 1;
     Config_process_google_human_language = 1;
     break;
    case OPT_TLD:
***************
*** 3498,3504 ****
     Config_process_error404 = 1;
     Config_process_pageviews = 1;
     Config_process_robots = 1;
!                         Config_process_screen_info = 1;
     break;
    case OPT_PREFIX:
     if (Config_prefix_num < VI_PREFIXES_MAX) {
--- 3540,3556 ----
     Config_process_error404 = 1;
     Config_process_pageviews = 1;
     Config_process_robots = 1;
!    Config_process_screen_info = 1;
!    Config_process_credits = 1;
!    Config_process_google_visits = 1;
!    Config_process_hours = 1;
!    Config_process_images = 1;
!    Config_process_information = 1;
!    Config_process_pages = 1;
!    Config_process_referers = 1;
!    Config_process_report_links = 1;
!    Config_process_visits = 1;
!    Config_process_weekdays = 1;
     break;
    case OPT_PREFIX:
     if (Config_prefix_num < VI_PREFIXES_MAX) {
***************
*** 3582,3605 ****
    case OPT_TIMEDELTA:
     Config_time_delta = atoi(ago_optarg);
     break;
!                 case OPT_FILTERSPAM:
!                         Config_filter_spam = 1;
!                         break;
!                 case OPT_GREP:
!                         ConfigAddGrepPattern(ago_optarg, VI_PATTERNTYPE_GREP);
!                         break;
!                 case OPT_EXCLUDE:
!                         ConfigAddGrepPattern(ago_optarg, VI_PATTERNTYPE_EXCLUDE);
!                         break;
!                 case OPT_IGNORE404:
!                         Config_ignore_404 = 1;
!                         break;
!                 case OPT_DEBUG:
!                         Config_debug = 1;
!                         break;
!                 case OPT_SCREENINFO:
!                         Config_process_screen_info = 1;
!                         break;
    case AGO_ALONE:
     if (filenamec < VI_FILENAMES_MAX)
      filenames[filenamec++] = ago_optarg;
--- 3634,3687 ----
    case OPT_TIMEDELTA:
     Config_time_delta = atoi(ago_optarg);
     break;
!   case OPT_FILTERSPAM:
!    Config_filter_spam = 1;
!    break;
!   case OPT_GREP:
!    ConfigAddGrepPattern(ago_optarg, VI_PATTERNTYPE_GREP);
!    break;
!   case OPT_EXCLUDE:
!    ConfigAddGrepPattern(ago_optarg, VI_PATTERNTYPE_EXCLUDE);
!    break;
!   case OPT_IGNORE404:
!    Config_ignore_404 = 1;
!    break;
!   case OPT_DEBUG:
!    Config_debug = 1;
!    break;
!   case OPT_SCREENINFO:
!    Config_process_screen_info = 1;
!    break;
!   case OPT_CREDITS:
!    Config_process_credits = 1;
!    break;
!   case OPT_GOOGLEVISITS:
!    Config_process_google_visits = 1;
!    break;
!   case OPT_HOURS:
!    Config_process_hours = 1;
!    break;
!   case OPT_IMAGES:
!    Config_process_images = 1;
!    break;
!   case OPT_INFORMATION:
!    Config_process_information = 1;
!    break;
!   case OPT_PAGES:
!    Config_process_pages = 1;
!    break;
!   case OPT_REFERERS:
!    Config_process_referers = 1;
!    break;
!   case OPT_REPORTLINK:
!    Config_process_report_links = 1;
!    break;
!   case OPT_VISITS:
!    Config_process_visits = 1;
!    break;
!   case OPT_WEEKDAYS:
!    Config_process_weekdays = 1;
!    break;
    case AGO_ALONE:
     if (filenamec < VI_FILENAMES_MAX)
      filenames[filenamec++] = ago_optarg;

Visitors for CentOS5.2

2009-03-19T19:38:00.002+09:00

AmazonEC2上のCentOS5.2でApacheのアクセスログ解析が必要になったのでvisitorsでも試してみようかと。


# yum install visitors

とかではインストールできないのでrpmfindでバイナリパッケージを探すも、すんなりインストールされるrpmがなく、
specファイルからビルドする事に。

検索してみたところ、specファイルが見つかったのでこれとソースtarballを使って


# rpmbuild -bb --clean /usr/src/redhat/SPECS/visitors.spec

これでビルド完了。
ついでにspecファイルを少々直しておそらく使わないであろうgraphvizがなくてもインストールできるように。


#Requires:       graphviz

graphvizも面白い試みなんだけど、graphvizをインストールする際に依存するパッケージが多いので。。

Amazon EBS Snapshotスクリプト

2009-03-13T18:02:00.006+09:00

Amazon EC2 のサーバにあるデータのバックアップ、どうしてますか？
S3に投げる？それもアリですけど、データをEBSに置くようにしているとSnapshotバックアップが簡単にできるので、
これを自動化するスクリプトを書きました。Amazonのサービスはpythonのbotoというライブラリがいろいろできて便利。
Usageの通り、第一引数(num)は世代数、volume-idは対象のEBS VolumeのIDを指定します。

cronなんかに
0 0 * * * /path/to/snapshot.py 7 vol-00000000
という感じで登録しておく事を前提に作りました。


#!/usr/bin/env python

import sys
from boto.ec2.connection import EC2Connection

if(len(sys.argv) != 3):
    print "Usage: snapshot.py <num> <volume-id>"
    sys.exit()

conn = EC2Connection('aws_access_key','aws_secret_access_key')
conn.create_snapshot(sys.argv[2])
snapshot = {}
for x in conn.get_all_snapshots():
    if(x.volume_id == sys.argv[2]):
        tmp = {x.id:x.start_time}
        snapshot.update(tmp)
snapshot = sorted(snapshot.items(), key=lambda (k, v): (v, k), reverse=True)
for i in range(int(sys.argv[1]), len(snapshot)):
    conn.delete_snapshot(snapshot[i][0])

2009/12/16修正：8行目のquit()をsys.exit()に変更しました。

CentOS5.2のAMI作成

2009-02-05T16:43:00.003+09:00

だいぶ以前に作ったものですが、GentooのAMIを作った誰かさんのススメに従って
CentOS5.2のAMIを公開してみました。

AMI ID: ami-1fe40376
Manifest: tmhrnskw.com/AMI/CentOS5.2-i386.manifest.xml

作り方等は時間があれば別途。
元々はRightScaleのイメージを使っていたのですが、CentOS5.2のイメージがなかなか
安定していなかったり、RightScale社用のスクリプトが入っていたりするので
シンプルでベーシックなイメージにしました。

yum groupinstall core

で入るパッケージくらいしか入っていないので、カスタマイズしてご利用ください。
Timezoneの変更もお忘れなく。

ケースから欲しくなるiPod nano

2009-01-14T10:23:00.003+09:00

現行のiPod nanoにあまり魅力を感じなかったので見送り気分だったのですが、
たまたまコレを見て欲しくなった！
メーカーサイトを見る限り、売上の一部は国際環境NGO団体に寄付されるらしい。
正直このテの寄付とか後追いせずに購入したいとは思わないタチですが、企画とデザインの勝利なのか商品に魅力は感じられます。丁度良いチープさと1,780円という手頃な価格設定も良いね。
まさかケースが気に入って中身を欲しくなるとは。。

ちなみに同メーカーサイトにあるDS Liteドレスアップフィルムとか、キーボードも気になる仕上がり。

AmazonEC2でロードバランシング

2009-01-14T09:59:00.003+09:00

Amazon EC2を使う時に大活躍するElasticfoxですが、AmazonからWebベースの管理画面(Amazon Management Console)が提供されました。
機能的にはElasticfoxと大差ないのですが、機能説明の一部、"Coming Soon!"に下記の記述が。

Monitoring, Load Balancing and Auto-scaling - View real-time monitoring of operational metrics within Amazon EC2, configure load balancing and auto-scaling rules through a web-based UI.

CloudFrontでかなり利用の幅が広がったAWSですが、EC2でここまでやってくれると助かるなぁ。現状は監視ツール使ったりリバースプロキシ立ち上げたりしてますが、ロードバランシングとか自動スケーリングとか素晴らしいな、Amazon。パフォーマンスとか気になるけど。

MobileMeと税

2008-12-22T14:11:00.003+09:00

MobileMeの更新催促メールが届いた。
Macユーザになってからとりあえず料金を払って登録してみたもののほとんど何も使っていない。
使わない理由はデータを自分の直接管理外のメディアに保存することに抵抗があるからに他ならない。

このまま更新するとまるで「Mac税」みたいなので更新をやめようかと思った。
ふとiTunesを見ればアカウントに****@mac.com。。
更新をやめると当然今iTunesで使っているアカウントは使えなくなるのだろうな。
購入履歴とか再ダウンロードとか影響がありそうな気がする。
「Mac税」ではなく「iTunes税」として支払続けるのか悩む。