おいぬま日報

Pythonで標準出力をキャプチャする

oinume — Sun, 20 May 2012 08:55:57 +0000

PerlだとCapture::TinyというCPANモジュールがあるのだけど、Pythonだとやり方がわからなかったので調べてみたところ、Capture stdout from a script in Python – Stack Overflowで色々とやり方が紹介されている。

普通に標準出力の内容を文字列として取りたいだけなら下記でいいんじゃないかと思われる。Python詳しくないのでもっとスマートな方法があれば教えてほしいです。

withが使えるといいカンジで書けますな。

Pythonプロフェッショナルプログラミング

著者／訳者：ビープラウド

出版社：秀和システム( 2012-03-26 )

単行本 ( 464 ページ )

WikiならConfluenceがオススメ

oinume — Fri, 04 May 2012 16:45:46 +0000

※自分はAtlassianの回し者ではありません

会社で使っているConfluenceというエンタープライズWikiが気に入っている。Wikiと言えば今まで

MediaWiki
PukiWiki
FreeStyleWiki
RedmineのWiki

を使ってきたんだけど、機能的なバランスの良さを考えるとこのConfluenceに軍配が上がると思っている。

Confluenceのオススメポイントとしては

スペースという概念がある(独立した子Wikiみたいなもの)
マークアップの表現力が充実している
デフォルトでWYSWIGのエディタがついてる
ページに階層構造があり、ページの移動が簡単にできる
ページにラベル(タグ)が付けられる
編集履歴が100%残る
ウォッチ機能(ウォッチしているページが更新されたらメール通知)
プラグインによる機能追加が可能。プラグインも豊富
LDAP認証、ActiveDirectory認証に対応
ユーザ・グループ単位でページの閲覧・編集制限が可能

などが挙げられる。

ただし、Wiki記法が独特なのがちょっと痛い。もはや新しいWiki記法を覚えてられないので、自分用のメモWikiもこのConfluenceにしてしまったぐらいである。ちなみにサーバインストール型のライセンスなら10ユーザまでなら年間$10で買えるのでオススメ。

最近やっと運用ノウハウが溜まりつつあるので、今後ちょいちょい公開していきたいと思う。

自宅サーバのGitリポジトリをbitbucketに移行

oinume — Thu, 03 May 2012 02:58:24 +0000

サーバの設定ファイルや個人のdotfileを格納していた自宅サーバのGitリポジトリ、よくよく考えたらbitbucketって無料でプライベートリポジトリ作れたよなぁって思って移行してみた。

bitbucketのアカウントさえ取ってしまえば、Gitのリポジトリの移行自体はすごく簡単だった。

$ git remote
$ git remote rm origin
$ git remote add origin git@bitbucket.org:oinume/repo.git

ってやるだけ。

Shellで絶対パスを取得する

oinume — Thu, 03 May 2012 02:19:51 +0000

よく忘れてしまうのでメモ。例えば実行するスクリプトの絶対パスを取得する場合。

#!/bin/sh
 
DIR=$(cd $(dirname "$0") && pwd)
echo $DIR

$ sh ~/Dropbox/code/sh/abspath.sh
Users/kazuhiro/Dropbox/code/sh

複数バージョンのPythonでテストしてくれるtoxが便利すぎる

oinume — Sun, 15 Apr 2012 05:09:18 +0000

tomahawkはPython 2.4/2.5/2.6/2.7 対応を謳っている。ただ、テストするたびに virtualenv で切り替え→テスト実行が非常に手間だった。そんなところにこのスライドでtoxという複数のバージョンのPythonでテストできるツールがあることを知った。実際使ってみたところ、今までやっていた作業が完全に自動化されてウハウハになったので紹介したい。

toxの実行時の流れ

toxはvirtualenvを使って環境を作っては切り替えてくれる。実行時のログを見た限り、流れとしては下記のようになっているようだ。

テストしたいソフトウェアのディレクトリ上にtox.iniを作成
該当ディレクトリで tox コマンドを実行
python setup.py sdist が実行される
tox.iniで定義された環境をvirtualenvで作成し、必要なライブラリをインストール
tox.ini内のcommandsでテストコマンドを実行

tox.ini

depsにはテストで必要なライブラリなどを書いておく。テスト対象のソフトウェアが依存しているライブラリはtoxがpipを使うので、setup.pyで依存をしっかり書いておけば自動でインストールされる。

[tox]
envlist = py25,py26,py27
 
[testenv]
deps=nose
commands = nosetests -sdv tests/internal
 
[testenv:py25]
basepython = /usr/local/pythonbrew/pythons/Python-2.5.6/bin/python2.5
 
[testenv:py26]
basepython = /usr/local/pythonbrew/pythons/Python-2.6.8/bin/python2.6
 
[testenv:py27]
basepython = /usr/local/pythonbrew/pythons/Python-2.7.3/bin/python2.7

toxを実行してみる

$ pwd
/Users/kazuhiro/work/tomahawk
$ tox
________________________________________ [tox sdist] ________________________________________
[TOX] ***creating sdist package
[TOX] /Users/kazuhiro/work/tomahawk$ /System/Library/Frameworks/Python.framework/Versions/2.7/Resources/Python.app/Contents/MacOS/Python setup.py sdist --formats=zip --dist-dir .tox/dist >.tox/log/0.log
[TOX] ***copying new sdistfile to '/Users/kazuhiro/.tox/distshare/tomahawk-0.5.0.zip'
____________________________________ [tox testenv:py25] _____________________________________
[TOX] ***creating virtualenv py25
[TOX] /Users/kazuhiro/work/tomahawk/.tox$ /opt/local/pythonbrew/pythons/Python-2.5.6/bin/python2.5 /Library/Python/2.7/site-packages/virtualenv.py --distribute --no-site-packages py25 >py25/log/0.log
[TOX] ***installing dependencies: nose
[TOX] /Users/kazuhiro/work/tomahawk/.tox/py25/log$ ../bin/pip install --download-cache=/Users/kazuhiro/work/tomahawk/.tox/_download nose >1.log
[TOX] ***installing sdist
[TOX] /Users/kazuhiro/work/tomahawk/.tox/py25/log$ ../bin/pip install --download-cache=/Users/kazuhiro/work/tomahawk/.tox/_download /Users/kazuhiro/work/tomahawk/.tox/dist/tomahawk-0.5.0.zip >2.log
[TOX] /Users/kazuhiro/work/tomahawk$ .tox/py25/bin/nosetests -sdv tests/internal
test_command.test_01_execute ... ok
test_command.test_02_execute_error ... ok
test_command.test_03_execute_timeout ... ok
test_command.test_04_execute_option_host_files ... ok
test_command.test_05_execute_option_continue_on_error ... ok
test_command.test_06_execute_option_ssh_options ... ok
test_command.test_07_output_format ... ok
test_rsync.test_01_execute ... ok
test_rsync.test_02_execute_error ... ok
test_rsync.test_03_execute_timeout ... ok
test_rsync.test_04_execute_option_rsync_options ... ok
test_rsync.test_05_execute_option_mirror_mode_pull ... ok
test_rsync.test_06_execute_option_continue_on_error ... ok
 
----------------------------------------------------------------------
Ran 13 tests in 12.750s
 
OK
____________________________________ [tox testenv:py26] _____________________________________
[TOX] ***creating virtualenv py26
[TOX] /Users/kazuhiro/work/tomahawk/.tox$ /opt/local/pythonbrew/pythons/Python-2.6.8/bin/python2.6 /Library/Python/2.7/site-packages/virtualenv.py --distribute --no-site-packages py26 >py26/log/0.log
[TOX] ***installing dependencies: nose
[TOX] /Users/kazuhiro/work/tomahawk/.tox/py26/log$ ../bin/pip install --download-cache=/Users/kazuhiro/work/tomahawk/.tox/_download nose >1.log
[TOX] ***installing sdist
[TOX] /Users/kazuhiro/work/tomahawk/.tox/py26/log$ ../bin/pip install --download-cache=/Users/kazuhiro/work/tomahawk/.tox/_download /Users/kazuhiro/work/tomahawk/.tox/dist/tomahawk-0.5.0.zip >2.log
[TOX] /Users/kazuhiro/work/tomahawk$ .tox/py26/bin/nosetests -sdv tests/internal
(snip)
----------------------------------------------------------------------
Ran 13 tests in 13.355s
 
OK
____________________________________ [tox testenv:py27] _____________________________________
[TOX] ***creating virtualenv py27
[TOX] /Users/kazuhiro/work/tomahawk/.tox$ /opt/local/pythonbrew/pythons/Python-2.7.3/bin/python2.7 /Library/Python/2.7/site-packages/virtualenv.py --distribute --no-site-packages py27 >py27/log/0.log
[TOX] ***installing dependencies: nose
[TOX] /Users/kazuhiro/work/tomahawk/.tox/py27/log$ ../bin/pip install --download-cache=/Users/kazuhiro/work/tomahawk/.tox/_download nose >1.log
[TOX] ***installing sdist
[TOX] /Users/kazuhiro/work/tomahawk/.tox/py27/log$ ../bin/pip install --download-cache=/Users/kazuhiro/work/tomahawk/.tox/_download /Users/kazuhiro/work/tomahawk/.tox/dist/tomahawk-0.5.0.zip >2.log
[TOX] /Users/kazuhiro/work/tomahawk$ .tox/py27/bin/nosetests -sdv tests/internal
(snip)
----------------------------------------------------------------------
Ran 13 tests in 14.168s
 
OK
_______________________________________ [tox summary] _______________________________________
[TOX] py25: commands succeeded
[TOX] py26: commands succeeded
[TOX] py27: commands succeeded
[TOX] congratulations :)

というわけで、toxオススメです。

Pythonプロフェッショナルプログラミング

著者／訳者：ビープラウド

出版社：秀和システム( 2012-03-26 )

単行本 ( 464 ページ )

pythonbrewで新しいPythonをインストールできるようにする

oinume — Sat, 14 Apr 2012 16:38:25 +0000

Python-2.7.3がリリースされたので早速入れようと思ったら

$ pythonbrew install 2.7.3
ERROR: Unknown python version: `Python-2.7.3`

と言われて残念な気持ちになったので、どうすればpythonbrewで新しいPythonがインストールできるか調べてみた。

やり方は簡単で $PYTHONBREW_ROOT/etc/config.cfg に下記のように追加すればいいだけだった。

$ diff -u config.cfg.orig config.cfg
--- config.cfg.orig	2012-04-15 01:34:23.000000000 +0900
+++ config.cfg	2012-04-15 01:35:09.000000000 +0900
@@ -154,6 +154,9 @@
 
 [Python-2.7.2]
 url = http://www.python.org/ftp/python/2.7.2/Python-2.7.2.tgz
+
+[Python-2.7.3]
+url = http://www.python.org/ftp/python/2.7.3/Python-2.7.3.tgz
 latest = True
 
 [Python-3.0]

追記したらいつものようにインストールするだけ。

$ pythonbrew install 2.7.3

Pythonプロフェッショナルプログラミング

著者／訳者：ビープラウド

出版社：秀和システム( 2012-03-26 )

単行本 ( 464 ページ )

Shellでset -uした時の引数の取り扱い

oinume — Sat, 07 Apr 2012 22:55:10 +0000

#!/bin/sh
 
DIR=$1
 
rm -rf $DIR/

なんてやると$1がなかった時に / が消されてしまうので非常に危険。こういう場合は set -u して、未定義の変数があればエラーにすることが推奨される。

/Users/kazuhiro/Dropbox/code/sh/set_u.sh: line 3: $1: unbound variable

ただし、 set -u すると引数の個数を$#を使って、いちいちチェックしないといけない。

#!/bin/sh
set -u
 
# 引数のサイズをチェック
if [ $# -le 1 ]; then
    exit 1
fi
DIR=$1
 
rm -rf $DIR/

ちょっと面倒だけど set -u している時は $# 使いましょうということで。

log-back.xml内で変数を使って環境差異を吸収する

oinume — Fri, 06 Apr 2012 12:33:18 +0000

変数と言ってもJavaなのでプロパティなのですが。

>
     name="FILE" class="ch.qos.logback.core.FileAppender">
        >${app.home}/app.log>
         class="ch.qos.logback.classic.PatternLayout">
            >%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n>
        >
    >
 
     level="${root-level:-debug}">
         ref="FILE" />
    > 
>

↑のような感じでlog-back.xmlを定義。

java -Dapp.home=/var/log/app ...

のようにシステムプロパティ定義してあげると、logback.xml内の${app.home}の部分が /var/log/app に置き換わる。

もともと、開発環境と本番環境でTomcatのディレクトリが違っていて、logback.xmlを環境ごとに定義していたのだけど、${app.home}で環境差異を吸収できるのでlogback.xmlは1ファイルで済む。もうちょいエレガントな方法がありそうだけど…

出典：http://logback.qos.ch/manual/joran.html#variableSubstitution

パーフェクトJava (PERFECT SERIES) (PERFECT SERIES 2)

著者／訳者：アリエル・ネットワーク株式会社井上誠一郎永井雅人松山智大

出版社：技術評論社( 2009-09-24 )

大型本 ( 640 ページ )

amazon.comでKindle版オライリー本を買うと$4.99でDRMフリーなバージョンが買える

oinume — Sat, 24 Mar 2012 11:14:36 +0000

先日amazon.comでKindle版の

Just Spring

著者／訳者：Madhusudhan Konda

出版社：Oreilly & Associates Inc( 2011-08-04 )

ペーパーバック ( 63 ページ )

を買ったら、その本の中に

Upgrade this ebook today for $4.99 at oreilly.com and get access to additional DRM-free formats including PDF and EPUB, along with free lifetime updates.

という文章があった。どうやらオライリーで追加$4.99払うとDRMフリーなバージョンのものが手に入るらしい。

Good ReaderでiOS内蔵の辞書が使えるようになって、洋書をちょいちょい買っているので嬉しい。

CentOS 6.x上でtomahawk-0.4.x使ってsudoつきのコマンドが失敗する場合

oinume — Sun, 18 Mar 2012 13:41:11 +0000

CentOS 6.2で sudo 付きのコマンドを送る場合は

tomahawk -o=-t -l -h localhost 'sudo uptime'

のように、-o=-t をつけます。これでssh時に pseudo-tty が割り当てられる。ちなみに今開発中の0.5系はデフォルトで -o=-t がつく状態になっています。

あと、-D でデバッグ出力が有効になります。同僚からバグ報告をもらったのですが、”sudo: sorry, you must have a tty to run sudo
” と言われているので、「ああ、そういうことか」とわかりました。

$ bin/tomahawk -D -l -h localhost 'sudo uptime'
[DEBUG] options = Namespace(command=['sudo uptime'],
continue_on_error=None, debug=True, delay=0,
expect_delay=0.050000000000000003, expect_encoding='utf-8',
expect_timeout=None, hosts='localhost', hosts_files=None,
no_sudo_password=False, output_format='${user}@${host} %
${command}\n${output}\n', parallel=1, profile=False,
prompt_login_password=True, prompt_sudo_password=False, ssh='ssh',
ssh_options=None, ssh_user=None, timeout=10)
[DEBUG] arguments = ['sudo uptime']
Enter a password for ssh authentication:
Enter a password for sudo:
 
[DEBUG] command = ssh, args = ['-l', 'kazuhiro', 'localhost', '/bin/sh',
'-c', '"sudo uptime"']
[DEBUG] expect index = 1
[DEBUG] expect.EOF
[DEBUG] child closed.
[DEBUG] exit_status = 1
[DEBUG] line = kazuhiro@localhost's password: *********
[DEBUG] line = sudo: sorry, you must have a tty to run sudo
[DEBUG] output_text = sudo: sorry, you must have a tty to run sudo
[error] kazuhiro@localhost % sudo uptime
sudo: sorry, you must have a tty to run sudo
Command failed ! (status = 1)
[error] Command "sudo uptime" failed on host "localhost"

Firefoxで開いているタブのタイトル/リンクの一覧を生成するアドオン

oinume — Sat, 17 Mar 2012 16:17:56 +0000

FirefoxにCopy Urls Eexpertというアドオンがあって、最近これを便利に使っているので紹介。

どういうアドオンかというと、「ウィンドウ内で開いているタブの一覧から、タイトルとURLをリスト化してくれる」というもの。リストは下記のようになる。

1. Matt Sergeant / Time-Piece – search.cpan.org – http://search.cpan.org/dist/Time-Piece/
2. Dave Rolsky / DateTime – search.cpan.org – http://search.cpan.org/dist/DateTime/
3. Johan Vromans / Getopt-Long – search.cpan.org – http://search.cpan.org/dist/Getopt-Long/

URLの一覧をWikiやブログに貼りつけたい時などに超絶便利です。

Firefoxを究める256のテクニック

著者／訳者：下田洋志大和徳明

出版社：秀和システム( 2006-01 )

単行本 ( 431 ページ )

Linuxでディスクが壊れた場合のデータ復旧方法

oinume — Wed, 29 Feb 2012 07:48:30 +0000

先日自宅サーバのディスク(SSD)がお亡くなりになって、「あーやっべー、データ全部バックアップしてないわー」ということが発覚し途方に暮れていたんだけど、グーグル先生に問い合わせたところ dd_rescue なるコマンドがあり、これを使ったらほぼ完全にデータが復旧できましたとさ！

Debian/Ubuntu なら

$ sudo aptitude install ddrescue

自分は新しいマシンを用意していたので、そのマシンに壊れたディスク(/dev/sdd)と余っていたディスク(/dev/sde)を刺して

sudo dd_rescue /dev/sdd /dev/sde

と実行し、壊れたディスクである /dev/sddのデータを /dev/sde にコピー。

あとは /dev/sde を適当にマウントして、データをコピーすればOK。
いやー dd_rescue 様様でした。ありがたい。

参考

タイムリー GROOVY HDDをUSB SATA接続2.5/3.5/5.25"ドライブ専用 UD-505SA

iPhoneのホームボタンを延命するためのAssistiveTouch

oinume — Sat, 11 Feb 2012 02:30:34 +0000

iPhoneのホームボタンって酷使されるもので、よく「ホームボタンがきかなくなった」などの症状を訴える人が多い。そんな人達に朗報なのが、このAssistiveTouchという設定。設定→一般→アクセシビリティ→(身体機能サポート)AssistiveTouchをオンにすると、

写真の右下にあるようなフワッとしたボタンが出てきて、これをタップするとホームボタンが出てくる。

詳細はiPhoneのホームボタンを使わない方法にいろいろ書いてあるけど、これを覚えてからホームボタンを押す機会が半減したので、ホームボタン故障恐怖症の人はためしてみるといいと思う。

iPhoneバカ　1800アプリためした男のすごい活用術　iPhone4S完全対応!

著者／訳者：美崎栄一郎

出版社：アスコム( 2011-11-28 )

単行本（ソフトカバー） ( 254 ページ )

Shellでset -e の状態を解除するにはset +e

oinume — Sun, 05 Feb 2012 12:36:09 +0000

“set -e”: 実行コマンドが0以外の終了コードの場合、シェルスクリプトを終了する – RX-7乗りの適当な日々にある通り、Shellスクリプトで set -e すると実行結果が0以外の場合、勝手にスクリプトが終了する。で、この挙動をスクリプトの途中で元に戻したい(＝エラーにしたくない)場合は以下のように set +e すればいい。

set -e
echo "in set -e"
...
set +e
hoge
echo "in set +e"

これで hoge でコマンドが失敗してもエラーでShell自体は終了しなくなる。

入門UNIXシェルプログラミング―シェルの基礎から学ぶUNIXの世界

著者／訳者：ブルースブリン

出版社：ソフトバンククリエイティブ( 2003-02 )

単行本 ( 434 ページ )

python-mode + auto-complete-mode + ac-pythonでPythonのコード補完

oinume — Wed, 18 Jan 2012 15:52:48 +0000

Pythonの補完をEmacsでシンプルに最小労力で手早く使えるようにする – 牌語備忘録 – pygoの通りなんですが、手っ取り早くEmacsでPythonのコード補完を実現できた。ちなみにpython-modeでもac-pythonは問題なく動いてる。これ設定したらコード書くスピードが今までの1.5倍ぐらい速くなったっす！