Ikeda-＞Weblog()

[TIPS] PHPでAMQP＋MessagePackを使う時は気をつけたほうがいい

ikeda — Mon, 16 Apr 2012 11:40:15 +0000

先週末からずっぷしハマっていたんです。悪気は無かったんです。現在、リリースに向けて最終調整中のRHETOLO V2システムですが、基本的にPHPで記述してあります。で、負荷分散とか可用性とかムズカシイことを色々考え(ようとしてみ)た結果、Web・API・DBMSのつながりを「ゆるく」しておくべく、リアルタイムの処理・レスポンスがそこまで要求されない部分については「メッセージ・キュー」を使い、タスクを別プロセスに委託する、という手法を取りました。今回のV2では、ユーザマイページなどRDBMSが必須なApache+PHP&MySQLチームと、APIなど高速な参照が要求されるApache+PHP&Redisチームという2つのシステムに分け、RDBMSに変更がかかった場合はメッセージキューを介して専用のワーカープログラムが処理を行う、という形にしてあります。メッセージキューシステムにはAMQP実装であるRabbitMQを採用しました。V1ではActiveMQをSTOMPで叩いていましたが、ちょっとした心境の変化というやつですね。 PHPからAMQPにアクセスするために、PECL::amqp エクステンションをインストールしてあります。さて、メッセージキューには基本的に文字列(String)のデータを投げる必要があります。が、実際にはPHPのObjectだったりArrayだったりのほうが扱いやすかったりするので、Object/Array を文字列化してやる必要があります。通常であればPHPの標準関数であるserialize() / unserialize()を利用しますが、「もっと早く・コンパクトに」シリアライズできるMessagePackを採用しました。でもって、ここからが本題。例えばなんていうArrayをserializeし、タスク情報としてメッセージキューに投げるんですが、受信側でunserializeに失敗するケースが出てきました。よくよく調べてみると、status = 0 の時に失敗しているようです。で、ここで実験。なんてプログラムを走らせてみます。・・・・・あれ。 msgpack_pack()の出力が “status” で終わっています。本来はこの後に “=0″ に相当するデータがあるべきです。これをヘキサで出力してみたものがこちら。 0×00になってるぅぅぅ！？うーむ。まぁ確かに数値としてのゼロなので間違いではないっぽいです。他のPHPバインディングでも同様の結果でした。さて、ここで今度はPECL::amqp のソースを見てみます。問題なのは AMQPEnvelope::getBody() の最後。このRETURN_STRING()はZend_APIのようです。PHPのソース内の Zend/Zend_API.h にありました。えーと、RETVAL_STRING() は・・てーいっ！やっと辿り着きました。。。中身を見ると strlen() しておる(´Д`；) strlen() って思い切りC言語の関数よね。 Cって、0×00は文字列の終端よね・・・・そりゃ切れるわけだorz いやまぁRETURN_STRINGなのでString前提なんですよね。わかる、わかるよ、うん。ということで、MessagePack [...]

[思考メモ] スマフォのキャリアがどこの国かを判断する

ikeda — Mon, 26 Mar 2012 05:39:50 +0000

備忘録というより思考メモ。しかもあくまで推測という、ブログエントリには甚だ相応しくない内容で申し訳ない。お題目「どこの国で使われているのか判断したい。」しかも「できるだけ偽装しづらい方法で」。 ikedaの思考の流れ　（－ω－）日本だとDoCoMoやau、SoftBankなどの通信キャリアがあり、これはUSER_AGENTで判断できる。しかしUSER_AGENTは簡単に偽装可能。　(´ε｀；)うーんネイティブアプリであれば、そのスマフォのSIMに焼き込まれた情報にアクセスできる。　(-ω-)ふむ SIMにある「Operator ID」がキャリアごとに割り当てられた世界共通のID。　(・∀・)お？これで判断できるんじゃね？　ﾜｰｲヽ(ﾟ∀ﾟ)ﾒ(ﾟ∀ﾟ)ﾒ(ﾟ∀ﾟ)ﾉﾜｰｲ Operator IDってのは International Mobile Subscriber Identify(IMSI)の一部らしい。Wikipediaによると、 International Mobile Subscriber Identity（IMSI、「イムズィ」と発音）は、GSMおよびW-CDMAの全ての携帯電話ユーザーに割り当てられている一意な識別番号。携帯電話内のSIMカードに格納されており、その電話からネットワークに送信される。（中略） IMSIは通常15桁だが、もっと短い場合もある（例えば、南アフリカのMTNではかつて14桁のIMSIを使っており、その頃の携帯電話が今も使われている）。最初の3桁は Mobile Country Code (MCC) で国を表し、それに事業者を表す Mobile Network Code (MNC) が続く。MNCは北アメリカでは3桁、ヨーロッパや日本では2桁である。おおおお、まさにドンピシャなコードが！ということで、MCCについてGoogle先生にお伺い。すると、ITU(International Telecommunication Union／国際電気通信連合：電気通信に関する国際標準の策定を目的とする国際連合の下位機関)の資料に「LIST OF MOBILE COUNTRY OR GEOGRAPHICAL AREA CODES」なるPDFが！「LIST OF MOBILE COUNTRY OR GEOGRAPHICAL AREA CODES」 http://www.itu.int/dms_pub/itu-t/opb/sp/T-SP-E.212A-2010-PDF-E.pdf この中に [...]

[TIPS] CentOS 6.2 64bitにcheckinstallをインストールする

ikeda — Tue, 06 Mar 2012 11:30:47 +0000

さー、また3ヶ月が経過してましたね。。いかんなぁ(-ω-;;) ということで久々のエントリは「checkinstall」ネタです。今回、サーバ6台を同時にセットアップしなければならなくなり「checkinstall」というツールを試してみたんですが、残念ながらそのままでは上手く動いてくれませんでした。その対応をメモ的にご紹介しますね。 checkinstallとは RHELやFedora、CentOS等でソフトウェアをインストールする時に重宝するのがRPMと呼ばれる「パッケージ」です。それぞれのOSや環境に合わせてソフトウェアのコンフィギュレーションやパッチ当てが行われており、かつソフトウェア同士の依存関係も管理されているためコマンド(ほぼ)一発で欲しいソフトウェアをセットアップすることができます。 RPMパッケージはメンテナと呼ばれる作者が適宜アップデートを行なっており、インストール済みソフトウェアのアップデートもコマンド一発。楽ちんです＾＾ただ、「俺はこういうconfigureオプションでインストールしたいんだ！」「最新版のRPMがまだ出てなーいっ！」という場合には「tarball」と呼ばれるアーカイブから手動でコンパイル・インストールすることが多々あります。確かに最新版を追えますし細かい設定も思いのままなんですが、こうなるとバージョン管理が面倒です。それに、複数のサーバに同じ設定でセットアップしたい、なんて時でも基本的に全てのサーバで同じ作業を行う必要があります。この「tarball」からRPMを作る方法ももちろんあるんですが、SPECファイルというものを書かなければいけなかったり、なかなか面倒。そんな時に活躍するのがこの「checkinstall」コマンドです。そう、tarballからRPMパッケージをほぼ勝手に作ってくれる優れ物です！だが、動かぬ！作成したパッケージをrpm -iでインストールした後に rpm -ql しても /usr /usr/doc /usr/doc/checkinstall /usr/doc/checkinstall/BUGS /usr/doc/checkinstall/COPYING /usr/doc/checkinstall/CREDITS /usr/doc/checkinstall/Changelog /usr/doc/checkinstall/FAQ /usr/doc/checkinstall/INSTALL /usr/doc/checkinstall/README /usr/doc/checkinstall/RELNOTES /usr/doc/checkinstall/TODO いやそれドキュメントだけじゃん・・・・orz これじゃRPMパッケージ化しても意味がありません。ということで、僕が行った手順をざっくりご紹介。まずはそのまま checkinstallのインストールについてはあちこちに素晴らしいエントリがたくさんありますのでざっくり割愛しますが、「オフィシャルサイトからtarballを落としてきて」→「展開して」→「make ; make install」ですね。が。。。。コンパイルできません。「ソースファイルをRPM化するcheckinstallのインストール」 – モヤタノート http://d.hatena.ne.jp/shiumachi/20100303/1267567785 こちらを参考にさせて頂き、本家のgitリポジトリから最新版をcloneしてきました。で、だいたい次に「インストールしたcheckinstallでcheckinstallそのもののRPMパッケージを作成」するんですが、ここでなぜか上手く行かないんです。正確には、RPMパッケージは生成されるんですが、その中身にドキュメント類しか無いんです。最初はそういうものかと思いましたが(笑) また、生成中に「”installwatch.so”がロードできねぇYO!」(意訳)というエラーメッセージがモリモリ出ています。よーく見てみよう通常 checkinstall コマンドは /usr/local/sbin/ にインストールされますが、make install した際のログを見ると”checkinstallrc” なるファイルを /usr/local/lib/checkinstall [...]

謹賀新年！

ikeda — Mon, 02 Jan 2012 12:56:35 +0000

昨年中は今までに無いほどの放置ブログになってしまいましたが、そのぶん色々とブログネタが溜まってきたような気がします。今年はネタが腐らないうちに少しずつ出していこうと思っていますので、

[TIPS] PHPでAndroidMarketから情報を取得する

ikeda — Wed, 21 Dec 2011 07:17:24 +0000

大変ご無沙汰しております、、、前回のエントリが7/31ですから、4ヶ月強の放置となってしまいましたm(_ _)m#いやでも記事を書かなかっただけでサーバの中身をいじってたんですよですよですよ(言い訳) さておき、以前・・・いや遠い昔・・・の記事で、RHETOLO関連サービスである「あぷり握り」をご紹介しました。このサービス内に、iPhoneアプリ・AndroidアプリをそれぞれAppStore・AndroidMarketから検索し情報を取得する、という機能を実装しているのですが、これの「AndroidMarket検索」がここ数日前から動かない(検索できない)という不具合を起こしていました。特にコードへの変更は行なっていなかったので、AndroidMarket側の仕様変更か、、と思っていたのですが、、、今回のシステムでは、PHPからAndroidMarketへのアクセスを行うライブラリ「Android Market API for PHP」を利用しています。AppStoreは検索APIが公開されているので専用のライブラリ等は使っていませんが、両ストアに対してできるだけ同じ手順で検索を行いたかったため、SearchAppStore/SearchAndroidMarket というドライバクラスに細かな部分を集約し、同一インタフェースで呼び出しが行えるようなラッパークラスを作成してあります。まず、ざくっとAndroid Market API for PHPの使い方をご紹介しておきますね。ライブラリはgithubからダウンロードできます。 https://github.com/splitfeed/android-market-api-php git clone するなり zip で落として展開するなりしましょう。そうするとこのようなディレクトリとファイルができあがります。 Market/MarketSession.phpAndroidMarketとの通信制御を行うクラスライブラリ群 examples/*.phpサンプルコード群 proto/local.phpアカウント情報等の定義 proto/market.proto.phpAndroidMarketとやり取りするデータのフォーマッティングを行うクラスライブラリ群 proto/protocolbuffers.inc.php通信データとPHPオブジェクトの相互変換を行うクラスライブラリ群(だと思う) サンプルコードを動作させるためには、幾つか修正が必要です。 examples/local.php 1 <?php2 //Rename this file local.php and change the constants to match your Google Account credentials3 define(‘GOOGLE_EMAIL’, ‘YOUR-GOOGLE-ACCOUNT@gmail.com’);4 define(‘GOOGLE_PASSWD’, ‘YOUR-GOOGLE-PASSWORD‘);5 define(‘ANDROID_DEVICEID’, ‘000000000000000‘); ここのYOUR-GOOGLE-ACCOUNT、YOUR-GOOGLE-PASSWORDをそれぞれGoogleアカウント・パスワードに修正します。続いてANDROID_DEVICEIDを設定するんですが、オールゼロだとエラーになりますので最後だけ1とかにしてみるといいでしょう。 Market/MarketSession.php 1 [...]

[TIPS] lsyncd が2.0にバージョンアップしていた

ikeda — Sun, 31 Jul 2011 05:35:53 +0000

以前、『lsyncdとrsyncdでミラーリング』という記事を書きましたが、あれ以来lsyncdにはかなりお世話になっています。で、RHETOLOサーバでもバックアップと負荷分散のために導入しようとしたところ、lsyncdのバージョンが上がっていました(遅) 現時点(2011/7/31)での最新バージョンは 2.0.4 で、こちらからダウンロードできます。 inotifyを利用してファイルの変更を検知し、rsyncdを起動する、、という本来の機能には変わりありませんが、最も大きな変更点としては設定ファイルのフォーマットが今までのXMLからLuaになったという点ですね。ということで、早速使ってみました。インストールっインストールやrsyncd関連についてはほぼ今までと同様でOKですので、詳細は以前の記事をご覧頂きたい(手抜き)のですが、バージョン2.xからビルドにはLuaライブラリが必要となりますので、先にインストールしておきましょう。現在の最新版は5.1.4で、公式サイトからtarballがダウンロードできますし、EPELリポジトリにRPMパッケージもあるようですね。 Lua 公式サイト – Download Fedora Project EPEL Project 今回はtarballからインストールしましたが、make & make install でOKでした。 make 時にプラットフォーム指定が必要ですが、「make」とだけ叩くとリストが表示されます。 Lua がインストールできたらlsyncdをさくっとビルド＆インストールしましょう。Luaのヘッダの場所とライブラリを環境変数で指定しておくとハッピーになれるかもしれません。あと、CentOS5.5でビルドするには libm と libdl を追加指定する必要があるようです。 ※luaのインストール先に合わせてパスを変更してくださいこれでインストールは完了です。あ、rsyncのインストールも忘れずに。設定っさて、では設定してみましょう。前回の記事にならってファイル配布元サーバ – srchost : 192.168.254.1 ファイル配布先サーバ – dsthost : 192.168.254.2 ファイル格納場所はいずれも /home/www/htdocs ディレクトリという前提にしておきますね。ファイルの配布先(＝受け取る方)サーバのrsyncとかsshの設定は前回の記事を御覧ください(手抜き)。 lsyncdの起動方法については今まで通りコマンドラインで指定する方法と設定ファイルを使用する方法があります。 [...]

ブログを少しだけいじりました。

ikeda — Mon, 25 Jul 2011 13:53:04 +0000

ここのところ仕事やらなんやらで忙殺され、かなりの放置プレイだったこのブログですが、先日やっと気になっていた箇所の修正や若干の整理・高速化と、TwitterやFacebook・Google+などソーシャル対応を行いました。ざっくりと変更点を挙げるとバナー広告の整理と表示位置の変更あんまり沢山バナーがあっても重いしウザいし。ソーシャル対応右サイドバーと記事の上下に、Twitter、Facebook、Google+、AddThisのウィジェットを設置しました。よろしければポチポチっとお願いします。 (多分)高速化不要プラグインの削除 css,jsの圧縮とキャッシュ静的コンテンツの有効期限を見直しアイコン類のcss sprit化に初挑戦！スマートフォン対応以前対応したんですが、サーバ移転の頃からか不具合を起こしていたので、プラグインをWPTouchに変更しました。こんなとこでしょうか。今後も少しずつ調整していきますので、よろしくお願いします！その前にもっと記事書け、って声が聞こえてきそうな悪寒。

数字でスマフォアプリをGETする「あぷり握り」リリースしました

ikeda — Mon, 25 Jul 2011 11:00:23 +0000

さて最近思い出したかのようにブログを書いているikedaですこんばんは。先日、日経マネー様とのコラボアプリについて記事にしましたが、実は同時に新たなRHETOLO周辺サービスをリリースしていました。その名も「あぷり握り」！また握りかよっていう突っ込みは華麗にスルーの方向で。基本的に「れとろ握り」がベースですが、今回は(も？)かなり用途を絞ったものにしてあります。詳しくは続きで。・・・・ってそんな難しいサービスじゃないんですけどね。 http://rhetolo.jp/apps/ 通常の「握り」はWebサイトのURL、「にぎりマップす」は位置、「にぎりアドレす」はメールアドレスを握る(数値化する)ものでした。今回は「あぷり握り」・・・・そう、スマフォアプリを「握り」ます！スマートフォンは大まかにわけてiPhone/iPad等のiOSとAndroidが(WindowsナントカとかPalmナントカにはちょっと目をつぶっておいてもらってですな)ありますよね。で、それぞれのOS向けに無料／有料さまざまなアプリがリリースされています。アプリをダウンロードするには、iOSであればAppStore、AndroidであればAndroidMarketにアクセスする必要があるんですが(iTunesとかもありますが)、とりあえずこのURLも長い！例えばRHETOLOアプリであれば、 AppStore： http://itunes.apple.com/jp/app/id416039447 AndroidMarket: https://market.android.com/details?id=jp.rhetolo なんてことになります。そこで、「このURLも握ってしまえ！」というのが今回の「あぷり握り」なんですね～。あぷり握りでは、指定されたアプリのマーケットURLから「0104＊ユニークな数字」というレトロコードを生成し、 http://rhetolo.jp/0104/ユニークな数字というURLでアクセスすることを可能にします。アプリ作者の方々はもちろん、お気に入りのアプリを友達に伝えたいとき、ブログなどでレビューするときなどに「あぷり握り」でマーケットURLを握っておけば、簡潔に伝えることができます！握られたレトロコードはもちろんRHETOLOアプリから検索可能ですので、そのままiTunesやマーケットにアクセスしてもらえますね。また、今回のあぷり握りから、生成したレトロコードについて「レトロバッヂ」やQRコードを同時に生成するようになりました。ぜひこちらもサイトに貼りつけるなど、ご自由にお使い下さい！レトロバッヂジェネレータ・・・ http://rhetolo.net/badge/ では簡単に使い方をご説明。まず「http://rhetolo.jp/apps/」にアクセス。ここでデバイスのOSをiPhone/iPad(iPod Touch)とAndroidから選択してください。続いてその下の部分。こちらにアプリ名称とAppStoreのURLの「続き部分」を入力してください。アプリ名称は省略可能です。AppStoreの場合は数字のみのアプリIDになりますが、Androidの場合当然こうなりまして、入力すべきURLの続き部分はいわゆるアプリのパッケージ名になります。「アプリIDとかパッケージ名なんて覚えてねぇYO!」という方、ご安心あれ。フォームの上にある「AppStore／AndroidMarketから検索」というボタンにご注目。これをポチっとな・・・うにょーーん、とこんな検索フォームが出てきますので、ここにアプリ名やキーワード、デベロッパー名などを入力して「検索」してみてください。複数のキーワードを半角スペースで区切って入力することで絞り込むことができます。検索結果は最大5件表示されますので、ヒット数が多い場合はキーワードを追加して絞り込んでみてください。 [...]

RHETOLO コラボアプリリリース！

ikeda — Sun, 24 Jul 2011 10:45:39 +0000

さて、世の中がなでしこや地デジ移行で盛り上がる中、我が社ではとある企業とRHETOLOのコラボレーションで非常～～～～に盛り上がっておりました。リリース間もなく認知度の低いRHETOLOですが、大変ありがたいことにある企業様と御縁がありまして、、、本当にありがとうございます！さて、今回コラボさせて頂いたのは。。。日経BP社発刊の月刊誌、日経マネー様！なんと、9月号の特集記事「日本全国0円カレンダー」専用アプリとして、RHETOLOベースのアプリをリリースさせて頂きました！！どーーーん！ﾜｰｲヽ(ﾟ∀ﾟ)ﾒ(ﾟ∀ﾟ)ﾒ(ﾟ∀ﾟ)ﾉﾜｰｲ iOS(iPhone/iPad/iPod Touch)とAndroidに対応、それぞれAppStoreとAndroid Marketから無料でダウンロードできます！使い方は基本的にRHETOLOと同じですし、レトロコードもそのまま検索できますが、通話機能に変わって0円カレンダー専用機能が実装されています。もちろん、コラボ企画専用のレトロコードもあります！どんなコードが使えるのかは紙面をご覧頂きたく。m(_　_)m 日経マネー９月号は7月21日(木)に発売されています。書店などで見掛けられた際には、是非！手に取って！レジに行って！！お金を払って！！！見てくださいね(笑) あ、0円カレンダーアプリ、RHETOLOアプリもぜひダウンロードしてみてくださいね！！よろしくお願いしまーーーっす！(^O^) 「0円カレンダー」

[メモ] lsyncd が同期してくれなくなった時は・・

ikeda — Fri, 22 Jul 2011 09:00:52 +0000

お久しぶりですー、毎度毎度超不定期更新ですいません＾＾；「RHETOLO」の関連サービス「れとろ握り」や「レトロバッヂジェネレータ」、「あぷり握り」をガリガリ作りつつ、基幹システムの調整やら不具合対応やら新機能の構想やらで相変わらずバタバタしておりますが、このあたりのご紹介はまた後日、ということにしておいて。以前、「lsyncd＋rsyncでミラーリング」なる記事を書きましたが、あれからlsyncdには本当に色々なところで活躍してもらっています。今回のRHETOLOサーバでも使っているんですが、最近ディレクトリ同期が取れなくなる、という現象に悩まされていました。ログを見ても特にエラーらしきものはなく、むしろ逆に「ファイルの変更が検知できていない」という感じ。カーネルバージョンなどを疑っていましたが、どうやら原因は別のところにあったようです。。。ずばり、原因は「ユーザマイページシステムを実装したこと」でした。。。。っていうとマイページシステムが悪いように聞こえますね＾＾；同期できない不具合の引き金を引いたのはマイページシステムでした。いや違うな悪いのはマイページでした(￣▽￣) ・・・いい加減にマイページ開発者から首を締められそうなのでやめときますが、ともかく、マイページシステムを実装したあたりから同期がとれなくなっていたようです。 lsyncdがディレクトリ内の変更を検知するために使う「inotify」には、「1ユーザが監視できる最大ディレクトリ数」というものがあり、デフォルトで8192に設定されています。そして、マイページシステムでは、レトロコードに紐付くアイコンや画像をアップロード・加工するため、大量のディレクトリを切っていたんです。そう、この「大量のディレクトリ」を見張ろうとしたために、監視するディレクトリ数がMAXを超えてしまっていたのです。ということで、原因がわかったら早速対処対処。この「監視できる最大ディレクトリ数」はカーネルパラメータ fs.inotify.max_user_watches で設定されています。なので、これを変更すれば万事OK！ですな！とりあえず、、キリのいいとこで # sysctl fs.inotify.max_user_watches = 32768 に設定しておきました。マシン再起動時にも再設定されるよう、/etc/sysctl.conf にも fs.inotify.max_user_watches = 32768 を追記しておくと後々ハッピーかと。ちなみにsysctlコマンドを使わず、procファイルを更新する方法もあります。 # echo 32768 > /proc/sys/fs/inotify/max_user_watches 念のため lsyncd を再起動し、動作確認しておきましょう(^_^)b ということで、今回はこの辺で。あー、そうだlsyncdのバージョンが上がってて設定ファイル形式も変わってるんだこの辺も記事にしなきゃしなきゃしなきゃ・・・・