The net is vast

VMのシンプロビジョニングの謎 sparse file

2011-02-05T06:42:00.000+09:00

KVMなどを触っているとシンプロビジョニングを行えるqcow2等のフォーマットのファイルによく出くわします。lsをしてみると、40Gのファイルが出来ていたりするのですが、実際には4Gくらいしか使っていません。今までどういう仕組なのかわからなかったのですが、これはsparse fileという名前で実際に書きこまれていない領域は確保しないという仕組みのようです。作り方は簡単で、Rubyで書くと次のようになります。

open('a.txt', 'w') do |f|
  f.seek 10000000
  f.puts 'a'
end

つまり、実際に書き込まずseekすれば良いということですね。ちなみにこういうファイルをコピーするときにはちゃんと気をつけてコピーしてあげなければいけません。cpコマンドは良きに計らってくれるようですが、rsyncについて自分で指定してあげないといけないのだとか。

rsync --sparse

tarでもまとめるときにも余分な部分を削除して通常ファイルを作ってくれます。

tar --sparse

これでVMのシンプロビジョニングも怖く有りません。

git cleanで追跡されていないファイルを削除する

2011-01-09T14:01:00.000+09:00

gitで途中までファイルを追加してしまったんだけど、元に戻したいときってありますよね？
そういうときはgit clean。
追跡されていないファイルを奇麗に削除してくれます。

ただし、オプションで -f をつけないと削除してくれません。

git clean -f

dreamhost(linux) + rsyncで差分バックアップをする方法

2011-01-05T00:00:00.002+09:00

中学校の頃からデジカメで写真を撮ってきて、バックアップをろくにとっていませんでした。いつもバックアップしようと思うのですが、当時はCD-Rに入りきらないし、DVD-Rがでてもその頃にはDVD-Rにも入りきらない状態でした。だからいつも億劫になってしまってバックアップを取ってこなかったのです。

それじゃまずいだろということで、さすがに良い歳にもなったのでそろそろまじめにバックアップを考えました。調べてみると最近はいろいろと手段があるようでした。WebサービスであればDropboxが有名ですが、これは容量制限が結構小さいので無理ですし、最近でてきたトレンドマイクロオンラインストレージ SafeSyncもあまり使い勝手が良くないようです。

ここは、技術者の端くれとしてバックアップスクリプトを自分で書くのだということで、調べているとrsyncがバックアップしてくれるらしい記述を発見。--link-destというオプションをつけると、差分バックを取ってくれるようです。仕組みは意外とシンプルで、linuxの仕組みを使っていて感心しました。

ext2系のファイルフォーマットではi-nodeという仕組みでファイルを管理しています。ハードリンクを使うと同じi-nodeを指し示す別名のファイルを作成する事ができるのです。つまり、ファイル名は異なっても指し示しているファイルは同じ物です。つまり、このrsync --link-destを使ってバックアップを使用している限り、任意の時点からの差分バックアップが簡単にとれるのです。

また、私はDreamHostでサーバをレンタルしているのですが、このDreamHostはディスク容量が無制限なので、自由にバックアップする事ができます。しかし、本当に無制限で大丈夫なんでしょうかね？まぁちゃんとunlimited diskと書いてあるのでありがたく使わせてもらいましょう。

肝心のスクリプトですが、こんな感じになりました。これを定期的に実行すればバックアップは完璧ですね！

SOURCE_DIR=~/Documents/backuped
DEST_HOST=user@dreamhost.com
DEST_DIR=/home/user/backup
DATE=`TZ=JST-9 date "+%Y%m%d%H%M%S"`

CURRENT=$DEST_DIR/current
RELATIVE_CURRENT=../current
THIS_TIME=$DEST_DIR/$DATE

rsync -av --delete --link-dest $RELATIVE_CURRENT $SOURCE_DIR $DEST_HOST:$THIS_TIME
ssh $DEST_HOST "rm -fr $CURRENT; ln -s $THIS_TIME $CURRENT"

OSXでRuby1.9.2にバージョンアップしたらgemが動かなかった

2011-01-02T00:52:00.000+09:00

Snow Leopardのportsでrubyを1.9.1から1.9.2にバージョンアップした。そうしたらgemが動かなくなってしまったんです。

$ gem1.9

/opt/local/lib/ruby1.9/site_ruby/1.9.1/rubygems/source_index.rb:68:in `installed_spec_directories’: undefined method `path’ for Gem:Module (NoMethodError)
from /opt/local/lib/ruby1.9/site_ruby/1.9.1/rubygems/source_index.rb:58:in `from_installed_gems’
from /opt/local/lib/ruby1.9/site_ruby/1.9.1/rubygems.rb:883:in `source_index’
from /opt/local/lib/ruby1.9/site_ruby/1.9.1/rubygems/gem_path_searcher.rb:81:in `init_gemspecs’
from /opt/local/lib/ruby1.9/site_ruby/1.9.1/rubygems/gem_path_searcher.rb:13:in `initialize’
from /opt/local/lib/ruby1.9/site_ruby/1.9.1/rubygems.rb:841:in `new’
from /opt/local/lib/ruby1.9/site_ruby/1.9.1/rubygems.rb:841:in `block in searcher’
from :10:in `synchronize’
<…and so on…>

どうした物かとググってみてたらPreston Lee's Blogに書いてありました。まさに的確な対処法。

要するに以下のコマンドを叩けばよい。ただ下のコマンドはファイルを完全に削除してしまうので注意してくださいね。

sudo rm -rf /opt/local/lib/ruby1.9/site_ruby/

実際に叩いてみるとあっさり動くようになりました。
どうやら以前のバージョンのgemを見てしまうのが問題だそうです。

詳しくはPreston Lee's Blogを参照してください。

自分でWEBサービスを作りたいと思っている人へ(プログラミング経験者)

2010-12-09T21:33:00.000+09:00

とりあえず、こっちに写しておく。
http://anond.hatelabo.jp/20101207002426からの転載

Webサービスを公開するまでの軌跡を語るよ

自分でWEBサービスを作りたいと思っている人へ ( http://anond.hatelabo.jp/20101203150748 ) を読んで、初心者じゃなくてある程度の経験者が作ったらこうなるんだよってことで書いています。でも正直4ヶ月でそこまでできるようになるなんておそらく相当頭がいいんじゃないかなと思うんです。いや、本当に凄いと思う。
まず作ったサービスはグルーポンチケットのまとめサイト。グルーポンナビ( http://gp-navi.net/ )まず自分のスペックだけど、昔から趣味でプログラムやったり仕事でプログラムしたりしてました。Web系ばっかりやってるいちおうこういうのを作るのには慣れてる方です。
お金使いたくないからHerokuを使う

それで私ですが、まず最初に http://anond.hatelabo.jp/20101203150748 の人と同じで全然お金を使いたくなかったです。だからいろんなホスティング会社を探したりしたんですが、VPSを借りちゃうと大金がかかるんですよね。そこで、いわゆる流行のクラウドであるHeroku( http://heroku.com/ )を使う事にしました。
このHerokuは無料で使えるから良いんですけど、バッチ処理を行うには有料のサーバを契約しなくちゃいけないんです。しかもWebの一回のリクエストは30秒までに押さえなくちゃいけないっていう制限があったりで、正直無料で使うには厳しい。
でもやっぱり無料っていう響きに吸い寄せられてHerokuを使うと決めてアプリケーションを書き始めました。Railsで書いて賞味2週間くらいちまちまと進めてアプリを完成させました。だいたい一日2時間くらいかな。Railsにはそこまで詳しくはなかったけど、Webで検索すれば結構情報がヒットするからそこまでの苦労は無かったです。それよりも制限のあるHerokuでどうやって実現するかというのが、結構問題でした。
でもやっぱり無料じゃ厳しい

それでしばらく運用してました。このときは全然宣伝しませんでしたから、ほとんどページビューはあがらなかったです。宣伝大事。これほんと。それでHerokuで作った仕組みなんですが、無料でやりたかったので、Workersを契約しないでアプリをつくってました。だからWebのリクエストをトリガーとして普通にクロールさせるよう作ったんです。でも、クロールするサイトを徐々に増やしていくと30秒以内にリクエストが終了しなくなってきてさぁ問題。どうしようかと考えたあげく、レンタルサーバもいいなっておもったけど、結局自宅サーバをたてることにしました。たぶん、これが一番コストパフォーマンスが良い。でも気をつけなくちゃ行けないのが、サーバ自体の管理を自分でやらなくちゃいけないから結構めんどくさいんですよね。結局自宅サーバかよって感じです。
サーバの発注とかシステムの構成

サーバをNTT-X Storeで発注して発注して、16,800円。かなり安いです。このサーバの詳細は http://wiki.nothing.sh/page/NEC%20Express5800%A1%BFGT110b に書かれています。なんでこのマシンにしたのかというと、VMWareのESXiで仮想化をしたくて、それに対応している安いサーバがこれだったというわけ。ちなみに、これをすると管理が楽になる。例えば、マシンのバックアップが取りたいなと思ってもすぐできるんですね。だから仮想化は凄く良い。
でも、素のGT110bを使うとメモリも少ないしCPUも弱いしハードディスクも少ないので、これはネットで買い足しました。あ、あとデスクトップ用のモニタが無かったのでそれも中古で買いました。それが次のような感じ。
Express/GT110b ¥16,800
Core i5 760 BOX ¥16,898
Samsung3.5インチHDD(SerialATA)/容量:1TB HD103SJ ¥4,980
TS256MLK72V3U [2GB DDR3 1333 ECC Long-DIMM 永久保証] ¥13,398
中古の液晶モニタ 15inch ¥3,980
計: ¥56,056
ずいぶんと安い買い物だったと思います。もちろん、マシンの上で動かしているOSはLinuxなので、ライセンス料もかからないしとてもリーズナブルです。
ここまできたら後はアプリを作り直すだけでした。Herokuで作ってたときにはHerokuの制限を考えながらアプリを作ってたので作りづらかったですが、自宅サーバを使うとそういった制限はなくなるのですごく作りやすい。お金を払うだけの価値はあると思います。やっぱりお金をかけるべきところはかけないとダメですね。
携帯対応とか

それから結構このアプリケーションは携帯ユーザの女の子がよく使ってくれます。結構教えると毎日見てくれるんですよ。やっぱりお買い物と言えば女の子ですね。だから、携帯対応しました。携帯はいままでやった事は無かったんだけど、Railsのプラグインであるjpmobile( https://github.com/darashi/jpmobile)を使ったところすごく簡単に対応する事ができた。凄いですね。id:darashiさんに感謝です。
iPhoneも対応していますが、こちらもあまり詳しくなかったので最初はjQuery mobileを使って構築しました。でもちょっと重かったのでjQuery mobileはやめて手組しています。そもそも一ページしか無いのでそんない難しい事は無いですね。
感想

最後に一番強調したい事を。。。
ウェブサービス公開するのはそこまで難しくないんですが、それを流行らせるのはかなり難しいですね。面白いサービスとかであれば結構色んなところがとりあげてくれたりするんですけど、後発のサービスになるとなかなか。。。開発者の方は作る事よりもどうやってみんなに知ってもらうかを考えるのがすごく大変な事だと思います。お金かけて広告うてれば楽なんですけどね。
とにかく作ったら公開。やる事は各方面への宣伝です。今のところやってるのはTwitterへの投稿と、ここへの投稿ですかね。これからいろいろ試そうとしているところ。このサービスがある程度知名度が上がってきたらまたそのとき軌跡を書きたいと思います。

vim-quickrunを使って高速開発

2010-10-15T00:34:00.005+09:00

最近プログラミングコンテストチャレンジブックを読もうとしています。そこで、c++を勉強してみようかと考えているのですが、学習効率の向上のため、vimで高速に開発できないものかといろいろ調べてみたところ、quickrun.vimというものが見つかりました。

quickrun.vimの種類

quickrun.vimには2種類あるみたいでujihisaさんが作ったquickrun.vimとthincaさんが作ったvim-quickrunがあるみたい。で、ujihisaさんの昨日はthincaさんのvim-quickrunに取り込まれてるらしいので、vim-quickrunを使えば良いみたいです。

インストール

vim-quickrunはShougoさんが作ったvimshellを必要としているのでそちらも必要になります。また、Vimは7.2以上が必要条件のようです。そして、これらをpluginにコピーしてやればOK。

git clone http://github.com/Shougo/vimshell.git
git clone http://github.com/thinca/vim-quickrun.git
pushd .
cd vimshell
cp -R * ~/.vim/
popd
cd vim-quickrun
cp -R * ~/.vim/

これでうまく動きます。かなり快適に勉強できますよ！！ vim-quickrunオススメ！

Dreamhostで自分だけがアクセスするgitレポジトリを作成する

2010-10-09T00:53:00.003+09:00

今までSubversionを利用していたのですが、Herokuを使う事もあり普段使うバージョン管理ツールもgitにしようとしています。そこで、自分が自由に使えるレポジトリを創りたかったのですが、githubだと有料だし、せっかくDreamhostを借りているんだからここでレポジトリを作成したいと思います。なるべく簡単にいきます。手間をかけたくないですからね。

レポジトリの作成

まずプロジェクトを格納するディレクトリを作成します。以下のように作成しておけばレポジトリを追加したくなったら~/git/以下にディレクトリをどんどん掘って行けば良いですね。

[DREAMHOST]$ mkdir -p ~/git/SomeProject.git

今度は作成したディレクトリをレポジトリにします。

[DREAMHOST]$ cd ~/git/SomeProject.git
[dreamhost]$ git --bare init

今度はローカルホストでレポジトリをcloneします。

[localhost]$ git clone ssh://USERNAME@DREAMHOST/home/USERNAME/git/SomeProject.git

さらに、このレポジトリに名前を付けておきましょう。

[localhost]$ git remote add NAME ssh://USERNAME@DREAMHOST/home/USERNAME/git/SomeProject.git

ここまですれば簡単にgitを使う事ができます。ローカルでの変更後

[localhost]$ git add -A
[localhost]$ git commit -m 'some message'
[localhost]$ git push NAME master

グルーポンナビをHerokuで公開しました

2010-09-24T23:42:00.003+09:00

グルーポンは各サイトでクーポンを販売しています。しかし、どのサイトも別々に作られており、自分の欲しいクーポンを探すのが困難です。そこで、今各グルーポン系のサイトがどのようなクーポンを発売しているのかを一覧にしてわかりやすくまとめたサイトを作成しました。グルーポンナビを閲覧する事によってあなたの欲しいクーポンがすぐに見つけることができます。

ちょっと技術的な事

このグルーポンナビはHerokuで動いています。どこで動作させようか考えたんですが、サーバの管理はしたくないし、お金は使いたくないしということで、1Dynoまで無料のHerokuで動かす事にしました。やっぱり、こういったPaaSはサーバの事をほとんど考えなくていいので楽で良いですね。ぜひグルーポンナビをよろしく。

Macですぐにモニタをスリープさせる

2010-09-24T21:53:00.003+09:00

Macで音楽を聴いてるとき、モニタがつきっぱなしで電気がもったいないですよね。そんなときにはすぐさまモニタをスリープさせましょう。その方法は以下の通り。Enjoy your mac!

CtrlShift⏏

Bashで実行ファイルのディレクトリを取得する方法

2010-09-23T18:47:00.007+09:00

ネットで探してもBashで実行ファイルのディレクトリを取得する方法がなかなか見つからなかった。やっと見つけたのが以下のページ shでスクリプトの実行ディレクトリを取得する - 進・日進月歩

echo $(cd $(dirname $0);pwd)

Herokuでプロジェクトを作成する

2010-04-08T22:32:00.004+09:00

HerokuはRailsのPaaS環境です。ここで作っておけば、簡単にスケールさせる事ができるのかな？いまいちわかってませんが、容量を5Mしか使わなければ、ただで使用する事ができます。だから、ちょっとしたものを公開するにはもってこいの環境かな。早速プロジェクトを作成しましょう。まずはサインアップをします。トップページにサインアップボタンがあります。サインアップが済むと、アプリケーションの導入のページが表示されます。それに従います。

sudo gem install heroku

これで、必要なgemがそろいます。次に、既に作成してあるRailsアプリに移動し、gitにコミット

cd myapp
git init && git add . && git commit -m "first commit"

次に、Herokuアプリケーションを作成します。

heroku create
Created http://sharp-autumn-42.com/ | git@heroku.com:sharp-autumn-42.git
Git remote heroku added

しかし、ここでSSHのエラーが出る場合があります。こんな感じ

No ssh public key found in /Users/hoge/.ssh/id_[rd]sa.pub.  You may want to specify the full path to the keyfile.

ですので、sshのキーを作成しましょう。

ssh-keygen

是を実行すればsshのエラーが出なくなり、heroku createコマンドは成功します。

java.util.UUIDの落とし穴

2010-03-07T22:20:00.008+09:00

JavaでUUIDを生成するためにはjava.util.UUIDを使用する事ができる。簡単に使うためには以下のようにすれば良い。

String uuid = UUID.randomUUID().toString();

だけれども、これで生成されるものをよく知らないと行けないので、その前にUUIDについて調べてみました。

UUIDについて

UUID と Perl について - daily dayflowerによると、UUIDには5つあります。引用です。

Version Description

1 時刻とノードをベースに一意値を算出

2 （POSIX UID を埋め込んだ DCE Security バージョン*2）

3 ある名前空間に属するユニークな値から MD5 により一意値を算出

4 完全ランダム

5 ある名前空間に属するユニークな値から SHA-1 により一意値を算出

このうち、複数のマシンで実行したときに最もユニークになる確率が高いものはバージョン1です。おそらく時代的にもそういった用途が多いのではないかと思います。

Version	Description
1	時刻とノードをベースに一意値を算出
2	（POSIX UID を埋め込んだ DCE Security バージョン*2）
3	ある名前空間に属するユニークな値から MD5 により一意値を算出
4	完全ランダム
5	ある名前空間に属するユニークな値から SHA-1 により一意値を算出

java.util.UUIDの生成するUUID

これがくせ者なのですが、上記のコードで生成するUUIDのバージョンは実は1ではなくて4なのです。つまり、異なるマシンで実行すると重複する可能性がバージョン1よりも高い事になります。といっても、重複する可能性は相当低いのでしょうが、、、、じゃあ、どのようにしてバージョン1のUUIDを生成したら良いのかを調べてみました。

どうやら、JDKのJavaでversion 1は作れないようです(via Java UUID generators compared)。代わりにUUID – generate UUIDs (or GUIDs) in Javaをつかうというのも手ですね。もし、ほかに何か手があるようでしたら教えてください。

HTMLの文字コードの指定方法についての不思議

2010-03-06T15:26:00.005+09:00

自分が作ってるサイトのページHome - CapoeiraでIEにて文字化けが発生すると言われていました。ちゃんと、HTMLのmetaタグにContentTypeを指定していたにも関わらずです。そこで、調べてみると、HTML Document Representationに載っていました。優先される順に書くと、

An HTTP "charset" parameter in a "Content-Type" field.

A META declaration with "http-equiv" set to "Content-Type" and a value set for "charset".

The charset attribute set on an element that designates an external resource.

となっています。日本語訳から持ってくると、

HTTPヘッダのContent-Typeフィールドの、charsetパラメータ。

META要素で、http-equiv属性値がContent-Typeかつvalue属性の値にcharset情報があるもの。

外部リソースを指している要素に設定されているcharset属性値。

3番目は何をさしているのはよくわかりませんが、少なくとも1番目と２番目は逆であるべきだと思うのですが、なんでこのような順序になっているのでしょうか？管理者がcharset=euc-jpで設定していても、各HTMLの作成者がUTF-8で書いていれば、そちらを優先すべきだと思うのですが、なにか理由があるのでしょうか。ん〜不思議

RAILSのルートディレクトリを取得する

2010-02-28T21:39:00.002+09:00

::RAILS_ROOT

これでルートディレクトリが取得できる。

Railsのトランザクションの中ではスレッドが使えない

2010-02-24T01:50:00.006+09:00

例えば次のようなロールバックを期待するソースコードを書いても実際にはコミットされてしまう。
どうしてもスレッドを使いたかったら、スレッドの外でModelを作成するのがいいんじゃないかと思う。

begin
  ActiveRecord::Base::transaction() do
    h = Thread.start do
      Bookmark.create
      throw 'hoge'
    end
    h.join
  end
rescue
  p $!
end

p Bookmark.find(:all).size

Snow LeopardにRailsをインストールする

2010-02-24T01:03:00.005+09:00

おおかた、世間に出回ってる方法でOK。MacOSX LeopardにRailsをめちゃ綺麗にいれる簡単な方法 - デキルプログラマーになるのだより引用

(1)OSを最新の状態に保つ
ソフトウェアアップデートによってOSを最新版にすること。
(2)ADCから最新版のXcodeをインストール
ほぼ1G近く、ダウンロードに30分を要します。
http://developer.apple.com/jp/
(3)MacPortsをインストール
普通にパッケージ形式で落ちているのでインストールして下さい。
(4)MacPortsをUpdateする
http://www.macports.org/
ここからターミナルを立ち上げます。
sudo port -d selfupdate
sudo port sync
(5)portでMySQLとMySQLデーモンをインストール
sudo port install mysql5 sudo port install mysql5-server
(6)my.cnf（設定ファイル）を作成
sudo cp /opt/local/share/mysql5/mysql/my-small.cnf /etc/my.cnf
(7)my.cnfの設定（編集はvimなりemacsでも使って下さい）
・ソケットの場所変更
socket = /opt/local/var/run/mysql5/mysqld.sock
となっている所全てを
socket = /tmp/mysql.sock
に変更する。
・文字コードを設定 [mysqld] の下に
default-character-set=utf8
skip-character-set-client-handshake
を追記する
(8)MySQLの初期化
sudo -u mysql mysql_install_db5
(9)MySQL自動起動の設定
sudo launchctl load -w /Library/LaunchDaemons/org.macports.mysql5.plist
(10)Rubyをportでインストール
sudo port install ruby
(11)Ruby Gemsをportでインストール
sudo port install rb-rubygems
(12)GemsからRailsをインストール
sudo gem install rails
(13)port でrubyのMySQLアダプタをportから入れる
sudo port install rb-mysql
(14)Terminalの設定を変更（デフォルトシェルがbashの場合）
~/.profileに以下の一文を追加
alias mysql="mysql5"
(15)おもむろに再起動
方法はおまかせ（sudo shutdown -r now　・　sudo reboot　・　りんごマーク＞再起動)
(16)MySQL接続の確認
mysql -u root
で接続できたら無事完了。後はrailsで適当なプロジェクトを作って実行して下さい。(mysql用dbオプションを忘れずに！）

だいたいこれでOKなんだけど、追加でmysqlのgemをインストールしなければいけない。このときちょっと引数が必要。

sudo env ARCHFLAGS="-arch x86_64" gem install mysql -- --with-mysql-config=/usr/local/mysql/bin/mysql_config

あとは、下のように、railsのenvironment.rbを変更すればアクセスできます。

# SQLite version 3.x
#   gem install sqlite3-ruby (not necessary on OS X Leopard)
development:
  adapter: mysql
  database: hoge_development
  username: user
  password: pass
  socket: /opt/local/var/run/mysql5/mysqld.sock

# Warning: The database defined as "test" will be erased and
# re-generated from your development database when you run "rake".
# Do not set this db to the same as development or production.
test:
  adapter: sqlite3
  database: db/test.sqlite3
  pool: 5
  timeout: 5000

production:
  adapter: sqlite3
  database: db/production.sqlite3
  pool: 5
  timeout: 5000

Blogのヘッダー部にHTML5な笑い男を表示してみた

2010-02-19T21:29:00.002+09:00

以前作成したHTML5で笑い男をこのブログのヘッダー部に表示するようにしてみた。結構お気に入りですこれ。ほとんどのプラグインがjQueryをもとに作られてるから使うときもあんまり気にしなくていいから好きです。

でも、SIerとかで使うときには、YAHOO UIとかの方が良いと思う。やっぱりプラグインは野良だから、誰がメンテナンスしてるかもわからないし、作る人がわかってるYAHOO UIがおすすめですね。といいつつ、jQueryの方が最近は好きなんですが、、、、

Slim3で同名のクラスでClassCastException

2010-02-19T20:57:00.005+09:00

Slim3で開発しています。 JSPで次のような事をしたところ、例外が発生してしまいました。

<%
List<HotEntry> hotEntryList = (List<HotEntry>) request.getAttribute("hotEntryList");
for (HotEntry entry : hotEntryList) {
%>
<%= entry.getUrl() %>
<%
}
%>

エラーは以下の通り。

java.lang.ClassCastException: net.jirox.acom.model.HotEntry cannot be cast to net.jirox.acom.model.HotEntry
 at org.apache.jsp.index_jsp._jspService(index_jsp.java:57)
 at org.apache.jasper.runtime.HttpJspBase.service(HttpJspBase.java:94)
 at javax.servlet.http.HttpServlet.service(HttpServlet.java:806)
 at org.apache.jasper.servlet.JspServletWrapper.service(JspServletWrapper.java:324)
 at org.apache.jasper.servlet.JspServlet.serviceJspFile(JspServlet.java:292)
 at org.apache.jasper.servlet.JspServlet.service(JspServlet.java:236)
 at com.google.appengine.tools.development.PrivilegedJspServlet.access$101(PrivilegedJspServlet.java:23)
 at com.google.appengine.tools.development.PrivilegedJspServlet$2.run(PrivilegedJspServlet.java:59)
 at java.security.AccessController.doPrivileged(Native Method)
 at com.google.appengine.tools.development.PrivilegedJspServlet.service(PrivilegedJspServlet.java:57)
 at javax.servlet.http.HttpServlet.service(HttpServlet.java:806)
 at org.mortbay.jetty.servlet.ServletHolder.handle(ServletHolder.java:487)
 at org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1093)
 at org.slim3.controller.FrontController.doFilter(FrontController.java:288)
 at org.slim3.controller.FrontController.doFilter(FrontController.java:247)
 at org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1084)
 at org.mortbay.jetty.servlet.ServletHandler.handle(ServletHandler.java:360)
 at org.mortbay.jetty.security.SecurityHandler.handle(SecurityHandler.java:216)
 at org.mortbay.jetty.servlet.SessionHandler.handle(SessionHandler.java:181)
 at org.mortbay.jetty.handler.ContextHandler.handle(ContextHandler.java:712)
 at org.mortbay.jetty.webapp.WebAppContext.handle(WebAppContext.java:405)
 at com.google.apphosting.utils.jetty.DevAppEngineWebAppContext.handle(DevAppEngineWebAppContext.java:70)
 at org.mortbay.jetty.servlet.Dispatcher.forward(Dispatcher.java:268)
 at org.mortbay.jetty.servlet.Dispatcher.forward(Dispatcher.java:126)
 at org.slim3.controller.HotRequestDispatcherWrapper.forward(HotRequestDispatcherWrapper.java:67)
 at org.slim3.controller.FrontController.doForward(FrontController.java:696)
 at org.slim3.controller.FrontController.doForward(FrontController.java:667)
 at org.slim3.controller.FrontController.handleNavigation(FrontController.java:587)
 at org.slim3.controller.FrontController.processController(FrontController.java:544)
 at org.slim3.controller.FrontController.doFilter(FrontController.java:324)
 at org.slim3.controller.FrontController.doFilter(FrontController.java:285)
 at org.slim3.controller.FrontController.doFilter(FrontController.java:247)
 at org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1084)
 at org.slim3.datastore.DatastoreFilter.doFilter(DatastoreFilter.java:54)
 at org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1084)
 at org.slim3.controller.HotReloadingFilter.doHotReloading(HotReloadingFilter.java:223)
 at org.slim3.controller.HotReloadingFilter.doFilter(HotReloadingFilter.java:187)
 at org.slim3.controller.HotReloadingFilter.doFilter(HotReloadingFilter.java:157)
 at org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1084)
 at com.google.appengine.api.blobstore.dev.ServeBlobFilter.doFilter(ServeBlobFilter.java:51)
 at org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1084)
 at com.google.apphosting.utils.servlet.TransactionCleanupFilter.doFilter(TransactionCleanupFilter.java:43)
 at org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1084)
 at com.google.appengine.tools.development.StaticFileFilter.doFilter(StaticFileFilter.java:121)
 at org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1084)
 at org.mortbay.jetty.servlet.ServletHandler.handle(ServletHandler.java:360)
 at org.mortbay.jetty.security.SecurityHandler.handle(SecurityHandler.java:216)
 at org.mortbay.jetty.servlet.SessionHandler.handle(SessionHandler.java:181)
 at org.mortbay.jetty.handler.ContextHandler.handle(ContextHandler.java:712)
 at org.mortbay.jetty.webapp.WebAppContext.handle(WebAppContext.java:405)
 at com.google.apphosting.utils.jetty.DevAppEngineWebAppContext.handle(DevAppEngineWebAppContext.java:70)
 at org.mortbay.jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:139)
 at com.google.appengine.tools.development.JettyContainerService$ApiProxyHandler.handle(JettyContainerService.java:352)
 at org.mortbay.jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:139)
 at org.mortbay.jetty.Server.handle(Server.java:313)
 at org.mortbay.jetty.HttpConnection.handleRequest(HttpConnection.java:506)
 at org.mortbay.jetty.HttpConnection$RequestHandler.headerComplete(HttpConnection.java:830)
 at org.mortbay.jetty.HttpParser.parseNext(HttpParser.java:514)
 at org.mortbay.jetty.HttpParser.parseAvailable(HttpParser.java:211)
 at org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:381)
 at org.mortbay.io.nio.SelectChannelEndPoint.run(SelectChannelEndPoint.java:396)
 at org.mortbay.thread.BoundedThreadPool$PoolThread.run(BoundedThreadPool.java:442)

なんだろう。クラスローダが違うのかな？

List hotEntryList = (List) request.getAttribute("hotEntryList");
System.out.println(HotEntry.class.getClassLoader());
System.out.println(hotEntryList.getClass().getClassLoader());

上記のコードを実行してみた。

com.google.appengine.tools.development.IsolatedAppClassLoader@680e2291
null

ん〜?null?こういうコードってこういう風になるんだっけ？どうしたら良いんだろう。

GAEのURLFetchのタイムアウト

2010-02-19T17:58:00.004+09:00

GAEのURLFetchって5秒くらいでタイムアウトしちゃうのね。リクエストの30秒あるんだから、それくらいまでは頑張ってほしいなぁ。ていうかどうしよう。Task Queueを使用すれば、回避できるようになるんだろうか。やっぱりだめなんだろうか。

作ろうとしてるものはもうGAEじゃ作れないのかな。あぁあぁああ

追記:2010/02/19
そんな事ありませんでした。setConnectTimeoutに書いてあるように10秒までは延ばす事ができるようです。

GAE/Jのローカル管理コンソール

2010-02-19T16:48:00.005+09:00

GAEで開発しているとどんなデータがデータストアに格納されているかがわかりにくいですよね。そんなときに便利なのが管理コンソール。デフォルトで付属しています。

http://localhost:8888/_ah/admin/datastore

実はちょっと前まで知りませんでした。これで少しは開発が楽になるかな。

Slim3のDatastoreはJDOとは全く異なる

2010-02-19T16:36:00.004+09:00

Slim3を触っています。今、Entityあたりを勉強しているのですが、ずいぶんとJDOと違いますね。まぁもちろん、制約とは同じなんですが、同じEntity Groupにしようと思ってプロパティに

List hoge;

とすると、

[SLIM3GEN1005] Specify @Attribute(lob = true) or @Attribute(persistent = false).

と言われてしまう。もう少し勉強が必要そうですね。

Slim3のチュートリアルでjava.lang.UnsatisfiedLinkError: Cannot load 64-bit SWT libraries on 32-bit JVM

2010-02-19T01:42:00.006+09:00

Google App Engineでアプリでもこさえてみようかと考えています。 GAEといえばSlim3だろうということで、とりあえずはじめてみます。と思ってチュートリアルを始めたらいきなり躓いた。躓いたのはCreating a controller and a test (Slim3) gen-controller taskを実行しようとすると、下のようなエラーが表示されてしまう。

java.lang.UnsatisfiedLinkError: Cannot load 64-bit SWT libraries on 32-bit JVM

何故だろうと調べていたら自分の環境が64bitのMac環境だったためにおこった模様。ちなみに、Snow Leopardです。だから、Eclipseの64bit環境用のものを使用すれば問題ありません。 Eclipse Project DownloadsからたどってMac OSXの64bit用Eclipseを落としてきてください。これで解決です。やっと、チュートリアルに入れる。

HTML5で笑い男

2010-02-08T02:54:00.012+09:00

すごい久しぶりの更新です。今日は遅く起きたので、寝れなくてふと思いついたのでHTML5で笑い男を作ってみました。そのまま使うにはjQueryが必要です。でも、jQueryの機能なんにも使ってないんで、簡単に切り出せます。

なお、笑い男のSVGは以下のページから拝借しました。
http://d.hatena.ne.jp/fls/20061023/p1

最近のブラウザなら動きます。IEはSVGをサポートしてないんでダメですけどね。。。。一応2010/2/8時点の最新の以下のブラウザで試して動く事を確認しています。

Safari
Chrome
Firefox

ということで、これです。
笑い男.js

fastlookup_bookmarklet ブックマークレットで辞書を引く

2009-10-27T00:44:00.008+09:00

fastlookup alc なんかがあると、辞書を引くのが簡単です。でも、userscriptが使えないとだめだったりして、最近はもっぱらChromeを使用しているため、使えません。仕方ないので、YAHOO Pipesを利用して、YAHOOの英和辞書を引くブックマークレットを作成しました。自分はIEを使わないので、IEには非対応ですが、簡単に対応できるはずです。

必要なときだけブックマークレットを読みこめばいいし、使い勝手は悪くないと思います。

使い方は簡単。ブックマークレットを実行したら、辞書を引きたい単語を選択してください。Firefox, Webkit系で動くはずです。

fastlookup_bookmarklet

Dijkstra's AlgorithmとA-Star AlgorithmをJavaScriptで実装してみた

2009-08-24T00:12:00.005+09:00

ダイクストラ法とA-StarアルゴリズムをJavaScriptで実装してみた。

ダイクストラ法は確かに動いているように思えるけど、A-Starの方はうまく動いていないように見えるというか、全然高速化されていない。こんなもんなのかな？知ってる人いたら教えてください。

Create Map: A-STAR

(function() {
var start;
var tdList;
var mapSize = 10;
var map; 
var dijkstra = function(sx, sy, gx, gy, astar) {
 var startTime = new Date().getTime();
 var masterList = new NodeList(); // Node全てを格納するリスト
 var openList = new NodeList(); // スコアが確定していないノードを格納するリスト
 var closeList = new NodeList(); // スコアが確定したノードを格納するリスト
 var maxWidth = map[0].length; // 地図の幅
 var maxHeight = map.length; // 地図の高さ

 message(''); // ログ
 // 地図データからノードを作成
 for (var i = 0, len = map.length; i < len; i++) {
  for (var j = 0, jlen = map[i].length; j < jlen; j++) {
   masterList.add(new Node(j, i));
  }
 }

 // スタートノードの設定
 var targetNode = masterList.get(sx, sy);
 targetNode.score = 0;
 closeList.add(targetNode); // スタートノードはcloseListに格納しておく

 var whileCount = 0;
 while (true) {
  whileCount++;
  // 次のノードを探索
  var checkNodePositions = [[targetNode.x, targetNode.y - 1], [targetNode.x, targetNode.y + 1], [targetNode.x - 1, targetNode.y], [targetNode.x + 1, targetNode.y]];
  for (var i = 0, len = checkNodePositions.length; i < len; i++) {
   var checkNodePosition = checkNodePositions[i];
   // 地図の範囲外であれば探索しない
   if (checkNodePosition[0] < 0 || checkNodePosition[0] > maxWidth - 1 ||
     checkNodePosition[1] < 0 || checkNodePosition[1] > maxHeight - 1) {
    continue;
   }
   var checkNode = masterList.get(checkNodePosition[0], checkNodePosition[1]);
   if (checkNode.type == 0) continue; // 壁だったら処理しない
   if (closeList.get(checkNodePosition[0], checkNodePosition[1])) continue; // スコアが確定していればなにもしない
   if (!openList.get(checkNodePosition[0], checkNodePosition[1])) {
    openList.add(checkNode); // openListにもcloseListにも無ければopenListに格納しておく
   }
   var score;
   if (astar) {
    score = targetNode.score + 1 + Math.abs(checkNodePosition[0] - gx) + Math.abs(checkNodePosition[1] - gy);
    //console.log(score);
   } else {
    score = targetNode.score + 1; // この経路を辿ったときのスコアはtargetNode.score + 1
    //console.log(score);
   }
   // スコアが格納されていない、またはほかの経路よりも効率が良ければスコアと、一つ前のノードをセットする
   if (isNaN(checkNode.score) || checkNode.score > score) {
    checkNode.score = score;
    checkNode.parent = targetNode;
   }
  }
  // openListが0になってしまったら、辿ることができないということ
  if (openList.length() == 0) {
   message('No route!');
   return;
  }
  // 現在openListに格納されている最小のスコアのノードはスコアを確定し、closeListに格納する
  targetNode = openList.getMin();
  openList.remove(targetNode);
  closeList.add(targetNode);
  targetNode.score = targetNode.score;
  if (targetNode.x == gx && targetNode.y == gy) break;
 }
 var endTime = new Date().getTime();
 message(endTime - startTime + 'ms' + ' whileCount:' + whileCount);
 showRoute(targetNode); // ルートを表示する
}
var message = function(value) {
 document.getElementById('message').innerHTML = value;
}
var showRoute = function(targetNode) {
 var td = tdList.get(targetNode.x, targetNode.y);
 td.className = 'scotch route';
 td.style.backgroundColor = 'green';
 var parent = targetNode.parent;
 if (parent) showRoute(parent);
}
var createMapData = function(count) {
 map = [];
 start = [0, 0];
 for (var i = 0, len = mapSize * count; i < len; i++) {
  var row = [];
  for (var j = 0, jlen = mapSize * count; j < jlen; j++) {
   var r = Math.floor(Math.random() * 100) % 5;
   row.push(r);
  }
  map.push(row);
 }
}
var createMap = function() {
 var graph = document.getElementById('graph');
 graph.innerHTML = '';
 var table = graph.appendChild(document.createElement('table'));
 table.style.borderCollapse = 'collapse';
 var tbody = table.appendChild(document.createElement('tbody'));
 tdList = new Table();

 for (var i = 0, len = map.length; i < len; i++) {
  var tr = tbody.appendChild(document.createElement('tr'));
  var row = [];
  for (var j = 0, jlen = map[i].length; j < jlen; j++) {
   var td = tr.appendChild(document.createElement('td'));
   observe(td, 'click', analyse);
   td.style.border = '1px solid white';
   td.style.width = '10px';
   td.style.height = '10px';
   if (map[i][j] == 0) {
    td.className = 'scotch wall';
    td.style.backgroundColor = 'red';
   }
   else td.className = 'scotch';
   tdList.set(j, i, td);
  }
 }
}
var analyse = function(event) {
 var target = event.target || event.srcElement;
 var trChildren = target.parentNode.children;
 var tbodyChildren = target.parentNode.parentNode.children;
 var x,y;
 for (var i = 0, len = trChildren.length; i < len; i++) {
  if (trChildren[i] == target) {
   x = i;
   break;
  }
 }
 var tr = target.parentNode;
 for (var i = 0, len = tbodyChildren.length; i < len; i++) {
  if (tbodyChildren[i] == tr) {
   y = i;
   break;
  }
 }
 if (start[0] == x && start[1] == y) {
  message('Start is equals to Goal');
  return;
 }
 if (target.className.indexOf('wall') != -1) {
  message('Your clicked cell is wall');
  return;
 }
 // routeをクリアする
 tdList.each(function(td) {
  var className = td.className;
  var classNameList = className.split(/ /);
  for (var i = classNameList.length - 1; i >= 0; i--) {
   if (classNameList[i] == 'route') {
    classNameList.splice(i, 1);
    td.style.backgroundColor = '';
   }
  }
  td.className = classNameList.join(' ');
 });
 var astar = document.getElementById('astar20090824').checked;
 dijkstra(start[0], start[1], x, y, astar);
 start = [x, y];
}
var observe = function(target, type, listener) {
 if (target.addEventListener) target.addEventListener(type, listener, false);
 else target.attachEvent('on' + type, function() { listener.call(target, window.event); });
}
var Node = function(x, y) {
 this.x = x;
 this.y = y;
 this.type = map[y][x];
}
Node.prototype.score = NaN;
Node.prototype.parent = null;

var NodeList = function() {
 this.data = {};
}
NodeList.prototype.add = function(value) { this.data[value.x + ',' + value.y] = value; }
NodeList.prototype.get = function(x, y) { return this.data[x + ',' + y]; }
NodeList.prototype.length = function() {
 var count = 0;
 for (var key in this.data) {
  count++;
 }
 return count;
}
NodeList.prototype.remove = function(value) { delete this.data[value.x + ',' + value.y]; }
NodeList.prototype.getMin = function() {
 var data = this.data;
 var min = null;
 for (var node in data) {
  if (!min) {
   min = data[node];
   continue;
  }
  if (min.score > node.score) min = data[node];
 }
 return min;
}
var Table = function() {
 this.data = {};
}
Table.prototype.set = function(x, y, value) { this.data[x + ',' + y] = value; }
Table.prototype.get = function(x, y) { return this.data[x + ',' + y]; }
Table.prototype.each = function(func) {
 var data = this.data;
 for (var key in data) {
  func(data[key]);
 }
}

observe(document.getElementById('mapSelect20090824'), 'change', function(event) {
 var target = event.target || event.srcElement;
 var value = target.value;
 createMapData(value);
 createMap();
});
createMapData(1);
createMap();
})();

XenServerのインストールPDFがすばらしい

2009-05-30T14:00:00.004+09:00

XenServerが無償化されているので、全てのサーバリソースをXenServerにしてみようかとインストールしてみた。XenServerのインストールに関してエントリーを書こうと思ったら本家の日本語サイトにCitrix XenServer 5.0 無償版インストール Step by Step Guide（PDF）が置いてあった。これを見てみると、XenServerを動かすまでの全ての手順が載っているので、大変わかりやすい。まぁXenServerは動かすのが簡単なので、ドキュメントもいらないくらい。インストールには30分もかからないほど簡単。 XenServerでOSを動かせば、マシンを買い替えてハードウェアが変わっても、マシンイメージを異動すればそれで環境移行が完了してしまうので楽。さらに、ライブマイグレーションを使えば、Xen上で動いているマシンをほかの物理マシンに動作しているまま移行させることができる。これはすばらしすぎる。自宅サーバで運用していると人は是非XenServerを考えてみてはいかがだろう。

gem 1.1から1.3へのアップデートではまる

2009-05-27T23:08:00.003+09:00

ずいぶん前にRailsをやってから、しばらく触ってなかったので、gemが1.1のままでした。NetBeansでRailsプロジェクトを作るとGemが1.3.1以上じゃないとダメだよとおこられてしまったので、Gemをアップデートしようとすると、

$ sudo gem update --system Updating RubyGems Bulk updating Gem source index for: http://gems.rubyforge.org/ Nothing to update

といわれて、アップデート出来ない。どうしたら良いのかなと思って調べていたらgem update --system で失敗する場合にはという記事を発見。以下のコマンドでアップデート完了です。

$ sudo gem install rubygems-update $ sudo update_rubygems

紙の本が100%亡くなることは無い

2009-05-18T23:37:00.004+09:00

紙の本が100%亡くなると断言できる、たった一つの理由

断言できる理由、それは紙の本が"印刷"という技術だからです。そして、「紙の本に限ってそれは無い」と錯覚しやすいのは、「紙に印刷する」という技術があまりの大発明であったからです。あまりに長く親しまれすぎて、それが技術だと認識できないのです。技術と言うのは、必ずそれを上回るまったく新しい技術によって取って代わられる運命にあります。

何死ぬほど眠たい事言ってるんでしょうか。一般層への普及の条件というものをはき違えています。印刷という技術が普及したんじゃないんですよ、印刷したものが便利だったから普及したんです。技術だから新しいものにとって代わられるんじゃない。使いやすいからみんながそっちを使うんです。既存の技術が新しい技術に取って代わられるというのは、「同じこと」を実現するのに、より性能の良いもの、コストの安いものの時に成り立つことです。今回の比較はインタフェースが異なってしまいます。使い勝手違います。もし、kindleのような電子ブックリーダーを想定してそのようなことを言っているとしたら、お門違いも甚だしいです。

"音"を記録する音楽メディアは、この100年ほどの間にレコード→カセット→ＣＤと変遷してきました。そして今はＣＤ→ダウンロード、となる過渡期です。

この例では音楽を挙げていますが、この媒体の目的は音楽を聴くことが目的で、レコード、カセット、CD、ダウンロード、どれもイヤホン（スピーカー）を通して聴きます。インタフェースが変わっていないのです。インタフェースが変わらないのであれば、より小型、よりポータブルなものがより利便性が高いことは間違い在りません。だから、音楽という媒体は、この変遷を辿ったのです。紙の本は状況がことなります。電子ブックリーダーという媒体を考えるのであれば、やはりインタフェースとして非力です。書き込めないし、次のページへの移動が、ページ遷移となってしまって連続しなくなってしまいますし、どれだけめくったのが実感できなかったり。紙という媒体以上に便利なものを想像できますか？そもそも、人間が想像出来ないものは作ることはできません。もちろん、これから検索出来るという利便性から電子媒体のものは増えていくでしょう。しかし、やはりそれは一部の機械好きの人たちのガジェットに過ぎず、紙という媒体の代わりにはなりえません。技術は生活をより便利にするものです。より便利になるものであれば古いものに取って代わりますし、そうでなければ変わることはできないでしょう。そして、人間は想像すらできないものは作ることができません。

GAE/JでXMLを操る

2009-05-18T01:37:00.002+09:00

GAE/Jで開発をしていると、どうしてもXMLを操らなきゃいけないときがあります。開発機でRomeを使って動いたぞと思って本番環境にデプロイしても動作しません。下のような例外が発生してしまいます。

Could not load default SAX parser

なんて言われてしまいます。これを解決するにはxercesの次のjarが必要になります。

serializer.jar
xercesImpl.ja
xercesSamples.jar
xml-apis.jar

これでも実はまだ足りません。XPathを使おうと思っても、xercesにはXPathのAPIは用意されておらず、

XPathFactory.newInstance()

上のようにするとやはり例外が発生してしまいます。

XPathFactoryConfigurationException: javax.xml.xpath.XPathFactoryConfigurationException: No XPathFactory implementation found for the object model: http://java.sun.com/jaxp/xpath/dom

これを解決するには、xalanが必要になります。結局、xalanにはxercesが含まれている？ので結局、xalan-j_2_7_1の以下のjarをWEB-INF/libの下に配置します。

serializer.jar
xalan.jar
xercesImpl.jar
xml-apis.jar
xsltc.jar

さらに、

XPathFactory.newInstance()

のように書いてもダメで、次のように書かなければ行けません。

new org.apache.xpath.jaxp.XPathFactoryImpl();

まとめると、

Romeを使用して
xalanのjarを使って
new org.apache.xpath.jaxp.XPathFactoryImpl()で、Factoryを作成します

「はまらない」ような体制を作ろう

2009-05-16T19:00:00.007+09:00

小野和俊のブログ:プログラマーの開発速度は「はまる」時間の長さで決まる「はまる」時間で開発速度が決まるのであれば、そもそも「はまらない」ようにすればいい。そういう体制を作ろう。周りがいつもハマっていたりする原因は、その使用するフレームワークや技術を誰も知らないとき。だったら、そんなもの使わずに、わかっているものを使えば良い。特に最近の重厚なフレームワークなんかを使った場合には、つぎはぎでつないできたプロジェクトが、最後の方でにっちもさっちもいかなくなってしまうようなことが多い。上のように考えても、新しい技術やフレームワークを使うメリットが在ると感じるならば、わかっている人をつれてこよう。開発することが決まってから、自分たちだけで新しい技術を見極めるなんて並たいていの人ができることじゃない。コーダーとしては、小野和俊さんの言う通りのことを気をつければ良いと思う。ただ、そのパフォーマンスを決めてしまうのは、プロジェクトの方針を決めてしまう人だから、重要なフェーズでは気をつけて判断してほしい。

青学大ももうダメかもね

2009-05-15T02:06:00.004+09:00

青学大「ｉＰｈｏｎｅ」無料配布…狙いは「代返防止」

記者会見した伊藤定良学長は「次世代の携帯端末を活用し、人材を育成していきたい」と話した。

これ、本気で言ってるの？iPhoneの本当の目的が「自在を育成していきたい」ということであれば、勉強というものの本質をわかってない。授業に出席しさえすれば、学力が向上するとでも思ってるんだろうか。学力が低下したのは、出席点というなにを評価しているのかわからない指標で生徒を評価しているから。学力がどの程度かはかりたいのであれば、純粋に学力をはかればいい。なんで、出席することのなにが学力向上においてい重要なんだろうか。こういった直接的でない指標で学生を評価していれば、もちろん学生は評価されるように頑張る。出席点をかせげばあまり学力が無くても、卒業出来るのであればそちらの方がらくなんだからそっちに流れるのは当たり前。人間楽な方に走りたくなるからね。学力はなくても、なんか出席してればいいらしいよ〜という話になる。つまり、学力をつけさせたいのなら、出席点なんてクソなものは捨ててテストのみの結果で判断すればいい。大学というのはそもそも、そこで学力を身につける場所でしょう。授業に出ていなくても最初からその学力があるのであれば、無駄な時間を授業に割かせずに、さらにその上の学力なり人生経験を積めるように時間を与えてあげるという考え方はできないのか。

Product Advertising APIの日本用Restクライアント(Java)

2009-05-09T16:26:00.002+09:00

dankogaiさんが、PerlのProduct Advertising APIライブラリを作ってた。便乗して、Java。 Amazonの新しいProduct Advertising APIのRestのリクエストの作り方は前回のエントリで説明しました。このRestクライアントは、Amazonのドキュメントに載っています。しかし、その例は米国用になっているので、ちょっとだけ修正してあげる必要が在ります。具体的には、endpointをecs.amazonaws.jpに変更します。これだけで、日本のものに適用出来るようになります。なお、使用方法ですが、次のようにします。簡単ですね。

  // リクエストのキーと値のMap
  Map<String, String> keyMap = new HashMap<String, String>();
  keyMap.put("AWSAccessKeyId", "000000000000000");
  keyMap.put("Version", "2008-08-19");
  keyMap.put("Operation", "ItemLookup");
  keyMap.put("ItemId", "4877712399");
  keyMap.put("ResponseGroup", "Medium");
  keyMap.put("AssociateTag", "jx-22");
  keyMap.put("Service", "AWSECommerceService");
  SignedRequestsHelper signedRequestsHelper = new SignedRequestsHelper();
  String urlStr = signedRequestsHelper.sign(keyMap);
  URL url = new URL(urlStr);
  HttpURLConnection connection = (HttpURLConnection) url
    .openConnection();

日本用に修正したJava Rest クライアント

package com.amazon.associates.sample;

import java.io.UnsupportedEncodingException;
import java.net.URLEncoder;
import java.security.InvalidKeyException;
import java.security.NoSuchAlgorithmException;
import java.text.DateFormat;
import java.text.SimpleDateFormat;
import java.util.Calendar;
import java.util.Iterator;
import java.util.Map;
import java.util.SortedMap;
import java.util.TimeZone;
import java.util.TreeMap;

import javax.crypto.Mac;
import javax.crypto.spec.SecretKeySpec;

import net.jirox.shohyo.exception.ShohyoFatalException;

import org.apache.commons.codec.binary.Base64;

public class SignedRequestsHelper {
 private static final String UTF8_CHARSET = "UTF-8";
 private static final String HMAC_SHA256_ALGORITHM = "HmacSHA256";
 private static final String REQUEST_URI = "/onca/xml";
 private static final String REQUEST_METHOD = "GET";

 //日本用
 private String endpoint = "ecs.amazonaws.jp"; // must be lowercase
 private String awsAccessKeyId = "YOUR ACCESS KEY ID";
 private String awsSecretKey = "YOUR SECRET KEY";

 private SecretKeySpec secretKeySpec = null;
 private Mac mac = null;

 public SignedRequestsHelper() throws ShohyoFatalException {
  byte[] secretyKeyBytes;
  try {
   secretyKeyBytes = awsSecretKey.getBytes(UTF8_CHARSET);
   secretKeySpec = new SecretKeySpec(secretyKeyBytes,
     HMAC_SHA256_ALGORITHM);
   mac = Mac.getInstance(HMAC_SHA256_ALGORITHM);
   mac.init(secretKeySpec);
  } catch (UnsupportedEncodingException e) {
   throw new ShohyoFatalException(e);
  } catch (NoSuchAlgorithmException e) {
   throw new ShohyoFatalException(e);
  } catch (InvalidKeyException e) {
   throw new ShohyoFatalException(e);
  }
 }

 public String sign(Map<String, String> params) {
  params.put("AWSAccessKeyId", awsAccessKeyId);
  params.put("Timestamp", timestamp());

  SortedMap<String, String> sortedParamMap = new TreeMap<String, String>(
    params);
  String canonicalQS = canonicalize(sortedParamMap);
  String toSign = REQUEST_METHOD + "\n" + endpoint + "\n" + REQUEST_URI
    + "\n" + canonicalQS;

  String hmac = hmac(toSign);
  String sig = percentEncodeRfc3986(hmac);
  String url = "http://" + endpoint + REQUEST_URI + "?" + canonicalQS
    + "&Signature=" + sig;

  return url;
 }

 private String hmac(String stringToSign) {
  String signature = null;
  byte[] data;
  byte[] rawHmac;
  try {
   data = stringToSign.getBytes(UTF8_CHARSET);
   rawHmac = mac.doFinal(data);
   Base64 encoder = new Base64();
   signature = new String(encoder.encode(rawHmac));
  } catch (UnsupportedEncodingException e) {
   throw new RuntimeException(UTF8_CHARSET + " is unsupported!", e);
  }
  return signature;
 }

 private String timestamp() {
  String timestamp = null;
  Calendar cal = Calendar.getInstance();
  DateFormat dfm = new SimpleDateFormat("yyyy-MM-dd'T'HH:mm:ss'Z'");
  dfm.setTimeZone(TimeZone.getTimeZone("GMT"));
  timestamp = dfm.format(cal.getTime());
  return timestamp;
 }

 private String canonicalize(SortedMap<String, String> sortedParamMap) {
  if (sortedParamMap.isEmpty()) {
   return "";
  }

  StringBuffer buffer = new StringBuffer();
  Iterator<Map.Entry<String, String>> iter = sortedParamMap.entrySet()
    .iterator();

  while (iter.hasNext()) {
   Map.Entry<String, String> kvpair = iter.next();
   buffer.append(percentEncodeRfc3986(kvpair.getKey()));
   buffer.append("=");
   buffer.append(percentEncodeRfc3986(kvpair.getValue()));
   if (iter.hasNext()) {
    buffer.append("&");
   }
  }
  String cannoical = buffer.toString();
  return cannoical;
 }

 private String percentEncodeRfc3986(String s) {
  String out;
  try {
   out = URLEncoder.encode(s, UTF8_CHARSET).replace("+", "%20")
     .replace("*", "%2A").replace("%7E", "~");
  } catch (UnsupportedEncodingException e) {
   out = s;
  }
  return out;
 }

}

Product Advertising APIをRestでアクセスする

2009-05-09T15:29:00.003+09:00

AmazonアソシエイトWebサービスの名称が、「Product Advertising API」に変更された。これに伴って、今まで使用していたアクセス方法は使用出来なくなり、リクエスト自体にサインをしなければいけなくなった。ライブラリが出てくるまで、ちょっとこの変更はつらいかも。ということで、そのRestでのアクセス方法を説明する。英語ですが、Amazonのページにちゃんと書かれています。今までのリクエスト、例えば、ItemLookupは以下のようなリクエスト

http://ecs.amazonaws.jp/onca/xml?Service=AWSECommerceService&AWSAccessKeyId=0000000000000000&AssociateTag=jx-22&ItemId=4877712399&Operation=ItemLookup&ResponseGroup=Medium&Version=2008-08-19

これに、タイムスタンプをつけます。次の例では、GMTのタイムスタンプをつけます。2009-0509T06:30:41Z

http://ecs.amazonaws.jp/onca/xml?Service=AWSECommerceService&AWSAccessKeyId=0000000000000000&AssociateTag=jx-22&ItemId=4877712399&Operation=ItemLookup&ResponseGroup=Medium&Version=2008-08-19&Timestamp=2009-05-09T06:20:41Z

このリクエストをURLエンコードします。RFC3986に従って、エンコードします。

http://ecs.amazonaws.jp/onca/xml?Service=AWSECommerceService&AWSAccessKeyId=0000000000000000&AssociateTag=jx-22&ItemId=4877712399&Operation=ItemLookup&ResponseGroup=Medium&Version=2008-08-19&Timestamp=2009-05-09T06%3A20%3A41Z

パラメータのキーと値のペアを抜き出します。

Service=AWSECommerceService AWSAccessKeyId=0000000000000000 AssociateTag=jx-22 ItemId=4877712399 Operation=ItemLookup ResponseGroup=Medium Version=2008-08-19 Timestamp=2009-05-09T06%3A20%3A41Z

さらに、それをソートします。ソートするときは、文字コードの値でソートします。つまり、Aよりも、aの方が後に来ます。

AWSAccessKeyId=0000000000000000 AssociateTag=jx-22 ItemId=4877712399 Operation=ItemLookup ResponseGroup=Medium Service=AWSECommerceService Timestamp=2009-05-09T06%3A20%3A41Z Version=2008-08-19

ソート済みのこれらの文字列をアンパサンドで結合します。

AWSAccessKeyId=0000000000000000&AssociateTag=jx-22&ItemId=4877712399&Operation=ItemLookup&ResponseGroup=Medium&Service=AWSECommerceService& Timestamp=2009-05-09T06%3A20%3A41Z&Version=2008-08-19

さらに、下の文字列を用意します。改行文字も必要です。

GET ecs.amazonaws.jp /onca/xml

このサインする文字列を以下のようになります。

GET ecs.amazonaws.jp /onca/xml AWSAccessKeyId=0000000000000000&AssociateTag=jx-22&ItemId=4877712399&Operation=ItemLookup&ResponseGroup=Medium&Service=AWSECommerceService& Timestamp=2009-05-09T06%3A20%3A41Z&Version=2008-08-19

Secret Access Keyの文字列を利用して、SHA256ハッシュアルゴリズムを使用するRFC2104-compliant HMACを適用します。

pwqYQRc3RepIrf7m+VMRy/jFXx/ZBSPsaSFFexIUoSI=

この文字列をURLエンコードします。

pwqYQRc3RepIrf7m%2BVMRy%2FjFXx%2FZBSPsaSFFexIUoSI%3D

最後に、先ほど生成したURLにこのSignatureのキーで追加します。

AWSAccessKeyId=0000000000000000&AssociateTag=jx-22&ItemId=4877712399&Operation=ItemLookup&ResponseGroup=Medium&Service=AWSECommerceService& Timestamp=2009-05-09T06%3A20%3A41Z&Version=2008-08-19&Signature=pwqYQRc3RepIrf7m%2BVMRy%2FjFXx%2FZBSPsaSFFexIUoSI%3D

これで、リクエストが完成です。このJava実装は、Amazonのページに記載されています。それは、日本用にはなっていないので、それを日本用のものに変更したものを次のエントリーで掲載します。

AWSのキャッシュの制限は厳しい

2009-05-06T21:41:00.003+09:00

AWS Customer Agreementの5.1.12によれば、AmazonWebServiceの以下の項目は1ヶ月キャッシュしても良いとのこと。

URL	ASIN	Product Name	Catalog
Artists	Authors	MPN	Starring
ISBN	Directors	Manufacturer	Media
Distributor	Release Date	Publisher	Num Media
UPC	Reading Level	Theatrical Release Date	Platforms
MPAA Rating	ESRB Rating	Age Group	Encoding

逆にこれに無いような情報は、24時間しかキャッシュしてはいけないそうなんです。期限が切れる毎に、すごいリクエストが発生しそうなんだけど、文句言われないかが心配。にしても、awsのレスポンスはGoogleの検索並みに早い。すごいと思う。どんな仕組みなんだろ。memcached等の分散キャッシュサーバを使用すれば、こういったことが可能になるんだろうか。。。

AmazonのWSDLからJavaのクライアントの生成

2009-05-06T16:54:00.005+09:00

いつも思うのだけれど、WSDLで生成されたソースコードは激しくわかりづらい。生成してもなかなか使い方がわかりにくいから嫌い。Amazonももちろん使いづらくてどうしたら良いのかよくわからなかった。試行錯誤の上やっとできるように。まず、WSDLの場所なんだけれども、英語ページを見ていると、上のURLにたどり着くが、これだと日本の商品にアクセス出来ない。ちゃんと調べると、下のURLが正しいことがわかった。 http://webservices.amazon.com/AWSECommerceService/AWSECommerceService.wsdl http://webservices.amazon.com/AWSECommerceService/JP/AWSECommerceService.wsdl そしたら、以下のコマンドを実行して、スタブを生成

wsimport http://webservices.amazon.com/AWSECommerceService/JP/AWSECommerceService.wsdl

で、まぁここまでは、簡単なんだけど、その使い方が難しい。自由区/Webサービス紹介/Amazon E-Commerce Service - DoboWikiで、.Net用みたいだけど、説明してくれているのが役に立つ。で、できたのが下のソースコードでItemLookupのサンプルになってる。ん〜自分で作ったRESTクライアントの方が早いし、わかりやすいからそのままにしようか。。。。

String marketplaceDomain = null;
String awsAccessKeyId = "19A48A3RYVJ128FSEN82";
String subscriptionId = null;
String associateTag = "jx-22";
String validate = null;
String xmlEscaping = null;
ItemLookupRequest shared = null;
List<ItemLookupRequest> request = new ArrayList<ItemLookupRequest>();
ItemLookupRequest req1 = new ItemLookupRequest();
req1.getItemId().add("4990412621");
req1.getItemId().add("4835612582");
request.add(req1);
Holder<OperationRequest> operationRequest = null;
Holder<List<Items>> items = new Holder<List<Items>>();

AWSECommerceService client = new AWSECommerceService();
AWSECommerceServicePortType service = client
        .getAWSECommerceServicePort();
service.itemLookup(marketplaceDomain, awsAccessKeyId, subscriptionId,
        associateTag, validate, xmlEscaping, shared, request,
        operationRequest, items);
List<Item> itemList = items.value.get(0).getItem();
for (Item item : itemList) {
    System.out.println(item.getItemAttributes().getTitle());
}

GAE/Jでparentは変更出来ないけど、childは追加可能

2009-05-05T20:16:00.004+09:00

タイトルのまんま。

PersistenceManager pm = PMF.get().getPersistenceManager();
try {
 Parent parent = pm.getObjectById(Parent.class, "hoge");
 List childList = parent.getChildList();
 int r = (int) Math.floor(Math.random() * 100000);
 childList.add(new Child(KeyFactory.createKey(Child.class
   .getSimpleName(), "fuga" + r)).setName("fuga" + r));
 
} finally {
 pm.close();
}

もちろん、削除もできる。

PersistenceManager pm = PMF.get().getPersistenceManager();
try {
 Parent parent = pm.getObjectById(Parent.class, "hoge");
 List childList = parent.getChildList();
 Child child = childList.get(0);
 pm.deletePersistent(child);
} finally {
 pm.close();
}

GAE/Jのparentとchildは変更出来ない？

2009-05-05T19:51:00.005+09:00

一度作成したオブジェクトをほか子供にしようとしたら

try {
 Parent p = new Parent("hoge");
 Key cKey = KeyFactory.createKey(
  Child.class.getSimpleName(), "fuga");
 Child c = new Child(cKey);
 pm.makePersistent(c);
 pm.makePersistent(p);
 p.setChild(c);
} finally {
 pm.close();
}

Detected attempt to establish Parent(hoge) as the parent of Child(fuga) but the entity identified by Child(fuga) has already been persisted without a parent. A parent cannot be established or changed once an object has been persisted.

と言われてしまった。つまり、一度parentを設定してしまったら、変更は不可能の模様。これって要するに1レコードでデータが格納されるということなんだろうか。なかなか難しいですな

GAE/JavaのQueryでは!=演算子はサポートされない

2009-05-02T02:59:00.003+09:00

GAEのQueryを触っていてハマった。

Query pageQuery = pm.newQuery(Page.class);
pageQuery.setFilter("body != null");

SQLの気分で、上のように書いていたら、エラーがでてしまう。

App Engine datastore does not support operator <>

ってでてしまう。すごいハマった。ドキュメントをちゃんと読んでみたら、jdoqlでは!=演算子はサポートされないらしい。ちゃんと書いてあるじゃないですか。

Note: The Java datastore interface does not support the != and IN filter operators that are implemented in the Python datastore interface. (In the Python interface, these operators are implemented in the client-side libraries as multiple datastore queries; they are not features of the datastore itself.)

GAE/JavaのJDOでPrimaryKeyをStringにすると厄介

2009-04-30T00:24:00.002+09:00

GAE/JavaのJDOでPrimaryKeyをStringにすると厄介です。

@PrimaryKey @Persistent(valueStrategy = IdGeneratorStrategy.IDENTITY) private String primaryKey;

こんな風にすると、primaryKeyは数字で始まることができないようです。

Name may not start with a digit

というようにおこられてしまいます。数値で始まるPrimaryKeyを主キーにしたい場合にはどうしたら良いんでしょう。というかまだ、JDOが全然わかってません。誰か、あのドキュメントを翻訳して。。。

集合知プログラミング第11章進化する知性

2009-03-24T23:31:00.001+09:00

集合知プログラミング第9章高度な分類手法：カーネルメソッドとSVM

2009-03-08T23:20:00.000+09:00

集合知プログラミング第7章決定木によるモデリング

2009-02-19T00:54:00.001+09:00

例によって、勉強したので公開

集合知プログラミング第5章最適化

2009-01-26T00:03:00.004+09:00

とりあえず勉強会用資料を作成した。基本的に自分が勉強するための資料なので、うまくまとまってもいないけど公開します

集合知プログラミング第３章のドラフト

2009-01-13T02:29:00.002+09:00

途中だけど、とりあえず外から見えるようにしておく。

Mac PortsでのMysql5のインストール

2009-01-03T16:53:00.000+09:00

忘れないようにメモしておく。 $ sudo port install mysql +server $ sudo chown -R mysql:mysql /opt/local/var/db $ sudo -u mysql mysql_install_db5

Nutchをやめる

2008-09-14T02:55:00.003+09:00

Nutchを使おうと考えていたんだけど、自分の作りたいアプリケーションとNutchの相性が良くない。特定のURLのみ扱いたくて、なおかつその特定のURLが膨大な数になる。Nutchを使うと、全てのURLを設定ファイルに記述しなければ行けなくなるし、別々に処理したい。さらに、そのURLは頻繁に更新されるから、Nutchが要件にあわない。さて、どうしようか。サイトをRailsで作ろうかと考えているから、Rubyで書いてしまうか。でも、そこにあんまり力を入れたくないのも会ってかなり躊躇してる。さてどうしたものか。。。おすすめのクローラーがあったら教えてください。

Nutchを学ぶその2 Nutch-0.9の日本語化パッチを作成した

2008-08-30T01:38:00.004+09:00

Nutch 0.9をそのままDLしてきてWebインタフェースを表示しようとすると、日本語環境では表示すらもままならない。ブラウザの環境から言語情報をとってくるが、jaとjpが誤って書かれているらしく、正常に表示ができないことが原因そこで、これらを修正するNutch 0.9用のパッチを書いた。以下のようにして、パッチを当てれば、とりあえず、日本語のUIで検索ボックスが表示出来るようになる。ファイルはこちら

$ wget http://jirox.net/patches/nutch-0.9-ja.patch $ svn export http://svn.apache.org/repos/asf/lucene/nutch/tags/release-0.9/ nutch-0.9-ja $ cd nutch-0.9-ja $ patch -p1 -d . < ../nutch-0.9-ja.patch ant war

以上でbuild/nutch-0.9.war にwarができあがるちなみに、以下のサイトを参考にしました Nutch - PukiWiki 感謝です。ただし、実際の検索は日本語とおりません。一文字ずつインデックスされてしまっているので、これは対応する必要があります。それについては、まだ解決出来ていないので、後日。

Nutchを学ぶその1

2008-08-27T21:25:00.004+09:00

まずは情報収集

Crawlerについて調べたくなったので、勉強日誌をつける。英語がからっきしだめなので、日本語の情報を探してみる。Crawlerについて調べていくと、なんとなくよさそうなものが二つ

両方ともJavaで作られていて、大規模なクローリングに向いている。どちらも日本語の情報は極端に少なく、インストールしてみたとか、動作させてみた、という情報はあるものの、しっかりとやった人は情報を公開していない。 Nutchはクローラーだけでなく、検索エンジンもついている。一方HeritrixはInternet Archiveで使われているクローラー。Heritrixは開発がすごく活発に行われているみたい。でもここは検索エンジンもついているNutchについて勉強しようと思う。名前も可愛いし。今日あたりからちゃんと勉強を初めてみる。

日本語のリンク集

Nutchについてかかれている情報へのリンクを羅列してみる。

Nutch情報ではないけどCrawler関連

Spam認定

2008-08-23T11:40:00.001+09:00

このブログは、Blogger の利用規約に違反した可能性があるためロックされており、公開されていません。ブログを確認してロックを解除するまで、新しい投稿を公開することはできません。

このブログは、確認をリクエストしないと 20 日以内に削除されます。

このページにアクセスしようとしたら、こんな風なメッセージが表示されたよ。俺なにもしてないし、投稿二日目にこんなふうになるなんて、Bloggerはユーザに使ってほしくないんかね？せめてさ、もう少したってからにしてほしいよね。

心機一転Blogを始める

2008-08-22T22:50:00.003+09:00

心機一転Blogを始める。ネットは広大だ。自分が集めたい情報だけでもGoogleで検索すると1,000,000件を軽く超える。マシン一台では到底扱えないような情報。でもそういった情報に積極的ににアクセスし、手足のように扱いたい。