The net is vast
プログラミングや、コンピュータなどの備忘録です。 主にRuby, Java, Linux, 等を扱います。アルゴリズムも扱いたいな。
ラベル crawler の投稿を表示しています。 すべての投稿を表示
ラベル crawler の投稿を表示しています。 すべての投稿を表示
1:38

Nutchを学ぶ その2 Nutch-0.9の日本語化パッチを作成した

Category: By jx
Nutch 0.9をそのままDLしてきてWebインタフェースを表示しようとすると、日本語環境では表示すらもままならない。ブラウザの環境から言語情報をとってくるが、jaとjpが誤って書かれているらしく、正常に表示ができないことが原因 そこで、これらを修正するNutch 0.9用のパッチを書いた。以下のようにして、パッチを当てれば、とりあえず、日本語のUIで検索ボックスが表示出来るようになる。 ファイルはこちら
$ wget http://jirox.net/patches/nutch-0.9-ja.patch $ svn export http://svn.apache.org/repos/asf/lucene/nutch/tags/release-0.9/ nutch-0.9-ja $ cd nutch-0.9-ja $ patch -p1 -d . < ../nutch-0.9-ja.patch ant war
以上でbuild/nutch-0.9.war にwarができあがる ちなみに、以下のサイトを参考にしました Nutch - PukiWiki 感謝です。 ただし、実際の検索は日本語とおりません。一文字ずつインデックスされてしまっているので、これは対応する必要があります。それについては、まだ解決出来ていないので、後日。
 
21:25

Nutchを学ぶ その1

Category: By jx

まずは情報収集

Crawlerについて調べたくなったので、勉強日誌をつける。英語がからっきしだめなので、日本語の情報を探してみる。Crawlerについて調べていくと、なんとなくよさそうなものが二つ 両方ともJavaで作られていて、大規模なクローリングに向いている。どちらも日本語の情報は極端に少なく、インストールしてみたとか、動作させてみた、という情報はあるものの、しっかりとやった人は情報を公開していない。 Nutchはクローラーだけでなく、検索エンジンもついている。一方HeritrixはInternet Archiveで使われているクローラー。Heritrixは開発がすごく活発に行われているみたい。でもここは検索エンジンもついているNutchについて勉強しようと思う。名前も可愛いし。今日あたりからちゃんと勉強を初めてみる。

日本語のリンク集

Nutchについてかかれている情報へのリンクを羅列してみる。

Nutch情報ではないけどCrawler関連