前回紹介したウィキペディア日本語版のダンプデータからJIS X 4081な書籍を作るツールの続きです。取り敢えず相互参照できるようになったので公開しました。

まだまだ整形がおかしかったり、実体参照やそのままでは収録できない文字の変換テーブルも全然作っていないのですが、いつまでたっても終わらない気がしたので気がついたら修正していくことにします。

正直なところ、Perlを知らない人間が動けばよしで書いたコードです。 変換テーブルの追加や修正、ツール自体の修正等ありましたらお気軽にどうぞ。

タグ：Wikipedia FreePWING EPWING

ウィキペディア日本語版のダンプデータをFreePWINGで処理してみました。 UTF-8な文字とか画像とか音声とか数式とか表とかは全てオミットして、何も考えずに表示できるテキストだけ抽出しています。 他項目へのリダイレクト等を省いて約43万弱の項目があり、HONMONファイルは約1.2GBになりました。

ちなみに、本当は英語版のウィキペディアに挑戦しようと思ったのですが、ダンプデータが圧縮した状態で2.5GBというのを見て一瞬で方針を変更しました。

やっつけっぷりのかなりひどいコードですが、相互参照を扱えるようにできれば一度公開してみようかと思います。

タグ：Wikipedia FreePWING EPWING

NetBSD環境が使えるようになったのでEmacs, Lookup, eblookとインストールしてみました。

どうもeblookはreadlineを有効にすると動作が怪しくなるようです。 丸山さんのところのように落ちはしませんが、pkgsrcでインストールしたreadline-5.2をリンクすると多くの日本語を含んだ文字の検索ができなくなります。 iconvを外してみたりもしましたが結果は変わりませんでした。 Lookupから使う分には必要のない機能なので、リンクしないという後ろ向きな方法で回避しておく事にしました。

ついでに、BSD makeだとLookupのmakeに失敗することに気がつきました。 こっちはできればどうにかしたいです。

(2007/05/29 追記) BSD makeについてはどうにかしました。 手元の環境ではBSD makeでもGNU makeでもmakeできるようになりました。

(2007/05/31 追記) readlineについてですが、pkgsrcでインストールしたreadlineのライブラリにリンクはしていましたが、ヘッダファイルはシステムに付属のものを読み込んでいたというオチでした。 正しいヘッダファイルを指定すれば問題なく動作しました。 また、NetBSDに付属の(多分)libeditを使用した場合は動作がおかしくなりました。

タグ：eblook Readline NetBSD

ノートPCを新しくしました。 ちなみに、今まで使用していたのはThinkpad X23です。 速さはあまり気にしていなかったのですが、メモリが最大640MBまでしか積めなくて悲しい事が時々あったので、バッテリがへたって来たのを契機に買い替える事にしました。

購入したのはパームレストが熱いと評判のThinkpad X60です。 うわさに違わず無線をオンにしているとかなり熱いです。 (質量が)軽くなったのはいいですが、色々使いまわしができないのが残念です。 それから、右から左から線が生えているのでポートリプリケータが欲しくなりました。

という事で、あり余るマシンパワーとメモリ(はまだ増やしてませんが)を浪費するためにVMwareでNetBSDを入れてみました。 NetBSDである事にあまり意味はありませんが、これでUNIX環境での動作検証がしやすくなると思います。

能動的に行ったわけではありませんが、レンタルしていた掲示板がいつの間にやら消されてしまいました。 多分閑古鳥が鳴きすぎたのだと思います。 元々そういう規約なので削除される前に自分で何か書き込めばよかったのですが、すっかり忘れていました。

新しい掲示板についてですが

• 同じところでもう一度掲示板を借り直す
• 別のところで借りる
• 自前で立ち上げる

のどれかにしようかとも思いましたが、現状では書き込む人もほとんどいなかったので取り敢えず無いままにします。 ニーズがあるようならまた検討という事で。

尚、質問等は電子辞書オープンラボのMLまでという事にしていますが、わざわざ入るのも面倒という場合は直メールで送って頂いても構いません(どうせ数も無いので)。