wikipedia-fpw

ウィキペディア日本語版のダンプデータをFreePWINGを利用してJIS X 4081形式に変換するツールです。 オフラインでウィキペディアを参照したい場合に使えます。 ただし、画像とか表とか数式等には全く対応していないので、そういうものも参照したい場合はオンラインになるなりローカルにウィキペディアのコピーを構築した方がよいと思います。

for your download

wikipedia-fpw-20080616-src.tar.gz

インストール

このツール自体は任意のディレクトリに展開するだけです。 ただし、FreePWINGの導入以外に以下の要件を満たす必要があります。

PerlがEncodeモジュールを利用可能であること。

文字コードの変換にEncodeモジュールを使用しています。 from_to関数によって'utf-8'と'euc-jp'との文字コードの変換が行える必要があります。

perl 5.8以降では標準の状態で利用可能になっていると思います。

それなりのHDD容量

相互参照つきで作成した場合、HONMONファイルを作成するのに(ダンプデータ分も含めて)6.5GBくらい必要になります。 パッケージを作成する場合は一時的に9GB弱くらい必要そうです。 (2007年11月現在)

それなりの時間

Core 2 Duo T7200 (2GHz)搭載のノートPCで4時間弱くらいかかりました(2007年11月現在)。 ただし、VMware上での動作のうえに別の作業をしながらだったので実際にはもうちょっと速くできるかもしれません。

また、FreePWINGは1.5以降を使用する事をおすすめします。

変換準備

ダンプデータの準備

ダウンロードサイトからダンプデータをダウンロードします。 ダウンロードするファイルはjawiki-latest-pages-articles.xml.bz2、あるいはjawiki-yyyymmdd-pages-articles.xml.bz2のような名前のファイルです。

ダンプデータは伸長した状態で、ツールのあるディレクトリにwikipedia.xmlという名前で置いてください。

wikipedia-fpw.confの修正

FreePWING 1.5以降を利用していない場合は

  'trim_long_index' => 0,

となっている部分を

  'trim_long_index' => 1,

と変更してください。ただし、動作は未確認です。 また、相互参照を使用しない場合は

  'enable_reference' => 1,

となっている部分を

  'enable_reference' => 0,

のように変更してください。 この値を2にすると同一項目内にある、参照先が重複した相互参照を無効にできます。

@skip_headings, @skip_contents, @select_headings, @select_contentsを編集することで、書籍に収録する項目の取捨選択が(一応)行えます。 ソースのコメントを参照してください。

その他の項目はどちらかというとデバッグ用です。 コメントを見てわかる人はいじってみてください。

変換

通常のFreePWINGを利用したツールと同様です。

$fpwmake

で辞書が生成されます。 この時、

Complex regular subexpression recursion limit (32766) exceeded at 
fpwwikipedia line 219, <GEN11> line 4959960.

のような表示が出るかもしれませんが気にしないでください。 パッケージを作る場合は

$fpwmake package

等のようにします。 packageの部分をpackage-tar-gzやpackage-tar-bz2に変えれば、それぞれに応じたファイル形式でパッケージが作られます。

制限・不具合

画像・音声には未対応

表・数式には未対応

仕様です。

JIS X 4081の書籍に収録できない文字には未対応

仕様です。 ただし、tablesファイルを書き換えることで、特定の文字列を収録可能な文字列に変換する事は可能です。

予想外の書式に弱い(かも)

試行錯誤である程度は対応したつもりですが、予期せぬ書式に出くわしたときはエラーで止まるかもしれません。 というか、正しく書かれたものでも止まるかもしれません。

cygwinのperlでfpwwikipediaを実行すると落ちる(ことがある)

テキストの内容によってはcygwinのperlが落ちます。 相互参照が有効になっている時に、別名を持つリンクの閉じ括弧がないと落ちることがあるようです。 今のところは動かなくなる部分にworkaroundを入れて対応しています。 また、閉じ括弧がないのはMediaWikiの書式としても正しくはないので、見つけたものについてはWikipediaのページにも反映させています。 ですので、新しいダンプデータではこのworkaroundは不要になっているかも知れません。

workaroundは変換速度の低下につながるので古くなった分に関してはコメントアウトしていく予定です。 つまり、ダンプデータが新しすぎたり古すぎたりする場合はうまく動作しないことがあります。 それから、筆者はcygwinのperlでの動作確認は基本的にはしていないので、動作しなくなっていても気づかない事があります。 動かなくなっている場合は、いつのダンプデータの、どの項目で落ちるかお知らせいただければ対処できるかもしれません。

上記のような説明はどうでもよくてとにかくcygwinのperlで変換したい場合は相互参照を無効にして下さい。

その他

ツールのライセンスはGPL v2に従って下さい。 作成された書籍のライセンスはGFDLに従います。

更新履歴