前回の続きです。

Hyper Estraierのインデックスがoptimizeで壊れる問題はHyper Estraier側の問題でした。

1. 転置インデックスが複数ファイルにまたがる (通常1.5GiB以上)。
2. 複数回の書き込みが行われている。

上記に当てはまるインデックスにoptimizeをかけるとひっそりと転置インデックスが壊れることがあります。また、

1. ドキュメントの数がとても大きい (確認したものでは約580万)。
2. 各ドキュメントに共通するテキストがとても多い (英語主体で、N-gramを有効にしたインデックスで確認)

上記に当てはまるインデックスにoptimizeをかけると転置インデックスの1ファイルに2GiB以上書き込んでしまい、壊れてしまう事があります。

修正内容はGitHubのリポジトリを参照してください。ついでに2GiB以上のキャッシュサイズの指定に対応していますが、その3倍弱くらいのメモリが必要になるケースがありました。

タグ：Hyper Estraier QDBM

以下の記事は間違いでした。変更で挙動は変わったのですが、変更する前のコードは正しく、挙動が変わった原因は現時点では不明です。

前回に引き続き、QDBMのバグ報告です。

cbdatumcat関数およびCB_DATUMCATマクロが必要なバッファの大きさを1バイト少なく見積もるというものです。 手元ではなぜかSEGVにはならずにプログラムは実行されてしまいますが、Hyper Estraierで巨大なインデックをoptimizeするとインデックスが壊れてしまい、searchできるが不適切な結果が返るようになるバグが修正されました（「巨大な」は必須条件ではく、その方が起きやすいというだけです）。前回分と併せてGitHubのリポジトリで公開しておきます。

タグ：QDBM Hyper Estraier

かなり今更ですが、久しぶりにHyper EstraierとQDBMを自分でビルドしたらうまく動作せず、結局 QDBM のバグだったので一応お知らせしておきます。

最初はsourceforgeにあるHyper EstraierのMLに投稿したのですが、unsubscribeしていたみたいでモデレータ送りになった為、こっちで公開することにしました。

以前にOpenBlocks 600でOpenWrtを動かす記事をかきましたが、その後、使用していたKernel 4.19のサポートが無くなり、2021年3月時点ののOpenWrtにはKernel 5.4と5.10のサポートが入っています。

OpenBlocks 600もKernel 5.4での動作を確認していますが、dwc_otgドライバはコンパイルは通りますが動作はしませんでした。また、これは4.19の時もそうでしたが、ハードウェア暗号化アクセラレータも（多分）正常動作しません。

ちなみに、Kernel 5.10ではPowerPC 405を使用したデバイスのサポートが落とされていってるので、そのうちに使用できなくなるかもしれません。

タグ： OpenWrt OpenBlocks 600

OpenBlocks 600のファームウェア更新終了が発表されたから、というわけでもありませんが、眠らせておくのももったいないのでOpenWrtを入れてみました。 ただし、OpenWrtにPowerPCのサポートは入っているものの、OpenBlocks 600に搭載されているPowerPC 405についてはbroken扱いになっている為 (2018年10月現在。2019年5月にremoveされました。)、platformを増やす方向でやってみました。 見よう見まねでやった (見まねにもなっていないところもあります) ので、platform (target) / subtarget / device の切り分けがぐちゃぐちゃです。イメージの作成方法もこれで正しいのか全く分かりません。

OpenBlocks標準のflashcfgではU-Bootイメージしか書き込めないようなので、initramfsのfactoryファームで起動して、そこからsysupgradeでファームウェアを導入します。factoryファームについてはフラッシュROMに書き込んでもいいし、TFTP経由やCFブート (factoryファームをext2フォーマットのCFにuImage.initrd-cfbootの名前で書き込み、ディップスイッチのSW3をonにして起動) のいずれかでいけるはずです。私自身はCFブートで行いました。

直接は関係ない変更も混じってますが、一応公開しておきます。興味のある方は試してみてください。

またしても今更な話ですが、pdicdumpの出力からJIS X 4081 UTF-8 extension準拠の書籍に変換するツールを公開しました。

以前に公開したpdic-fpwに比べ、辞書内のハイパーリンクテキスト (相互参照)にある程度対応しています。また、付属のLookup 1.4+media用のパッケージファイルを使えば、フォントタグ等にもある程度対応します。

タグ：PDIC FreeUWING

今更な話ですが、EBライブラリに付属のebzipを使えば、EPWINGを圧縮したまま利用する事が可能です。ebzipで圧縮されたEPWINGは、EBライブラリだけでは無く、多くのEPWINGビューアが対応しています。

ebzipのオプションには圧縮レベルがあり、これは圧縮するチャンクの大きさに反映されます。最大値の5ではチャンクのサイズは64KiBです。ebzipでの圧縮にはzlibを利用していますが、ebzipの圧縮レベルとは別に、zlibにも圧縮レベルがあります。ebzipでは圧縮レベルに関係なく一律の値 (Z_DEFAULT_COMPRESSIONによって指定される値で、現在は6) を指定しています。

zlibの圧縮レベルを上げればもっと圧縮できるのではないかと思って試してみましたが、よくて1%強程度しか改善できませんでした。

その時点で諦めてもよかったのですが、zlib以外のライブラリを使ってみてはということで、圧縮率の改善が見込めそうなlibdeflateを使ってみました。

結果は表のような感じで、悪くても1%以上は改善し、書籍によっては約7.7%改善しました。 ebuzip -l 5 20190630 となっているものはzlibの最大圧縮レベルを利用したケースです。 また、HONMON2の非圧縮のサイズはHONMON2を伸長した場合のものです。 微々たる物といえばそうなのですが、スマートフォンなど、ストレージに制限がある場合には有効かもしれません。

EB Library with UTF-8 supportでlibdeflateを利用できるようにしていますので、興味のある方はお試しください。

タグ： EPWING EB Library

細田さんが作業された、「Texinfoで日本語PDFを生成」をLookupとWanderlustのドキュメントでやってみました。そのままではクロスリファレンスの部分が日本語化されていないので、一部変更したものを使ってみました。 実際にやったことは変更したファイル (texinfo.tex, texinfo-ja.tex, txi-ja.tex) をダウンロードし、.texiファイルに若干の修正を加えただけです。

修正内容は

1. ファイルの先頭にある\input texinfoを\input texinfo-jaにし、texinfo.texを直接読み込まずにtexinfo-ja.texを読み込むようにする。
2. ファイルの文字コードをutf-8にし、ファイルヘッダ (Emacs用の coding cookieや@documentencodingコマンドの引数等) もそれに合わせる。

だけでした。Debian (sid) とW32TeXのLuaTeXで確認しています。 尚、インデックスや見出しに日本語等の非ASCII文字を含む場合 (Lookupのドキュメントが該当します)、texindexコマンドはTexinfo 6.0以降のものである必要があるはずです (W32TeXのtexindexは対応していません。私はMSYS2のtexindexを使いました)。作成されたWanderlustの日本語ドキュメントをおいてみました (pdf, 3.2MB) ので興味のある方はご覧ください。

Emacs24で実装された、zlibサポートを利用したx-gzip64エンコードのデコーダです。 今更FLIMに入れるのもどうかという気もしますので、ここで公開しておきます。

;; x-gzip64 decoder
(when (and (fboundp 'zlib-available-p) (zlib-available-p))
  (eval-after-load "mel-g"
    '(progn
       (mel-define-method mime-decode-region (start end (nil "x-gzip64"))
         (save-excursion
           (save-restriction
             (narrow-to-region start end)
             (let ((mb enable-multibyte-characters))
               (set-buffer-multibyte nil)
               (base64-decode-region (point-min) (point-max))
               (zlib-decompress-region (point-min) (point-max))
               (set-buffer-multibyte mb)))))

       (mel-define-method mime-decode-string (string (nil "x-gzip64"))
         (with-temp-buffer
           (set-buffer-multibyte nil)
           (insert string)
           (base64-decode-region (point-min) (point-max))
           (zlib-decompress-region (point-min) (point-max))
           (buffer-string)))

       (mel-define-method mime-write-decoded-region (start end filename
                                                           (nil "x-gzip64"))
         "Decode and write current region encoded by gzip64 into FILENAME.
START and END are buffer positions."
         (interactive "*r\nFWrite decoded region to file: ")
         (let ((coding-system-for-read 'binary)
               (coding-system-for-write 'binary)
               (buffer (current-buffer)))
           (with-temp-buffer
             (set-buffer-multibyte nil)
             (insert-buffer-substring buffer start end)
             (base64-decode-region (point-min) (point-max))
             (zlib-decompress-region (point-min) (point-max))
             (write-region (point-min) (point-max) filename)))))))

タグ： Emacs Wanderlust

cdae2-epwを作成されたクサガメさんが、Cambridge Learner's Dictionary 4th Editionに付属のCD-ROMの内容を、EBStudioで変換できるようにするためのPerlスクリプトを公開されています。