ngram_write_bin.c

N-gramをバイナリ形式でファイルに書き出す. [詳細]

#include <sent/stddefs.h>
#include <sent/ngram2.h>

ngram_write_bin.cのインクルード依存関係図

ソースコードを見る。

関数
static void	wrt (FILE *fp, void *buf, size_t unitbyte, int unitnum)
static void	write_header (FILE *fp, char *str, int version)
boolean	ngram_write_bin (FILE *fp, NGRAM_INFO *ndata, char *headerstr)
変数
static boolean	need_swap
	TRUE if need byte swap.

---

説明

N-gramをバイナリ形式でファイルに書き出す.

作者:

Akinobu LEE

日付:

Wed Feb 16 17:23:16 2005

rev.3.5 より，読み込みの高速性を考慮して書き出しのバイトオーダーを Big endian 固定からマシン依存に変更された．またインデックスの 24bit 化 および 2-gram のバックオフデータの圧縮も行うなど，ファイル形式の 内部仕様が一部変更された．これにより，3.5 以降の mkbingram で で生成したバイナリN-gramは, 3.4.2以前の Julius では使えない． (ヘッダチェックでエラーとなる)

なお 3.5 以降の Julius では従来のモデルも問題なく読める．この場合, インデックスの 24bit 化とバックオフの圧縮はモデル読み込み時に その都度行われる．

バイトオーダーに関してヘッダに記述することで，読み込み時に判定して 読み込む．これにより，異なるバイトオーダーのマシンで生成した バイナリN-gramでも問題なく読める．もちろん従来のモデルもそのまま 読み込める．

Revision

1.2

ngram_write_bin.c で定義されています。

---

関数

static void wrt (  FILE *  fp, void *  buf, size_t  unitbyte, int  unitnum )  [static]

Binary write function, with byte swapping if needed. 引数: fp  [in] file pointer buf  [in] data buffer to write unitbyte  [in] unit size in bytes unitnum  [in] number of unit to write ngram_write_bin.c の 66 行で定義されています。

static void write_header (  FILE *  fp, char *  str, int  version )  [static]

Write header information, with identifier string. 引数: fp  [in] file pointer str  [in] user header string (any string within BINGRAM_HDSIZE bytes is allowed) version  [in] file format version id ngram_write_bin.c の 89 行で定義されています。 参照元 ngram_write_bin().

boolean ngram_write_bin (  FILE *  fp, NGRAM_INFO *  ndata, char *  headerstr )

Write a whole N-gram data in binary format. 引数: fp  [in] file pointer ndata  [in] N-gram data to write headerstr  [in] user header string 戻り値: TRUE on success, FALSE on failure ngram_write_bin.c の 128 行で定義されています。

---