amisfilter: amis 形式データファイル生成ツール

English version

イベントファイルから amis 形式のデータファイルを作るツールです.

amisfilter モデル名 マスクモジュール ueventファイル カウントファイル モデルファイル イベントファイル
モデル名確率モデルの名前(構文解析の時にも使います)
マスクモジュールunfiltered event にかけるマスクが実装され ている lilfes module
ueventファイル入力の unfiltered event ファイル (テキストま たは gz/bz 圧縮形式)
カウントファイルfeature の頻度を出力するファイル (テキスト 形式)
モデルファイルモデルファイル (AmisModel 形式)
イベントファイルイベントファイル (AmisEvent 形式)
オプション
-t 閾値素性の頻度の閾値 (デフォルト: 1)
-e 閾値出力するイベントの数の上限値
-vデバッグ用メッセージを表示します.
-vvデバッグ用メッセージをたくさん表示します.

unimaker や forestmaker で作られる unfiltered event ファイルから,amis 形式のデータファイルを生成します.

unimaker や forestmaker は,以下のような // で区切られた unfiltered event を出力します.最後のフィールドはカテゴリ名です.

in//IN//vp[PPnp]//uni

この文字列の各フィールドに対し,1 か 0 のマスクをかけ,0 のフィールド は _ で置き換えた文字列が,ME モデルの素性として使われます.例えば,上 の文字列に (0, 1, 1) というマスクをかけると,以下のような素性が得られ ます.

_//IN//vp[PPnp]//uni

マスクは,amismodel.lil で定義された feature_mask/3 で記述します.マス クは 1 か 0 のリストで,unfiltered event のフィールド数と同じ長さでな ければなりません.

feature_mask(+$ModelName, -$Category, -$Mask)
$ModelName確率モデルの名前
$Categoryカテゴリ名
$Maskマスクを表す0/1リスト
確率イベントにかけるマスクを指定します.

amisfilter は,まずマスクを使って feature を生成します.次に,feature が observed event に現れる回数(empirical frequency)を数え,カウントファ イルに出力します.そして,feature の出現回数が閾値以上のものを採用し, amis 形式のモデルおよびイベントファイルを生成します.


MAYZホームページ 辻井研究室
MAYZツールキットマニュアル
MIYAO Yusuke (yusuke@is.s.u-tokyo.ac.jp)