1: This document is written in Japanese. 2: 3: Anthy 4: 5: ** 本ドキュメントの構成 ** 6: Anthyのドキュメントはパッケージの doc/ 以下に置かれ、 7: ドキュメントの目次は doc/00INDEX にあります。 8: 9: 10: 11: ** 本ソフトウェアの構成 ** 12: Anthyは変換エンジンの機能などを持つライブラリと、それを利用 13: するためのいくつかのコマンドなどから構成されています。 14: 15: 16: 17: ** 変換エンジンの構成 ** 18: Anthyはおおまかにわけて次の5つのモジュールで構成されています。 19: *データ型モジュール src-diclib/ 20: *単語辞書モジュール src-worddic/ 21: *文節境界のモジュール src-splitter/ 22: *候補の順序の決定のモジュール src-ordering/ 23: *フロントエンド(変換コンテキストの管理等) src-main/ 24: 25: 日本語にはある読みに対して複数の意味や品詞がある同音異義語が 26: 多数存在します。これを扱うために、変換元の文字列(つまり同音の 27: 文字列)を代表するためのデータ型を用意しています。 28: このデータ型を用いたプログラムの典型的な流れを次に示します。 29: 30: int n, i; 31: /* ある読みに対応するハンドルを取得する */ 32: seq_ent_t seq = anthy_get_seq_ent_from_xstr(yomi_string); 33: /* いくつの同音異義語が存在するかを取得 */ 34: n = anthy_get_nr_dic_ents(seq, NULL); 35: /* 各異義語に対して */ 36: for (i = 0; i < n; i++) { 37: /* 単語を取得する */ 38: anthy_get_nth_dic_ent_str(seq, NULL, i, &str); 39: /* 品詞を取得する */ 40: anthy_get_nth_dic_ent_wtype(seq, NULL, i, &wt); 41: .. 42: } 43: 44: 同音異義語の中には同じ品詞のものや異なる品詞をもつものもあり、 45: 活用する単語の各種の活用形が含まれます。上記のプログラムでは 46: いくつの同音異義語があるかを取得したあとに、インデックスを用い 47: て各種の情報を取得しています。 48: 49: かな漢字変換の各モジュールはこの辞書ライブラリからデータを 50: 取得することによって動作します。次に各モジュールのおおまかな 51: 構成を説明します。 52: 53: Anthyライブラリの動作はユーザが変換前の(主に平仮名で構成される) 54: 文字列を渡すことによって開始されます。変換の動作は文節の境界の 55: 検出と候補の生成の2つにわかれます。 56: 文節の境界はユーザが変更することがあるので、境界検出モジュールは 57: ユーザが設定した境界を制約条件として動作します。最初に文字列を 58: 設定した際にはこの制約条件は無い状態です。 59: 最初に文字列を設定した際に、文字列中の全ての部分文字列に対し 60: それが自立語かどうかをチェックして自立語ならば接頭辞や接尾辞 61: 付属語を追加したパターンが文中にあるかどうかをチェックして 62: struct word_listというデータ構造を構成します。 63: どのような付属語が接続するかは自立語の品詞によって異なり、 64: そのデータは定義ファイルに記述されています。 65: 66: 候補の生成は上の分割の際に与えられた品詞をもとにして 67: 行われます。 68: 69: 70: ** 例文の利用 ** 71: パラメータ計算の際には例文を変換し、その際に変換結果だけでなく、グラフ中の 72: 通過したエッジの情報も出力します。 73: (文節区切りの際にはグラフの形はlatticeになります) 74: 変換結果を正解と比較することにより、エッジの種類毎に正解になる確率および 75: 誤変換になる確率を求めます。 76: 変換の結果が正解であればその分母と分子に加算し、誤変換であれば分母のみに 77: 加算するという手法を取っています。 78: ソースのディレクトリで make update_params を実行することで 79: 例文の変換とパラメータの更新が行われます。 80: 81: 82: ** 文節区切りのアルゴリズム ** 83: 分節の区切りは、基本的にはlatticeを構成し、スコアが最小となるパスを 84: viterbiアルゴリズムで検索することで行います。 85: スコアは確率を基本としていますが、その他にも各種のバイアスをかけています。 86: 87: 88: ** 変換モジュールの構成 ** 89: 90: 文節境界の設定 91: (文節中の単語境界の検索) 92: 候補の列挙 93: 候補のソート 94: 95: 96: *変換パイプライン ( コアは src-main/ 以下にある ) 97: context 変換コンテキスト 98: 文節境界の検出 ( src-splitter/ 以下にある ) 99: depgraph 100: metaword 101: evalborder 102: lattice 103: compose 文節構造の解析 104: 候補の順序決定 ( src-ordering/ 以下 ) 105: candsort 候補の並びかえ 106: candhistory 107: commit 108: candswap 109: infosort 110: relation 111: personality パーソナリティの管理 112: *辞書ライブラリ 113: conf グローバルな設定 114: file_dic 辞書ファイル 115: mem_dic メモリ上の辞書 116: record ユーザごとの設定 117: alloc メモリアロケータ 118: logger 119: dic_session 辞書エントリのbook keeping 120: xchar 文字型 121: xstr 文字列 122: wtype 品詞 123: ext_ent 候補の生成 124: ruleparser 設定ファイルの解析 125: dic_util 辞書管理プログラムのための関数群 126: 127: 128: ** seq_entについて ** 129: anthyではひらがな列(読み)に対応するデータ構造として、seq_entという 130: 構造体を用います。この構造体はdiclibの中で管理されており、 131: フロントエンド側からは適切なAPIでアクセスすることができます。 132: seq_entは同音異義語の配列を持っています。 133: seq_entの主要メンバ 134: * str: 読み 135: * id: 辞書中のインデックス 136: * seq_type: ST_ のフラグ 137: * dic_ents: 単語(or複合語)の配列 138: 139: 140: ** 辞書ファイルの形式 ** 141: 辞書ファイルはエンディアンやバイナリフォーマットの異なるマシン間で 142: 共有できるような形式とする。 143: 辞書のセクションは次のようなものがある 144: *ヘッダ 145: *辞書のエントリ 146: *辞書のエントリへのインデックス 147: *辞書のインデックス 148: *辞書のインデックスへのインデックス 149: 150: 151: ** 辞書ファイルアクセスの手法 ** 152: 複数の文字列の検索を同時に行うことで効率を高めることを狙っています。 153: 変換対象の文字列の部分文字列を列挙してソートし、それを辞書ファイル内の 154: ソートされた文字列と比較します。 155: 例えば、「わたし」という文字列を検索する際には部分文字列 156: 「わ」「わた」「わたし」「た」「たし」「し」を列挙し、それをソートした列 157: 「し」「た」「たし」「わた」「わたし」を辞書ファイルの最初から順に 158: スキャンします。 159: ただし、システム辞書については、他の工夫も含めて検索の高速化を図っています。 160: 161: 162: ** デバッグの方法 ** 163: anthy-agentは標準入力でユーザとやりとりすることを 164: 利用して次のようなスクリプトを書きます． 165: -- 166: #! /bin/sh 167: 168: anthy-agent <<EOF 169: aho 170: (space) 171: PRINT_CONTEXT 172: EOF 173: -- 174: このスクリプトを実行すると手元のanthyでは次のような出力が得られます． 175: -- 176: (2 ((UL) "あほ" -1 -1) cursor) 177: (3 ((UL RV) "アホ" 0 3)) 178: |あほ 179: あほ(アホ:(1N,256)22,485 ,阿呆:(1,256)22,357 ,あほ:(1N,256)22,229 ,): 180: -- 181: これはemacsでahoと入力して変換動作をする(スペースを押す)操作をしたあとで 182: コンテキストを表示するコマンドを入れています． 183: 184: 出力の1行目と2行目はプリエディットの変化を表しています． 185: 3行目と4行目はPRINT_CONTEXTの結果です． 186: 187: 文全体 -> |あほ 188: 一文節目 -> あほ(アホ:(1N,256)22,485 ,阿呆:(1,256)22,357 ,あほ:(1N,256)22,229 ,): 189: 190: 各候補は 変換結果:(候補のタイプ,文節構造のスコア)文節のスコア 191: という形式をしています． 192: 193: anthyのソース中にはanthy_print_*() 系の関数がコメントアウトされている部分が 194: たくさんあるので，それを有効にして同じことをやると変換パイプラインでどんな 195: データが流れるかがわかると思います． 196: 197: ちなみに，デバッグプリントなどを有効にしてmake installすると 198: anthy.elとのプロトコルに反するので注意しましょう．