net.moraleboost.junsai.tagger
クラス Tokenizer

java.lang.Object
  上位を拡張 net.moraleboost.junsai.tagger.Tokenizer

public class Tokenizer
extends java.lang.Object

辞書を用いて、ラティスの要素となる 形態素ノードをルックアップするクラス。

作成者:
taketa

フィールドの概要
static java.lang.String BOS_KEY
           
static int DARESULTS_SIZE
           
static int DEFAULT_MAX_GROUPING_SIZE
           
 
コンストラクタの概要
Tokenizer(Dictionary[] dictionaries, Dictionary unknownDictionary, CharProperty charProperty, java.lang.String bosFeature, java.lang.String unkFeature, int maxGroupingSize)
           
 
メソッドの概要
 void clear()
           
 Node getBOSNode()
           
 Node getEOSNode()
           
protected  Node getNewNode()
           
 Node lookup(java.lang.CharSequence str, int begin, int end)
          strのbegin位置から、トークンを切り出してNodeとして返す。
protected  void readNodeInfo(Dictionary d, int idx, Node n)
           
 void reset(Dictionary[] dictionaries, Dictionary unknownDictionary, CharProperty charProperty, java.lang.String bosFeature, java.lang.String unkFeature, int maxGroupingSize)
           
 
クラス java.lang.Object から継承されたメソッド
clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait
 

フィールドの詳細

DEFAULT_MAX_GROUPING_SIZE

public static final int DEFAULT_MAX_GROUPING_SIZE
関連項目:
定数フィールド値

DARESULTS_SIZE

public static final int DARESULTS_SIZE
関連項目:
定数フィールド値

BOS_KEY

public static final java.lang.String BOS_KEY
関連項目:
定数フィールド値
コンストラクタの詳細

Tokenizer

public Tokenizer(Dictionary[] dictionaries,
                 Dictionary unknownDictionary,
                 CharProperty charProperty,
                 java.lang.String bosFeature,
                 java.lang.String unkFeature,
                 int maxGroupingSize)
          throws DictionaryException
例外:
DictionaryException
メソッドの詳細

getBOSNode

public Node getBOSNode()

getEOSNode

public Node getEOSNode()

clear

public void clear()

reset

public void reset(Dictionary[] dictionaries,
                  Dictionary unknownDictionary,
                  CharProperty charProperty,
                  java.lang.String bosFeature,
                  java.lang.String unkFeature,
                  int maxGroupingSize)
           throws DictionaryException
例外:
DictionaryException

lookup

public Node lookup(java.lang.CharSequence str,
                   int begin,
                   int end)
strのbegin位置から、トークンを切り出してNodeとして返す。 トークンが見つからなかった場合、nullを返す。

パラメータ:
str - トークンを切り出す対象とする文字列
begin - トークン切り出し開始位置
end - 終了位置
戻り値:
トークンが見つかった場合はNodeインスタンス。見つからなかった場合はnull。

readNodeInfo

protected void readNodeInfo(Dictionary d,
                            int idx,
                            Node n)

getNewNode

protected Node getNewNode()