net.moraleboost.junsai.tagger
クラス Tokenizer
java.lang.Object
net.moraleboost.junsai.tagger.Tokenizer
public class Tokenizer
- extends java.lang.Object
辞書を用いて、ラティスの要素となる
形態素ノードをルックアップするクラス。
- 作成者:
- taketa
クラス java.lang.Object から継承されたメソッド |
clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait |
DEFAULT_MAX_GROUPING_SIZE
public static final int DEFAULT_MAX_GROUPING_SIZE
- 関連項目:
- 定数フィールド値
DARESULTS_SIZE
public static final int DARESULTS_SIZE
- 関連項目:
- 定数フィールド値
BOS_KEY
public static final java.lang.String BOS_KEY
- 関連項目:
- 定数フィールド値
Tokenizer
public Tokenizer(Dictionary[] dictionaries,
Dictionary unknownDictionary,
CharProperty charProperty,
java.lang.String bosFeature,
java.lang.String unkFeature,
int maxGroupingSize)
throws DictionaryException
- 例外:
DictionaryException
getBOSNode
public Node getBOSNode()
getEOSNode
public Node getEOSNode()
clear
public void clear()
reset
public void reset(Dictionary[] dictionaries,
Dictionary unknownDictionary,
CharProperty charProperty,
java.lang.String bosFeature,
java.lang.String unkFeature,
int maxGroupingSize)
throws DictionaryException
- 例外:
DictionaryException
lookup
public Node lookup(java.lang.CharSequence str,
int begin,
int end)
- strのbegin位置から、トークンを切り出してNodeとして返す。
トークンが見つからなかった場合、nullを返す。
- パラメータ:
str
- トークンを切り出す対象とする文字列begin
- トークン切り出し開始位置end
- 終了位置
- 戻り値:
- トークンが見つかった場合はNodeインスタンス。見つからなかった場合はnull。
readNodeInfo
protected void readNodeInfo(Dictionary d,
int idx,
Node n)
getNewNode
protected Node getNewNode()