|
||||||||||
| 前のパッケージ 次のパッケージ | フレームあり フレームなし | |||||||||
参照先:
説明
| インタフェースの概要 | |
|---|---|
| Token |
Tokenizerクラスが文字列から切り出したトークンを表します。 |
| TokenInfo |
Tokenizerクラスが文字列から切り出すトークンの情報を持ちます。 |
| クラスの概要 | |
|---|---|
| EofToken | 文字列の終端まで解析し終わった後に返されるトークンです。 |
| Tokenizer | 字句解析を行います。 |
| 例外の概要 | |
|---|---|
| TokenizerException | 字句解析に失敗したことを表す例外です。 |
トークナイザ(字句解析器)を提供します。
|
||||||||||
| 前のパッケージ 次のパッケージ | フレームあり フレームなし | |||||||||