第030回_条件付字句解析器6_NormalSectionLexer

NormalSectionは、WHITE_SPACE,WORD,SYMBOL,LITERAL,COMMENTをトークン化します。

■NormalSectionで扱う各トークンの定義のおさらい

■仕様

public class NormalSectionLexer extends MapSwitchLexer
{
    private static NormalSectionLexer m_instance = new NormalSectionLexer();

    private NormalSectionLexer()
    {
        super();
        
        Init_MovePos wordTokenizer
                     = new Init_MovePos(new WordTokenizer());
        Init_MovePos whiteSpaceTokenizer
                     = new Init_MovePos(new WhiteSpaceTokenizer());
        Init_MovePos doubleQuoteTokenizer
                     = new Init_MovePos(new DoubleQuoteTokenizer());
        Init_MovePos quoteTokenizer
                     = new Init_MovePos(new QuoteTokenizer());

         ArrayList<String> list = new ArrayList<String>();
         list.add("FIXED");
         list.add("IMPLIED");
         list.add("PCDATA");
         list.add("REQUIRED");
         Init_MovePos numberSignTokenizer
                      = new Init_MovePos(new SymbolListTokenizer(list));

         Init_MovePos oneCharSymbol
                      = new Init_MovePos(new JustCreateSymbolTokenizer());

         ArrayList<String> list2 = new ArrayList<String>();
         list2.add("#x");//先に#xを評価させないと#でOKになってしまうので注意
         list2.add("#");
         Init_MovePos ampersandTokenizer
                      = new Init_MovePos(new SymbolListTokenizer2(list2));
         
         ArrayList<String> list3 = new ArrayList<String>();
         list3.add("*");//先に#xを評価させないと#でOKになってしまうので注意
         list3.add("?");
         list3.add("+");
         Init_MovePos rightParenTokenizer
                      = new Init_MovePos(new SymbolListTokenizer2(list3));

         Init_MovePos slashTokenizer
                      = new Init_MovePos(new SymbolTokenizer(">"));
         Init_MovePos leftAngleTokenizer
                      = new Init_MovePos(new LeftAngleTokenizer());
         Init_MovePos questionMarkTokenizer
                      = new Init_MovePos(new SymbolTokenizer2(">"));
         Init_MovePos rightBracketTokenizer
                      = new Init_MovePos(new SymbolTokenizer2("]>"));
         Init_MovePos unknownTokenizer
                      = new Init_MovePos(new UnknownTokenizer());
         EofTokenizer eof                   = new EofTokenizer();

         m_map.put('\u0009'          , whiteSpaceTokenizer);
         m_map.put('\n'              , whiteSpaceTokenizer);//u000A
         m_map.put('\r'              , whiteSpaceTokenizer);//u000D
         m_map.put('\u0020'          , whiteSpaceTokenizer);
         m_map.put('\u0022'          , doubleQuoteTokenizer);
         m_map.put('\u0023'          , numberSignTokenizer);
         m_map.put('\u0025'          , oneCharSymbol);
         m_map.put('\u0026'          , ampersandTokenizer);
         m_map.put('\''              , quoteTokenizer);//u0027
         m_map.put('\u0028'          , oneCharSymbol);
         m_map.put('\u0029'          , rightParenTokenizer);
         m_map.put('\u002A', '\u002C', oneCharSymbol);
         m_map.put('\u002D', '\u002E', wordTokenizer);
         m_map.put('\u002F'          , slashTokenizer);
         m_map.put('\u0030', '\u003A', wordTokenizer);
         m_map.put('\u003B'          , oneCharSymbol);
         m_map.put('\u003C'          , leftAngleTokenizer);
         m_map.put('\u003D', '\u003E', oneCharSymbol);
         m_map.put('\u003F'          , questionMarkTokenizer);
         m_map.put('\u0041', '\u005A', wordTokenizer);
         m_map.put('\u005B'          , oneCharSymbol);
         m_map.put('\u005D'          , rightBracketTokenizer);
         m_map.put('\u005F'          , wordTokenizer);
         m_map.put('\u0061', '\u007A', wordTokenizer);
         m_map.put('\u007C'          , oneCharSymbol);
         m_map.put('\u00B7'          , wordTokenizer);
         m_map.put('\u00C0', '\u00D6', wordTokenizer);
         m_map.put('\u00D8', '\u00F6', wordTokenizer);
         m_map.put('\u00F8', '\u02FF', wordTokenizer);
         m_map.put('\u0300', '\u036F', wordTokenizer);
         m_map.put('\u0370', '\u037D', wordTokenizer);
         m_map.put('\u037F', '\u1FFF', wordTokenizer);
         m_map.put('\u200C', '\u200D', wordTokenizer);
         m_map.put('\u203F', '\u2040', wordTokenizer);
         m_map.put('\u2070', '\u218F', wordTokenizer);
         m_map.put('\u2C00', '\u2FEF', wordTokenizer);
         m_map.put('\u3001', '\uD7FF', wordTokenizer);
         m_map.put('\uF900', '\uFDCF', wordTokenizer);
         m_map.put('\uFDF0', '\uFFFD', wordTokenizer);
         m_map.setOutOfRange(unknownTokenizer);
         m_map.setEofFunctor(eof);
    }

    public static NormalSectionLexer getInstance()
    {
        return m_instance;
    }
}

NormalSectionLexerで出現した未解説のクラスについて紹介しておきます。中身は単純ですので細かい説明をしなくても良いと思います。

■WhiteSpaceTokenizer

■LiteralTokenizer

■DoubleQuoteTokenizer

■QuoteTokenizer

長くなりましたので、残りの未解説クラスは次回のコラムで説明します。