0000: 2f 2a 2a 0a 20 2a 20 41 75 74 68 6f 72 73 3a 20 /**. * Authors:
0010: 6b 2e 69 6e 61 62 61 0a 20 2a 20 4c 69 63 65 6e k.inaba. * Licen
0020: 73 65 3a 20 4e 59 53 4c 20 30 2e 39 39 38 32 20 se: NYSL 0.9982
0030: 68 74 74 70 3a 2f 2f 77 77 77 2e 6b 6d 6f 6e 6f http://www.kmono
0040: 73 2e 6e 65 74 2f 6e 79 73 6c 2f 0a 20 2a 0a 20 s.net/nysl/. *.
0050: 2a 20 4c 65 78 65 72 20 66 6f 72 20 50 6f 6c 65 * Lexer for Pole
0060: 6d 79 20 70 72 6f 67 72 61 6d 6d 69 6e 67 20 6c my programming l
0070: 61 6e 67 75 61 67 65 2e 0a 20 2a 2f 0a 6d 6f 64 anguage.. */.mod
0080: 75 6c 65 20 70 6f 6c 65 6d 79 2e 6c 65 78 3b 0a ule polemy.lex;.
0090: 69 6d 70 6f 72 74 20 70 6f 6c 65 6d 79 2e 5f 63 import polemy._c
00a0: 6f 6d 6d 6f 6e 3b 0a 69 6d 70 6f 72 74 20 73 74 ommon;.import st
00b0: 64 2e 66 69 6c 65 20 20 3a 20 72 65 61 64 54 65 d.file : readTe
00c0: 78 74 3b 0a 69 6d 70 6f 72 74 20 73 74 64 2e 63 xt;.import std.c
00d0: 74 79 70 65 20 3a 20 69 73 73 70 61 63 65 2c 20 type : isspace,
00e0: 69 73 61 6c 6e 75 6d 3b 0d 0a 0d 0a 2f 2a 6d 69 isalnum;..../*mi
00f0: 78 69 6e 2a 2f 0d 0a 74 65 6d 70 6c 61 74 65 20 xin*/..template
0100: 45 78 63 65 70 74 69 6f 6e 57 69 74 68 50 6f 73 ExceptionWithPos
0110: 69 74 69 6f 6e 28 29 0d 0a 7b 0d 0a 09 63 6f 6e ition()..{...con
0120: 73 74 20 4c 65 78 50 6f 73 69 74 69 6f 6e 20 70 st LexPosition p
0130: 6f 73 3b 0d 0a 09 74 68 69 73 28 20 63 6f 6e 73 os;...this( cons
0140: 74 20 4c 65 78 50 6f 73 69 74 69 6f 6e 20 70 6f t LexPosition po
0150: 73 2c 20 73 74 72 69 6e 67 20 6d 73 67 2c 20 73 s, string msg, s
0160: 74 72 69 6e 67 20 66 69 6c 65 3d 6e 75 6c 6c 2c tring file=null,
0170: 20 73 69 7a 65 5f 74 20 6c 69 6e 65 3d 30 2c 20 size_t line=0,
0180: 54 68 72 6f 77 61 62 6c 65 20 6e 65 78 74 3d 6e Throwable next=n
0190: 75 6c 6c 20 29 0d 0a 09 09 7b 20 73 75 70 65 72 ull )....{ super
01a0: 28 73 70 72 69 6e 74 66 21 22 5b 25 73 5d 20 25 (sprintf!"[%s] %
01b0: 73 22 28 70 6f 73 2c 20 6d 73 67 29 2c 20 66 69 s"(pos, msg), fi
01c0: 6c 65 2c 20 6c 69 6e 65 2c 20 6e 65 78 74 29 3b le, line, next);
01d0: 20 74 68 69 73 2e 70 6f 73 20 3d 20 70 6f 73 3b this.pos = pos;
01e0: 20 7d 0d 0a 7d 0d 0a 0d 0a 2f 2f 2f 20 54 68 72 }..}..../// Thr
01f0: 6f 77 6e 20 77 68 65 6e 20 65 6e 63 6f 75 6e 74 own when encount
0200: 65 72 65 64 20 61 6e 20 45 4f 46 20 69 6e 20 74 ered an EOF in t
0210: 68 65 20 6d 69 64 64 6c 65 20 6f 66 20 61 20 6c he middle of a l
0220: 65 78 69 63 61 6c 20 74 6f 6b 65 6e 0d 0a 0d 0a exical token....
0230: 63 6c 61 73 73 20 55 6e 65 78 70 65 63 74 65 64 class Unexpected
0240: 45 4f 46 20 3a 20 45 78 63 65 70 74 69 6f 6e 0d EOF : Exception.
0250: 0a 7b 0d 0a 09 6d 69 78 69 6e 20 45 78 63 65 70 .{...mixin Excep
0260: 74 69 6f 6e 57 69 74 68 50 6f 73 69 74 69 6f 6e tionWithPosition
0270: 3b 0d 0a 7d 0d 0a 0d 0a 2f 2f 2f 20 54 68 72 6f ;..}..../// Thro
0280: 77 6e 20 77 68 65 6e 20 65 6e 63 6f 75 6e 74 65 wn when encounte
0290: 72 65 64 20 61 20 6c 65 78 69 63 61 6c 20 65 72 red a lexical er
02a0: 72 6f 72 0d 0a 0d 0a 63 6c 61 73 73 20 4c 65 78 ror....class Lex
02b0: 45 78 63 65 70 74 69 6f 6e 20 3a 20 45 78 63 65 Exception : Exce
02c0: 70 74 69 6f 6e 0d 0a 7b 0d 0a 09 6d 69 78 69 6e ption..{...mixin
02d0: 20 45 78 63 65 70 74 69 6f 6e 57 69 74 68 50 6f ExceptionWithPo
02e0: 73 69 74 69 6f 6e 3b 0d 0a 7d 3b 0d 0a 0d 0a 2f sition;..};..../
02f0: 2f 2f 20 52 65 70 72 65 73 65 6e 74 73 20 61 20 // Represents a
0300: 70 6f 73 69 74 69 6f 6e 20 69 6e 20 73 6f 75 72 position in sour
0310: 63 65 20 63 6f 64 65 73 0a 0a 63 6c 61 73 73 20 ce codes..class
0320: 4c 65 78 50 6f 73 69 74 69 6f 6e 0a 7b 0a 09 69 LexPosition.{..i
0330: 6d 6d 75 74 61 62 6c 65 20 73 74 72 69 6e 67 20 mmutable string
0340: 66 69 6c 65 6e 61 6d 65 3b 20 2f 2f 2f 20 6e 61 filename; /// na
0350: 6d 65 20 6f 66 20 74 68 65 20 73 6f 75 72 63 65 me of the source
0360: 20 66 69 6c 65 0a 09 69 6d 6d 75 74 61 62 6c 65 file..immutable
0370: 20 69 6e 74 20 20 20 20 6c 69 6e 65 6e 6f 3b 20 int lineno;
0380: 20 20 2f 2f 2f 20 31 2d 6f 72 69 67 69 6e 0a 09 /// 1-origin..
0390: 69 6d 6d 75 74 61 62 6c 65 20 69 6e 74 20 20 20 immutable int
03a0: 20 63 6f 6c 75 6d 6e 3b 20 20 20 2f 2f 2f 20 31 column; /// 1
03b0: 2d 6f 72 69 67 69 6e 0a 0d 0a 09 6d 69 78 69 6e -origin....mixin
03c0: 20 53 69 6d 70 6c 65 43 6c 61 73 73 3b 0a 09 6f SimpleClass;..o
03d0: 76 65 72 72 69 64 65 20 73 74 72 69 6e 67 20 74 verride string t
03e0: 6f 53 74 72 69 6e 67 28 29 20 63 6f 6e 73 74 0a oString() const.
03f0: 09 09 7b 20 72 65 74 75 72 6e 20 73 70 72 69 6e ..{ return sprin
0400: 74 66 21 22 25 73 3a 25 64 3a 25 64 22 28 66 69 tf!"%s:%d:%d"(fi
0410: 6c 65 6e 61 6d 65 2c 20 6c 69 6e 65 6e 6f 2c 20 lename, lineno,
0420: 63 6f 6c 75 6d 6e 29 3b 20 7d 0a 0d 0a 09 73 74 column); }....st
0430: 61 74 69 63 20 69 6d 6d 75 74 61 62 6c 65 20 4c atic immutable L
0440: 65 78 50 6f 73 69 74 69 6f 6e 20 64 75 6d 6d 79 exPosition dummy
0450: 3b 0d 0a 09 73 74 61 74 69 63 20 74 68 69 73 28 ;...static this(
0460: 29 7b 20 64 75 6d 6d 79 20 3d 20 6e 65 77 20 69 ){ dummy = new i
0470: 6d 6d 75 74 61 62 6c 65 28 4c 65 78 50 6f 73 69 mmutable(LexPosi
0480: 74 69 6f 6e 29 28 22 3c 75 6e 6e 61 6d 65 64 3e tion)("<unnamed>
0490: 22 2c 30 2c 30 29 3b 20 7d 0d 0a 7d 0a 0a 75 6e ",0,0); }..}..un
04a0: 69 74 74 65 73 74 0a 7b 0a 09 61 75 74 6f 20 70 ittest.{..auto p
04b0: 20 3d 20 6e 65 77 20 4c 65 78 50 6f 73 69 74 69 = new LexPositi
04c0: 6f 6e 28 22 68 65 6c 6c 6f 2e 63 70 70 22 2c 20 on("hello.cpp",
04d0: 31 32 33 2c 20 34 35 29 3b 0a 0a 09 61 73 73 65 123, 45);...asse
04e0: 72 74 5f 65 71 28 20 70 2e 66 69 6c 65 6e 61 6d rt_eq( p.filenam
04f0: 65 2c 20 22 68 65 6c 6c 6f 2e 63 70 70 22 20 29 e, "hello.cpp" )
0500: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 70 2e ;..assert_eq( p.
0510: 6c 69 6e 65 6e 6f 2c 20 31 32 33 20 29 3b 0a 09 lineno, 123 );..
0520: 61 73 73 65 72 74 5f 65 71 28 20 70 2e 63 6f 6c assert_eq( p.col
0530: 75 6d 6e 2c 20 34 35 20 29 3b 0a 09 61 73 73 65 umn, 45 );..asse
0540: 72 74 5f 65 71 28 20 74 65 78 74 28 70 29 2c 20 rt_eq( text(p),
0550: 22 68 65 6c 6c 6f 2e 63 70 70 3a 31 32 33 3a 34 "hello.cpp:123:4
0560: 35 22 20 29 3b 0a 0a 09 61 73 73 65 72 74 28 20 5" );...assert(
0570: 21 5f 5f 74 72 61 69 74 73 28 63 6f 6d 70 69 6c !__traits(compil
0580: 65 73 2c 20 6e 65 77 20 4c 65 78 50 6f 73 69 74 es, new LexPosit
0590: 69 6f 6e 29 20 29 3b 0a 09 61 73 73 65 72 74 28 ion) );..assert(
05a0: 20 21 5f 5f 74 72 61 69 74 73 28 63 6f 6d 70 69 !__traits(compi
05b0: 6c 65 73 2c 20 70 2e 66 69 6c 65 6e 61 6d 65 3d les, p.filename=
05c0: 22 66 6f 6f 22 29 20 29 3b 0a 09 61 73 73 65 72 "foo") );..asser
05d0: 74 28 20 21 5f 5f 74 72 61 69 74 73 28 63 6f 6d t( !__traits(com
05e0: 70 69 6c 65 73 2c 20 70 2e 6c 69 6e 65 6e 6f 20 piles, p.lineno
05f0: 20 3d 37 38 39 29 20 29 3b 0a 09 61 73 73 65 72 =789) );..asser
0600: 74 28 20 21 5f 5f 74 72 61 69 74 73 28 63 6f 6d t( !__traits(com
0610: 70 69 6c 65 73 2c 20 70 2e 63 6f 6c 75 6d 6e 20 piles, p.column
0620: 20 3d 32 32 32 29 20 29 3b 0a 0d 0a 09 61 75 74 =222) );....aut
0630: 6f 20 71 20 3d 20 6e 65 77 20 4c 65 78 50 6f 73 o q = new LexPos
0640: 69 74 69 6f 6e 28 22 68 65 6c 6c 6f 2e 63 70 70 ition("hello.cpp
0650: 22 2c 20 31 32 33 2c 20 34 36 29 3b 0d 0a 09 61 ", 123, 46);...a
0660: 73 73 65 72 74 5f 6c 74 28 20 70 2c 20 71 20 29 ssert_lt( p, q )
0670: 3b 0d 0a 09 61 73 73 65 72 74 5f 6e 65 28 20 70 ;...assert_ne( p
0680: 2c 20 71 20 29 3b 0d 0a 7d 0a 0a 2f 2f 2f 20 52 , q );..}../// R
0690: 65 70 72 65 73 65 6e 74 73 20 61 20 6c 65 78 65 epresents a lexe
06a0: 72 20 74 6f 6b 65 6e 0a 0a 63 6c 61 73 73 20 54 r token..class T
06b0: 6f 6b 65 6e 0a 7b 0a 09 69 6d 6d 75 74 61 62 6c oken.{..immutabl
06c0: 65 20 4c 65 78 50 6f 73 69 74 69 6f 6e 20 70 6f e LexPosition po
06d0: 73 3b 20 20 20 20 2f 2f 2f 20 50 6f 73 69 74 69 s; /// Positi
06e0: 6f 6e 20 77 68 65 72 65 20 74 68 65 20 74 6f 6b on where the tok
06f0: 65 6e 20 6f 63 63 75 72 72 65 64 20 69 6e 20 74 en occurred in t
0700: 68 65 20 73 6f 75 72 63 65 0a 09 69 6d 6d 75 74 he source..immut
0710: 61 62 6c 65 20 73 74 72 69 6e 67 20 20 20 20 20 able string
0720: 20 73 74 72 3b 20 20 20 20 2f 2f 2f 20 54 68 65 str; /// The
0730: 20 74 6f 6b 65 6e 20 73 74 72 69 6e 67 20 69 74 token string it
0740: 73 65 6c 66 0a 09 69 6d 6d 75 74 61 62 6c 65 20 self..immutable
0750: 62 6f 6f 6c 20 20 20 20 20 20 20 20 71 75 6f 74 bool quot
0760: 65 64 3b 20 2f 2f 2f 20 57 61 73 20 69 74 20 61 ed; /// Was it a
0770: 20 22 71 75 6f 74 65 64 22 20 74 6f 6b 65 6e 20 "quoted" token
0780: 6f 72 20 75 6e 71 75 6f 74 65 64 3f 0a 0a 09 6d or unquoted?...m
0790: 69 78 69 6e 20 53 69 6d 70 6c 65 43 6c 61 73 73 ixin SimpleClass
07a0: 3b 0a 7d 0a 0a 75 6e 69 74 74 65 73 74 0a 7b 0a ;.}..unittest.{.
07b0: 09 61 75 74 6f 20 70 20 3d 20 6e 65 77 20 69 6d .auto p = new im
07c0: 6d 75 74 61 62 6c 65 28 4c 65 78 50 6f 73 69 74 mutable(LexPosit
07d0: 69 6f 6e 29 28 22 68 65 6c 6c 6f 2e 63 70 70 22 ion)("hello.cpp"
07e0: 2c 20 31 32 33 2c 20 34 35 29 3b 0a 09 61 75 74 , 123, 45);..aut
07f0: 6f 20 74 20 3d 20 6e 65 77 20 54 6f 6b 65 6e 28 o t = new Token(
0800: 70 2c 20 22 63 6c 61 73 73 22 2c 20 66 61 6c 73 p, "class", fals
0810: 65 29 3b 0a 09 61 75 74 6f 20 75 20 3d 20 6e 65 e);..auto u = ne
0820: 77 20 54 6f 6b 65 6e 28 70 2c 20 22 63 6c 61 73 w Token(p, "clas
0830: 73 22 2c 20 74 72 75 65 29 3b 0a 0a 09 61 73 73 s", true);...ass
0840: 65 72 74 5f 65 71 28 20 74 2e 70 6f 73 2c 20 70 ert_eq( t.pos, p
0850: 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 );..assert_eq(
0860: 74 2e 73 74 72 2c 20 22 63 6c 61 73 73 22 20 29 t.str, "class" )
0870: 3b 0a 09 61 73 73 65 72 74 28 20 21 74 2e 71 75 ;..assert( !t.qu
0880: 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f oted );..assert_
0890: 65 71 28 20 74 2c 20 6e 65 77 20 54 6f 6b 65 6e eq( t, new Token
08a0: 28 70 2c 20 22 63 6c 61 73 73 22 2c 20 66 61 6c (p, "class", fal
08b0: 73 65 29 20 29 3b 0a 09 61 73 73 65 72 74 5f 6c se) );..assert_l
08c0: 74 28 20 74 2c 20 6e 65 77 20 54 6f 6b 65 6e 28 t( t, new Token(
08d0: 70 2c 20 22 73 74 72 75 63 74 22 2c 20 66 61 6c p, "struct", fal
08e0: 73 65 29 20 29 3b 0a 09 61 73 73 65 72 74 5f 6e se) );..assert_n
08f0: 65 28 20 74 2c 20 75 20 29 3b 0a 09 61 73 73 65 e( t, u );..asse
0900: 72 74 28 20 75 2e 71 75 6f 74 65 64 20 29 3b 0a rt( u.quoted );.
0910: 0a 09 61 73 73 65 72 74 28 20 21 5f 5f 74 72 61 ..assert( !__tra
0920: 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 6e 65 its(compiles, ne
0930: 77 20 54 6f 6b 65 6e 29 20 29 3b 0a 09 61 73 73 w Token) );..ass
0940: 65 72 74 28 20 21 5f 5f 74 72 61 69 74 73 28 63 ert( !__traits(c
0950: 6f 6d 70 69 6c 65 73 2c 20 74 2e 70 6f 73 3d 70 ompiles, t.pos=p
0960: 29 20 29 3b 0a 09 61 73 73 65 72 74 28 20 21 5f ) );..assert( !_
0970: 5f 74 72 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 _traits(compiles
0980: 2c 20 74 2e 73 74 72 3d 37 38 39 29 20 29 3b 0a , t.str=789) );.
0990: 09 61 73 73 65 72 74 28 20 21 5f 5f 74 72 61 69 .assert( !__trai
09a0: 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 74 2e 71 ts(compiles, t.q
09b0: 75 6f 74 65 64 3d 74 72 75 65 29 20 29 3b 0a 7d uoted=true) );.}
09c0: 0a 0a 2f 2f 2f 20 4e 61 6d 65 64 20 43 6f 6e 73 ../// Named Cons
09d0: 74 72 75 74 6f 72 73 20 66 6f 72 20 4c 65 78 65 trutors for Lexe
09e0: 72 0a 0a 4c 65 78 65 72 20 6c 65 78 65 72 46 72 r..Lexer lexerFr
09f0: 6f 6d 46 69 6c 65 28 54 2e 2e 2e 29 28 20 73 74 omFile(T...)( st
0a00: 72 69 6e 67 20 66 69 6c 65 6e 61 6d 65 2c 20 54 ring filename, T
0a10: 20 6c 6e 5f 63 6e 20 29 0a 7b 0a 09 72 65 74 75 ln_cn ).{..retu
0a20: 72 6e 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 rn lexerFromStri
0a30: 6e 67 28 20 73 74 64 2e 66 69 6c 65 2e 72 65 61 ng( std.file.rea
0a40: 64 54 65 78 74 28 66 69 6c 65 6e 61 6d 65 29 2c dText(filename),
0a50: 20 66 69 6c 65 6e 61 6d 65 2c 20 6c 6e 5f 63 6e filename, ln_cn
0a60: 20 29 3b 0a 7d 0a 09 0a 2f 2f 2f 20 4e 61 6d 65 );.}.../// Name
0a70: 64 20 43 6f 6e 73 74 72 75 74 6f 72 20 66 6f 72 d Construtor for
0a80: 20 4c 65 78 65 72 0d 0a 0d 0a 4c 65 78 65 72 54 Lexer....LexerT
0a90: 21 28 50 6f 73 69 74 69 6f 6e 65 64 52 65 61 64 !(PositionedRead
0aa0: 65 72 21 43 68 61 72 53 65 71 29 20 2f 2a 20 64 er!CharSeq) /* d
0ab0: 64 6f 63 20 64 6f 65 73 6e 27 74 20 72 65 63 6f doc doesn't reco
0ac0: 67 6e 69 7a 65 20 61 75 74 6f 20 72 65 74 75 72 gnize auto retur
0ad0: 6e 2e 2e 2e 20 62 75 67 7a 69 6c 6c 61 3a 32 35 n... bugzilla:25
0ae0: 38 31 20 2a 2f 0d 0a 6c 65 78 65 72 46 72 6f 6d 81 */..lexerFrom
0af0: 53 74 72 69 6e 67 28 43 68 61 72 53 65 71 29 28 String(CharSeq)(
0b00: 20 43 68 61 72 53 65 71 20 73 74 72 2c 20 73 74 CharSeq str, st
0b10: 72 69 6e 67 20 66 69 6c 65 6e 61 6d 65 3d 22 3c ring filename="<
0b20: 75 6e 6e 61 6d 65 64 3e 22 2c 20 69 6e 74 20 6c unnamed>", int l
0b30: 69 6e 65 6e 6f 3d 31 2c 20 69 6e 74 20 63 6f 6c ineno=1, int col
0b40: 75 6d 6e 3d 31 20 29 0a 7b 0a 20 09 72 65 74 75 umn=1 ).{. .retu
0b50: 72 6e 20 6e 65 77 20 4c 65 78 65 72 54 21 28 50 rn new LexerT!(P
0b60: 6f 73 69 74 69 6f 6e 65 64 52 65 61 64 65 72 21 ositionedReader!
0b70: 43 68 61 72 53 65 71 29 28 0d 0a 09 09 50 6f 73 CharSeq)(....Pos
0b80: 69 74 69 6f 6e 65 64 52 65 61 64 65 72 21 43 68 itionedReader!Ch
0b90: 61 72 53 65 71 28 73 74 72 2c 20 66 69 6c 65 6e arSeq(str, filen
0ba0: 61 6d 65 2c 20 6c 69 6e 65 6e 6f 2c 20 63 6f 6c ame, lineno, col
0bb0: 75 6d 6e 29 0d 0a 09 29 3b 0a 7d 0a 0a 2f 2f 2f umn)...);.}..///
0bc0: 20 53 74 61 6e 64 61 72 64 20 4c 65 78 65 72 20 Standard Lexer
0bd0: 54 79 70 65 20 28 61 6c 6c 20 79 6f 75 20 68 61 Type (all you ha
0be0: 76 65 20 74 6f 20 6b 6e 6f 77 20 69 73 20 74 68 ve to know is th
0bf0: 61 74 20 74 68 69 73 20 69 73 20 61 20 66 6f 72 at this is a for
0c00: 77 61 72 64 20 72 61 6e 67 65 20 6f 66 20 54 6f ward range of To
0c10: 6b 65 6e 73 21 29 0d 0a 0d 0a 61 6c 69 61 73 20 kens!)....alias
0c20: 4c 65 78 65 72 54 21 28 50 6f 73 69 74 69 6f 6e LexerT!(Position
0c30: 65 64 52 65 61 64 65 72 21 73 74 72 69 6e 67 29 edReader!string)
0c40: 20 4c 65 78 65 72 3b 0a 0a 2f 2f 2f 20 4c 65 78 Lexer;../// Lex
0c50: 65 72 20 49 6d 70 6c 65 6d 65 6e 74 61 74 69 6f er Implementatio
0c60: 6e 0d 0a 0d 0a 63 6c 61 73 73 20 4c 65 78 65 72 n....class Lexer
0c70: 54 28 52 65 61 64 65 72 29 0d 0a 09 69 66 28 20 T(Reader)...if(
0c80: 69 73 46 6f 72 77 61 72 64 52 61 6e 67 65 21 28 isForwardRange!(
0c90: 52 65 61 64 65 72 29 20 26 26 20 69 73 28 45 6c Reader) && is(El
0ca0: 65 6d 65 6e 74 54 79 70 65 21 28 52 65 61 64 65 ementType!(Reade
0cb0: 72 29 3d 3d 64 63 68 61 72 29 20 29 0a 7b 0a 09 r)==dchar) ).{..
0cc0: 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 6d 69 74 /// Range primit
0cd0: 69 76 65 0a 09 62 6f 6f 6c 20 65 6d 70 74 79 28 ive..bool empty(
0ce0: 29 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0a ) /*@property*/.
0cf0: 09 7b 0a 09 09 72 65 74 75 72 6e 20 63 75 72 72 .{...return curr
0d00: 65 6e 74 20 69 73 20 6e 75 6c 6c 3b 0a 09 7d 0a ent is null;..}.
0d10: 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 6d ../// Range prim
0d20: 69 74 69 76 65 0a 09 54 6f 6b 65 6e 20 66 72 6f itive..Token fro
0d30: 6e 74 28 29 20 2f 2a 40 70 72 6f 70 65 72 74 79 nt() /*@property
0d40: 2a 2f 0a 09 7b 0a 09 09 72 65 74 75 72 6e 20 73 */..{...return s
0d50: 74 64 2e 65 78 63 65 70 74 69 6f 6e 2e 65 6e 66 td.exception.enf
0d60: 6f 72 63 65 28 63 75 72 72 65 6e 74 2c 20 22 4c orce(current, "L
0d70: 65 78 65 72 20 68 61 73 20 61 6c 72 65 61 64 79 exer has already
0d80: 20 72 65 61 63 68 65 64 20 74 68 65 20 65 6e 64 reached the end
0d90: 22 29 3b 0a 09 7d 0a 0a 09 2f 2f 2f 20 52 61 6e ");..}.../// Ran
0da0: 67 65 20 70 72 69 6d 69 74 69 76 65 0a 09 76 6f ge primitive..vo
0db0: 69 64 20 70 6f 70 46 72 6f 6e 74 28 29 20 2f 2a id popFront() /*
0dc0: 40 70 72 6f 70 65 72 74 79 2a 2f 0a 09 7b 0a 09 @property*/..{..
0dd0: 09 73 74 64 2e 65 78 63 65 70 74 69 6f 6e 2e 65 .std.exception.e
0de0: 6e 66 6f 72 63 65 28 63 75 72 72 65 6e 74 2c 20 nforce(current,
0df0: 22 4c 65 78 65 72 20 68 61 73 20 61 6c 72 65 61 "Lexer has alrea
0e00: 64 79 20 72 65 61 63 68 65 64 20 74 68 65 20 65 dy reached the e
0e10: 6e 64 22 29 3b 0a 09 09 63 75 72 72 65 6e 74 20 nd");...current
0e20: 3d 20 72 65 61 64 4e 65 78 74 28 29 3b 0a 09 7d = readNext();..}
0e30: 0a 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 .../// Range pri
0e40: 6d 69 74 69 76 65 0a 09 74 79 70 65 6f 66 28 74 mitive..typeof(t
0e50: 68 69 73 29 20 73 61 76 65 28 29 20 2f 2a 40 70 his) save() /*@p
0e60: 72 6f 70 65 72 74 79 2a 2f 0a 09 7b 0a 09 09 72 roperty*/..{...r
0e70: 65 74 75 72 6e 20 6e 65 77 20 74 79 70 65 6f 66 eturn new typeof
0e80: 28 74 68 69 73 29 28 72 65 61 64 65 72 2e 73 61 (this)(reader.sa
0e90: 76 65 2c 20 63 75 72 72 65 6e 74 29 3b 0a 09 7d ve, current);..}
0ea0: 0a 0a 70 72 69 76 61 74 65 3a 20 2f 2f 20 69 6d ..private: // im
0eb0: 70 6c 65 6d 65 6e 74 61 74 69 6f 6e 0a 0a 09 52 plementation...R
0ec0: 65 61 64 65 72 20 72 65 61 64 65 72 3b 0a 09 54 eader reader;..T
0ed0: 6f 6b 65 6e 20 20 63 75 72 72 65 6e 74 3b 0a 0a oken current;..
0ee0: 09 69 6e 76 61 72 69 61 6e 74 28 29 0a 09 7b 0a .invariant()..{.
0ef0: 09 09 61 73 73 65 72 74 28 20 72 65 61 64 65 72 ..assert( reader
0f00: 2e 65 6d 70 74 79 20 7c 7c 20 21 69 73 53 70 61 .empty || !isSpa
0f10: 63 65 28 72 65 61 64 65 72 2e 66 72 6f 6e 74 29 ce(reader.front)
0f20: 20 29 3b 0a 09 7d 0d 0a 0d 0a 09 74 68 69 73 28 );..}.....this(
0f30: 20 52 65 61 64 65 72 20 72 65 61 64 65 72 2c 20 Reader reader,
0f40: 54 6f 6b 65 6e 20 63 75 72 72 65 6e 74 20 3d 20 Token current =
0f50: 6e 75 6c 6c 20 29 0d 0a 09 7b 0d 0a 09 09 74 68 null )...{....th
0f60: 69 73 2e 72 65 61 64 65 72 20 3d 20 72 65 61 64 is.reader = read
0f70: 65 72 3b 0d 0a 09 09 72 65 61 64 57 68 69 6c 65 er;....readWhile
0f80: 21 69 73 53 70 61 63 65 28 29 3b 0d 0a 09 09 74 !isSpace();....t
0f90: 68 69 73 2e 63 75 72 72 65 6e 74 20 3d 20 28 63 his.current = (c
0fa0: 75 72 72 65 6e 74 20 69 73 20 6e 75 6c 6c 20 3f urrent is null ?
0fb0: 20 72 65 61 64 4e 65 78 74 28 29 20 3a 20 63 75 readNext() : cu
0fc0: 72 72 65 6e 74 29 3b 0d 0a 09 7d 0d 0a 0d 0a 09 rrent);...}.....
0fd0: 70 75 62 6c 69 63 20 73 74 61 74 69 63 0d 0a 09 public static...
0fe0: 7b 0a 09 09 62 6f 6f 6c 20 69 73 53 70 61 63 65 {...bool isSpace
0ff0: 20 20 20 28 64 63 68 61 72 20 63 29 20 7b 20 72 (dchar c) { r
1000: 65 74 75 72 6e 20 73 74 64 2e 63 74 79 70 65 2e eturn std.ctype.
1010: 69 73 73 70 61 63 65 28 63 29 21 3d 30 3b 20 7d isspace(c)!=0; }
1020: 0a 09 09 62 6f 6f 6c 20 69 73 53 79 6d 62 6f 6c ...bool isSymbol
1030: 20 20 28 64 63 68 61 72 20 63 29 20 7b 20 72 65 (dchar c) { re
1040: 74 75 72 6e 20 30 78 32 31 3c 3d 63 20 26 26 20 turn 0x21<=c &&
1050: 63 3c 3d 30 78 37 66 20 26 26 20 21 73 74 64 2e c<=0x7f && !std.
1060: 63 74 79 70 65 2e 69 73 61 6c 6e 75 6d 28 63 29 ctype.isalnum(c)
1070: 20 26 26 20 63 21 3d 27 5f 27 20 26 26 20 63 21 && c!='_' && c!
1080: 3d 27 5c 27 27 3b 20 7d 0d 0a 09 09 62 6f 6f 6c ='\''; }....bool
1090: 20 69 73 53 53 79 6d 62 6f 6c 20 28 64 63 68 61 isSSymbol (dcha
10a0: 72 20 63 29 20 7b 20 72 65 74 75 72 6e 20 22 28 r c) { return "(
10b0: 29 5b 5d 7b 7d 3b 40 22 2e 63 61 6e 46 69 6e 64 )[]{};@".canFind
10c0: 28 63 29 3b 20 7d 0d 0a 09 09 62 6f 6f 6c 20 69 (c); }....bool i
10d0: 73 4d 53 79 6d 62 6f 6c 20 28 64 63 68 61 72 20 sMSymbol (dchar
10e0: 63 29 20 7b 20 72 65 74 75 72 6e 20 69 73 53 79 c) { return isSy
10f0: 6d 62 6f 6c 28 63 29 20 26 26 20 21 69 73 53 53 mbol(c) && !isSS
1100: 79 6d 62 6f 6c 28 63 29 20 26 26 20 63 21 3d 27 ymbol(c) && c!='
1110: 22 27 20 26 26 20 63 21 3d 27 23 27 3b 20 7d 0d "' && c!='#'; }.
1120: 0a 09 09 62 6f 6f 6c 20 69 73 4c 65 74 74 65 72 ...bool isLetter
1130: 20 20 28 64 63 68 61 72 20 63 29 20 7b 20 72 65 (dchar c) { re
1140: 74 75 72 6e 20 21 69 73 53 70 61 63 65 28 63 29 turn !isSpace(c)
1150: 20 26 26 20 21 69 73 53 79 6d 62 6f 6c 28 63 29 && !isSymbol(c)
1160: 3b 20 7d 0d 0a 09 7d 0d 0a 0d 0a 09 73 74 72 69 ; }...}.....stri
1170: 6e 67 20 72 65 61 64 51 75 6f 74 65 64 28 63 6f ng readQuoted(co
1180: 6e 73 74 20 4c 65 78 50 6f 73 69 74 69 6f 6e 20 nst LexPosition
1190: 70 6f 73 29 7b 63 68 61 72 5b 5d 20 62 75 66 3b pos){char[] buf;
11a0: 20 72 65 74 75 72 6e 20 72 65 61 64 51 75 6f 74 return readQuot
11b0: 65 64 28 70 6f 73 2c 62 75 66 29 3b 7d 0d 0a 09 ed(pos,buf);}...
11c0: 73 74 72 69 6e 67 20 72 65 61 64 51 75 6f 74 65 string readQuote
11d0: 64 28 63 6f 6e 73 74 20 4c 65 78 50 6f 73 69 74 d(const LexPosit
11e0: 69 6f 6e 20 70 6f 73 2c 20 72 65 66 20 63 68 61 ion pos, ref cha
11f0: 72 5b 5d 20 62 75 66 29 0d 0a 09 7b 0d 0a 09 09 r[] buf)...{....
1200: 69 66 28 20 72 65 61 64 65 72 2e 65 6d 70 74 79 if( reader.empty
1210: 20 29 0d 0a 09 09 09 74 68 72 6f 77 20 67 65 6e ).....throw gen
1220: 65 78 21 55 6e 65 78 70 65 63 74 65 64 45 4f 46 ex!UnexpectedEOF
1230: 28 70 6f 73 2c 20 22 51 75 6f 74 65 64 20 73 74 (pos, "Quoted st
1240: 72 69 6e 67 20 6e 6f 74 20 74 65 72 6d 69 6e 61 ring not termina
1250: 74 65 64 22 29 3b 0d 0a 09 09 64 63 68 61 72 20 ted");....dchar
1260: 63 20 3d 20 72 65 61 64 65 72 2e 66 72 6f 6e 74 c = reader.front
1270: 3b 0d 0a 09 09 72 65 61 64 65 72 2e 70 6f 70 46 ;....reader.popF
1280: 72 6f 6e 74 3b 0d 0a 09 09 69 66 28 20 63 20 3d ront;....if( c =
1290: 3d 20 27 22 27 20 29 0d 0a 09 09 09 72 65 74 75 = '"' ).....retu
12a0: 72 6e 20 61 73 73 75 6d 65 55 6e 69 71 75 65 28 rn assumeUnique(
12b0: 62 75 66 29 3b 0d 0a 09 09 69 66 28 20 63 20 3d buf);....if( c =
12c0: 3d 20 27 5c 5c 27 20 26 26 20 21 72 65 61 64 65 = '\\' && !reade
12d0: 72 2e 65 6d 70 74 79 20 29 20 7b 0d 0a 09 09 09 r.empty ) {.....
12e0: 69 66 28 20 72 65 61 64 65 72 2e 66 72 6f 6e 74 if( reader.front
12f0: 3d 3d 27 22 27 20 29 20 7b 0d 0a 09 09 09 09 72 =='"' ) {......r
1300: 65 61 64 65 72 2e 70 6f 70 46 72 6f 6e 74 3b 0d eader.popFront;.
1310: 0a 09 09 09 09 72 65 74 75 72 6e 20 72 65 61 64 .....return read
1320: 51 75 6f 74 65 64 28 70 6f 73 2c 62 75 66 20 7e Quoted(pos,buf ~
1330: 3d 20 27 5c 22 27 29 3b 0d 0a 09 09 09 7d 0d 0a = '\"');.....}..
1340: 09 09 09 69 66 28 20 72 65 61 64 65 72 2e 66 72 ...if( reader.fr
1350: 6f 6e 74 3d 3d 27 5c 5c 27 20 29 20 7b 0d 0a 09 ont=='\\' ) {...
1360: 09 09 09 72 65 61 64 65 72 2e 70 6f 70 46 72 6f ...reader.popFro
1370: 6e 74 3b 0d 0a 09 09 09 09 72 65 74 75 72 6e 20 nt;......return
1380: 72 65 61 64 51 75 6f 74 65 64 28 70 6f 73 2c 62 readQuoted(pos,b
1390: 75 66 20 7e 3d 20 27 5c 5c 27 29 3b 0d 0a 09 09 uf ~= '\\');....
13a0: 09 7d 0d 0a 09 09 7d 0d 0a 09 09 72 65 74 75 72 .}....}....retur
13b0: 6e 20 72 65 61 64 51 75 6f 74 65 64 28 70 6f 73 n readQuoted(pos
13c0: 2c 62 75 66 20 7e 3d 20 63 29 3b 0d 0a 09 7d 0d ,buf ~= c);...}.
13d0: 0a 0d 0a 09 73 74 72 69 6e 67 20 72 65 61 64 57 ....string readW
13e0: 68 69 6c 65 28 61 6c 69 61 73 20 66 6e 29 28 29 hile(alias fn)()
13f0: 0d 0a 09 7b 0d 0a 09 09 63 68 61 72 5b 5d 20 62 ...{....char[] b
1400: 75 66 3b 0d 0a 09 09 66 6f 72 28 3b 20 21 72 65 uf;....for(; !re
1410: 61 64 65 72 2e 65 6d 70 74 79 20 26 26 20 66 6e ader.empty && fn
1420: 28 72 65 61 64 65 72 2e 66 72 6f 6e 74 29 3b 20 (reader.front);
1430: 72 65 61 64 65 72 2e 70 6f 70 46 72 6f 6e 74 29 reader.popFront)
1440: 0d 0a 09 09 09 62 75 66 20 7e 3d 20 72 65 61 64 .....buf ~= read
1450: 65 72 2e 66 72 6f 6e 74 3b 0d 0a 09 09 72 65 74 er.front;....ret
1460: 75 72 6e 20 61 73 73 75 6d 65 55 6e 69 71 75 65 urn assumeUnique
1470: 28 62 75 66 29 3b 0d 0a 09 7d 0a 0a 09 54 6f 6b (buf);...}...Tok
1480: 65 6e 20 72 65 61 64 4e 65 78 74 28 29 0a 09 7b en readNext()..{
1490: 0a 09 09 69 66 28 20 72 65 61 64 65 72 2e 65 6d ...if( reader.em
14a0: 70 74 79 20 29 0a 09 09 09 72 65 74 75 72 6e 20 pty )....return
14b0: 6e 75 6c 6c 3b 0d 0a 09 09 73 63 6f 70 65 28 73 null;....scope(s
14c0: 75 63 63 65 73 73 29 0d 0a 09 09 09 72 65 61 64 uccess).....read
14d0: 57 68 69 6c 65 21 69 73 53 70 61 63 65 28 29 3b While!isSpace();
14e0: 0d 0a 09 09 69 66 28 20 72 65 61 64 65 72 2e 66 ....if( reader.f
14f0: 72 6f 6e 74 20 3d 3d 20 27 23 27 20 29 20 2f 2f ront == '#' ) //
1500: 20 63 6f 6d 6d 65 6e 74 0d 0a 09 09 7b 0d 0a 09 comment....{...
1510: 09 09 72 65 61 64 65 72 20 3d 20 66 69 6e 64 28 ..reader = find(
1520: 72 65 61 64 65 72 2c 20 27 5c 6e 27 29 3b 0d 0a reader, '\n');..
1530: 09 09 09 72 65 61 64 57 68 69 6c 65 21 69 73 53 ...readWhile!isS
1540: 70 61 63 65 28 29 3b 0d 0a 09 09 09 72 65 74 75 pace();.....retu
1550: 72 6e 20 72 65 61 64 4e 65 78 74 28 29 3b 0d 0a rn readNext();..
1560: 09 09 7d 0a 09 09 65 6c 73 65 20 69 66 28 20 72 ..}...else if( r
1570: 65 61 64 65 72 2e 66 72 6f 6e 74 20 3d 3d 20 27 eader.front == '
1580: 22 27 20 29 20 2f 2f 20 71 75 6f 74 65 64 0d 0a "' ) // quoted..
1590: 09 09 7b 0d 0a 09 09 09 61 75 74 6f 20 70 6f 73 ..{.....auto pos
15a0: 20 3d 20 72 65 61 64 65 72 2e 63 75 72 72 65 6e = reader.curren
15b0: 74 50 6f 73 69 74 69 6f 6e 28 29 3b 0d 0a 09 09 tPosition();....
15c0: 09 72 65 61 64 65 72 2e 70 6f 70 46 72 6f 6e 74 .reader.popFront
15d0: 3b 0d 0a 09 09 09 72 65 74 75 72 6e 20 6e 65 77 ;.....return new
15e0: 20 54 6f 6b 65 6e 28 70 6f 73 2c 20 72 65 61 64 Token(pos, read
15f0: 51 75 6f 74 65 64 28 70 6f 73 29 2c 20 74 72 75 Quoted(pos), tru
1600: 65 29 3b 0d 0a 09 09 7d 0d 0a 09 09 65 6c 73 65 e);....}....else
1610: 20 69 66 28 20 69 73 53 53 79 6d 62 6f 6c 28 72 if( isSSymbol(r
1620: 65 61 64 65 72 2e 66 72 6f 6e 74 29 20 29 20 2f eader.front) ) /
1630: 2f 20 70 61 72 65 6e 0d 0a 09 09 7b 0d 0a 09 09 / paren....{....
1640: 09 61 75 74 6f 20 70 6f 73 20 3d 20 72 65 61 64 .auto pos = read
1650: 65 72 2e 63 75 72 72 65 6e 74 50 6f 73 69 74 69 er.currentPositi
1660: 6f 6e 28 29 3b 0d 0a 09 09 09 73 74 72 69 6e 67 on();.....string
1670: 20 73 3b 20 73 7e 3d 72 65 61 64 65 72 2e 66 72 s; s~=reader.fr
1680: 6f 6e 74 3b 20 72 65 61 64 65 72 2e 70 6f 70 46 ont; reader.popF
1690: 72 6f 6e 74 3b 0d 0a 09 09 09 72 65 74 75 72 6e ront;.....return
16a0: 20 6e 65 77 20 54 6f 6b 65 6e 28 70 6f 73 2c 20 new Token(pos,
16b0: 73 2c 20 66 61 6c 73 65 29 3b 0d 0a 09 09 7d 0d s, false);....}.
16c0: 0a 09 09 65 6c 73 65 20 69 66 28 20 69 73 4d 53 ...else if( isMS
16d0: 79 6d 62 6f 6c 28 72 65 61 64 65 72 2e 66 72 6f ymbol(reader.fro
16e0: 6e 74 29 20 29 20 2f 2f 20 73 79 6d 62 6f 6c 0d nt) ) // symbol.
16f0: 0a 09 09 7b 0a 09 09 09 61 75 74 6f 20 70 6f 73 ...{....auto pos
1700: 20 3d 20 72 65 61 64 65 72 2e 63 75 72 72 65 6e = reader.curren
1710: 74 50 6f 73 69 74 69 6f 6e 28 29 3b 0a 09 09 09 tPosition();....
1720: 72 65 74 75 72 6e 20 6e 65 77 20 54 6f 6b 65 6e return new Token
1730: 28 70 6f 73 2c 20 72 65 61 64 57 68 69 6c 65 21 (pos, readWhile!
1740: 69 73 4d 53 79 6d 62 6f 6c 28 29 2c 20 66 61 6c isMSymbol(), fal
1750: 73 65 29 3b 0a 09 09 7d 0a 09 09 65 6c 73 65 0a se);...}...else.
1760: 09 09 7b 0a 09 09 09 61 75 74 6f 20 70 6f 73 20 ..{....auto pos
1770: 3d 20 72 65 61 64 65 72 2e 63 75 72 72 65 6e 74 = reader.current
1780: 50 6f 73 69 74 69 6f 6e 28 29 3b 0d 0a 09 09 09 Position();.....
1790: 72 65 74 75 72 6e 20 6e 65 77 20 54 6f 6b 65 6e return new Token
17a0: 28 70 6f 73 2c 20 72 65 61 64 57 68 69 6c 65 21 (pos, readWhile!
17b0: 69 73 4c 65 74 74 65 72 28 29 2c 20 66 61 6c 73 isLetter(), fals
17c0: 65 29 3b 0d 0a 09 09 7d 0a 09 7d 0a 7d 0a 0a 75 e);....}..}.}..u
17d0: 6e 69 74 74 65 73 74 0a 7b 0a 09 61 73 73 65 72 nittest.{..asser
17e0: 74 28 20 73 74 64 2e 72 61 6e 67 65 2e 69 73 46 t( std.range.isF
17f0: 6f 72 77 61 72 64 52 61 6e 67 65 21 28 4c 65 78 orwardRange!(Lex
1800: 65 72 29 20 29 3b 0a 09 61 73 73 65 72 74 28 20 er) );..assert(
1810: 69 73 28 45 6c 65 6d 65 6e 74 54 79 70 65 21 28 is(ElementType!(
1820: 4c 65 78 65 72 29 20 3d 3d 20 54 6f 6b 65 6e 29 Lexer) == Token)
1830: 20 29 3b 0d 0a 7d 0a 0a 75 6e 69 74 74 65 73 74 );..}..unittest
1840: 0a 7b 0a 09 61 75 74 6f 20 6c 65 78 20 3d 20 6c .{..auto lex = l
1850: 65 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 22 exerFromString("
1860: 74 68 69 73 09 69 73 20 61 20 5c 74 5c 72 5c 6e this.is a \t\r\n
1870: 20 70 65 6e 20 3a 2d 28 20 40 40 3b 20 20 22 29 pen :-( @@; ")
1880: 3b 0a 09 54 6f 6b 65 6e 5b 5d 20 74 73 20 3d 20 ;..Token[] ts =
1890: 73 74 64 2e 61 72 72 61 79 2e 61 72 72 61 79 28 std.array.array(
18a0: 6c 65 78 29 3b 0a 0a 09 61 73 73 65 72 74 5f 65 lex);...assert_e
18b0: 71 28 20 74 73 5b 30 5d 2e 70 6f 73 2e 6c 69 6e q( ts[0].pos.lin
18c0: 65 6e 6f 2c 20 31 20 29 3b 0a 09 61 73 73 65 72 eno, 1 );..asser
18d0: 74 5f 65 71 28 20 74 73 5b 30 5d 2e 70 6f 73 2e t_eq( ts[0].pos.
18e0: 63 6f 6c 75 6d 6e 2c 20 31 20 29 3b 0a 09 61 73 column, 1 );..as
18f0: 73 65 72 74 28 20 20 20 21 74 73 5b 30 5d 2e 71 sert( !ts[0].q
1900: 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 uoted );..assert
1910: 5f 65 71 28 20 74 73 5b 30 5d 2e 73 74 72 2c 20 _eq( ts[0].str,
1920: 22 74 68 69 73 22 20 29 3b 0a 0a 09 61 73 73 65 "this" );...asse
1930: 72 74 5f 65 71 28 20 74 73 5b 31 5d 2e 70 6f 73 rt_eq( ts[1].pos
1940: 2e 6c 69 6e 65 6e 6f 2c 20 31 20 29 3b 0a 09 61 .lineno, 1 );..a
1950: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 31 5d 2e ssert_eq( ts[1].
1960: 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 36 20 29 3b pos.column, 6 );
1970: 0a 09 61 73 73 65 72 74 28 20 20 20 21 74 73 5b ..assert( !ts[
1980: 31 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 1].quoted );..as
1990: 73 65 72 74 5f 65 71 28 20 74 73 5b 31 5d 2e 73 sert_eq( ts[1].s
19a0: 74 72 2c 20 22 69 73 22 20 29 3b 0a 0a 09 61 73 tr, "is" );...as
19b0: 73 65 72 74 5f 65 71 28 20 74 73 5b 32 5d 2e 70 sert_eq( ts[2].p
19c0: 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 31 20 29 3b 0a os.lineno, 1 );.
19d0: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 32 .assert_eq( ts[2
19e0: 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 39 20 ].pos.column, 9
19f0: 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 21 74 );..assert( !t
1a00: 73 5b 32 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 s[2].quoted );..
1a10: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 32 5d assert_eq( ts[2]
1a20: 2e 73 74 72 2c 20 22 61 22 20 29 3b 0a 0a 09 61 .str, "a" );...a
1a30: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 33 5d 2e ssert_eq( ts[3].
1a40: 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 32 20 29 3b pos.lineno, 2 );
1a50: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b ..assert_eq( ts[
1a60: 33 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 32 3].pos.column, 2
1a70: 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 21 );..assert( !
1a80: 74 73 5b 33 5d 2e 71 75 6f 74 65 64 20 29 3b 0a ts[3].quoted );.
1a90: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 33 .assert_eq( ts[3
1aa0: 5d 2e 73 74 72 2c 20 22 70 65 6e 22 20 29 3b 0a ].str, "pen" );.
1ab0: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b ..assert_eq( ts[
1ac0: 34 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 32 4].pos.lineno, 2
1ad0: 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 );..assert_eq(
1ae0: 74 73 5b 34 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e ts[4].pos.column
1af0: 2c 20 36 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 , 6 );..assert_e
1b00: 71 28 20 74 73 5b 34 5d 2e 73 74 72 2c 20 22 3a q( ts[4].str, ":
1b10: 2d 22 20 29 3b 0a 0a 09 61 73 73 65 72 74 5f 65 -" );...assert_e
1b20: 71 28 20 74 73 5b 35 5d 2e 70 6f 73 2e 6c 69 6e q( ts[5].pos.lin
1b30: 65 6e 6f 2c 20 32 20 29 3b 0d 0a 09 61 73 73 65 eno, 2 );...asse
1b40: 72 74 5f 65 71 28 20 74 73 5b 35 5d 2e 70 6f 73 rt_eq( ts[5].pos
1b50: 2e 63 6f 6c 75 6d 6e 2c 20 38 20 29 3b 0d 0a 09 .column, 8 );...
1b60: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 35 5d assert_eq( ts[5]
1b70: 2e 73 74 72 2c 20 22 28 22 20 29 3b 0d 0a 09 61 .str, "(" );...a
1b80: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 36 5d 2e ssert_eq( ts[6].
1b90: 73 74 72 2c 20 22 40 22 20 29 3b 0d 0a 09 61 73 str, "@" );...as
1ba0: 73 65 72 74 5f 65 71 28 20 74 73 5b 37 5d 2e 73 sert_eq( ts[7].s
1bb0: 74 72 2c 20 22 40 22 20 29 3b 0d 0a 09 61 73 73 tr, "@" );...ass
1bc0: 65 72 74 5f 65 71 28 20 74 73 5b 38 5d 2e 73 74 ert_eq( ts[8].st
1bd0: 72 2c 20 22 3b 22 20 29 3b 20 2f 2f 20 70 61 72 r, ";" ); // par
1be0: 65 6e 20 61 6e 64 20 73 69 6d 69 63 6f 6c 6f 6e en and simicolon
1bf0: 73 2c 20 61 74 6d 61 72 6b 73 20 61 72 65 20 73 s, atmarks are s
1c00: 70 6c 69 74 0d 0a 0d 0a 09 61 73 73 65 72 74 5f plit.....assert_
1c10: 65 71 28 20 74 73 2e 6c 65 6e 67 74 68 2c 20 39 eq( ts.length, 9
1c20: 20 29 3b 0a 7d 0a 0a 75 6e 69 74 74 65 73 74 0a );.}..unittest.
1c30: 7b 0a 09 2f 2f 20 21 21 20 62 65 20 73 75 72 65 {..// !! be sure
1c40: 20 74 6f 20 72 75 6e 20 74 68 65 20 75 6e 69 74 to run the unit
1c50: 74 65 73 74 20 6f 6e 20 74 68 65 20 72 6f 6f 74 test on the root
1c60: 20 6f 66 20 74 68 65 20 73 6f 75 72 63 65 20 64 of the source d
1c70: 69 72 65 63 74 6f 72 79 0a 09 61 75 74 6f 20 6c irectory..auto l
1c80: 65 78 66 20 3d 20 6c 65 78 65 72 46 72 6f 6d 46 exf = lexerFromF
1c90: 69 6c 65 28 22 70 6f 6c 65 6d 79 2f 6c 65 78 2e ile("polemy/lex.
1ca0: 64 22 29 3b 09 0a 09 6c 65 78 66 20 3d 20 66 69 d");...lexf = fi
1cb0: 6e 64 21 60 61 2e 73 74 72 20 3d 3d 20 22 6d 6f nd!`a.str == "mo
1cc0: 64 75 6c 65 22 60 28 6c 65 78 66 29 3b 0a 09 61 dule"`(lexf);..a
1cd0: 73 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 ssert_eq( lexf.f
1ce0: 72 6f 6e 74 2e 73 74 72 2c 20 22 6d 6f 64 75 6c ront.str, "modul
1cf0: 65 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 e" );..assert_eq
1d00: 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 ( lexf.front.pos
1d10: 2e 66 69 6c 65 6e 61 6d 65 2c 20 22 70 6f 6c 65 .filename, "pole
1d20: 6d 79 2f 6c 65 78 2e 64 22 20 29 3b 0a 09 61 73 my/lex.d" );..as
1d30: 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 sert_eq( lexf.fr
1d40: 6f 6e 74 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 ont.pos.lineno,
1d50: 37 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 7 );..assert_eq(
1d60: 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e lexf.front.pos.
1d70: 63 6f 6c 75 6d 6e 2c 20 31 20 29 3b 0a 09 6c 65 column, 1 );..le
1d80: 78 66 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 61 73 xf.popFront;..as
1d90: 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 sert_eq( lexf.fr
1da0: 6f 6e 74 2e 73 74 72 2c 20 22 70 6f 6c 65 6d 79 ont.str, "polemy
1db0: 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 " );..assert_eq(
1dc0: 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e lexf.front.pos.
1dd0: 6c 69 6e 65 6e 6f 2c 20 37 20 29 3b 0a 09 61 73 lineno, 7 );..as
1de0: 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 sert_eq( lexf.fr
1df0: 6f 6e 74 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 ont.pos.column,
1e00: 38 20 29 3b 0a 09 6c 65 78 66 2e 70 6f 70 46 72 8 );..lexf.popFr
1e10: 6f 6e 74 3b 0a 09 6c 65 78 66 2e 70 6f 70 46 72 ont;..lexf.popFr
1e20: 6f 6e 74 3b 0a 09 6c 65 78 66 2e 70 6f 70 46 72 ont;..lexf.popFr
1e30: 6f 6e 74 3b 0a 09 6c 65 78 66 2e 70 6f 70 46 72 ont;..lexf.popFr
1e40: 6f 6e 74 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 ont;..assert_eq(
1e50: 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 73 74 72 2c lexf.front.str,
1e60: 20 22 69 6d 70 6f 72 74 22 20 29 3b 0a 09 61 73 "import" );..as
1e70: 73 65 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 sert_eq( lexf.fr
1e80: 6f 6e 74 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 ont.pos.lineno,
1e90: 38 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 8 );..assert_eq(
1ea0: 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e lexf.front.pos.
1eb0: 63 6f 6c 75 6d 6e 2c 20 31 20 29 3b 0a 7d 0a 0d column, 1 );.}..
1ec0: 0a 75 6e 69 74 74 65 73 74 0d 0a 7b 0d 0a 09 61 .unittest..{...a
1ed0: 73 73 65 72 74 5f 74 68 72 6f 77 21 55 6e 65 78 ssert_throw!Unex
1ee0: 70 65 63 74 65 64 45 4f 46 28 20 6c 65 78 65 72 pectedEOF( lexer
1ef0: 46 72 6f 6d 53 74 72 69 6e 67 28 60 22 60 29 20 FromString(`"`)
1f00: 29 3b 0d 0a 7d 0d 0a 0a 75 6e 69 74 74 65 73 74 );..}...unittest
1f10: 0a 7b 0a 09 61 75 74 6f 20 6c 65 78 20 3d 20 6c .{..auto lex = l
1f20: 65 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 60 exerFromString(`
1f30: 6d 79 20 23 20 63 6f 6d 6d 65 6e 74 20 73 68 6f my # comment sho
1f40: 75 6c 64 60 7e 22 5c 72 5c 6e 22 7e 60 23 20 68 uld`~"\r\n"~`# h
1f50: 65 79 21 21 0a 62 65 20 69 67 6e 6f 72 65 64 2e ey!!.be ignored.
1f60: 0a 68 61 68 61 68 61 22 68 69 68 69 68 69 22 22 .hahaha"hihihi""
1f70: 68 75 5c 5c 5c 22 68 75 68 75 22 23 31 32 33 20 hu\\\"huhu"#123
1f80: 61 61 0a 31 32 33 20 61 61 20 22 61 61 61 60 7e aa.123 aa "aaa`~
1f90: 22 5c 6e 22 7e 60 62 62 62 20 23 20 31 32 33 60 "\n"~`bbb # 123`
1fa0: 7e 22 5c 72 5c 6e 22 7e 60 65 65 65 22 0a 7a 7a ~"\r\n"~`eee".zz
1fb0: 7a 0a 60 29 3b 0a 09 54 6f 6b 65 6e 5b 5d 20 74 z.`);..Token[] t
1fc0: 73 20 3d 20 73 74 64 2e 61 72 72 61 79 2e 61 72 s = std.array.ar
1fd0: 72 61 79 28 6c 65 78 29 3b 0a 09 61 73 73 65 72 ray(lex);..asser
1fe0: 74 5f 65 71 28 20 74 73 5b 30 5d 2e 73 74 72 2c t_eq( ts[0].str,
1ff0: 20 22 6d 79 22 20 29 3b 0a 09 61 73 73 65 72 74 "my" );..assert
2000: 5f 65 71 28 20 74 73 5b 30 5d 2e 70 6f 73 2e 6c _eq( ts[0].pos.l
2010: 69 6e 65 6e 6f 2c 20 31 20 29 3b 0a 09 61 73 73 ineno, 1 );..ass
2020: 65 72 74 28 20 20 20 21 74 73 5b 30 5d 2e 71 75 ert( !ts[0].qu
2030: 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f oted );..assert_
2040: 65 71 28 20 74 73 5b 31 5d 2e 73 74 72 2c 20 22 eq( ts[1].str, "
2050: 62 65 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 be" );..assert_e
2060: 71 28 20 74 73 5b 31 5d 2e 70 6f 73 2e 6c 69 6e q( ts[1].pos.lin
2070: 65 6e 6f 2c 20 33 20 29 3b 0a 09 61 73 73 65 72 eno, 3 );..asser
2080: 74 28 20 20 20 21 74 73 5b 31 5d 2e 71 75 6f 74 t( !ts[1].quot
2090: 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 ed );..assert_eq
20a0: 28 20 74 73 5b 32 5d 2e 73 74 72 2c 20 22 69 67 ( ts[2].str, "ig
20b0: 6e 6f 72 65 64 22 20 29 3b 0a 09 61 73 73 65 72 nored" );..asser
20c0: 74 28 20 20 20 21 74 73 5b 32 5d 2e 71 75 6f 74 t( !ts[2].quot
20d0: 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 ed );..assert_eq
20e0: 28 20 74 73 5b 33 5d 2e 73 74 72 2c 20 22 2e 22 ( ts[3].str, "."
20f0: 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 20 21 );..assert( !
2100: 74 73 5b 33 5d 2e 71 75 6f 74 65 64 20 29 3b 0a ts[3].quoted );.
2110: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 34 .assert_eq( ts[4
2120: 5d 2e 73 74 72 2c 20 22 68 61 68 61 68 61 22 20 ].str, "hahaha"
2130: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 );..assert_eq( t
2140: 73 5b 34 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c s[4].pos.lineno,
2150: 20 34 20 29 3b 0a 09 61 73 73 65 72 74 28 20 20 4 );..assert(
2160: 20 21 74 73 5b 34 5d 2e 71 75 6f 74 65 64 20 29 !ts[4].quoted )
2170: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 ;..assert_eq( ts
2180: 5b 35 5d 2e 73 74 72 2c 20 22 68 69 68 69 68 69 [5].str, "hihihi
2190: 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 " );..assert_eq(
21a0: 20 74 73 5b 35 5d 2e 70 6f 73 2e 6c 69 6e 65 6e ts[5].pos.linen
21b0: 6f 2c 20 34 20 29 3b 0a 09 61 73 73 65 72 74 28 o, 4 );..assert(
21c0: 20 20 20 20 74 73 5b 35 5d 2e 71 75 6f 74 65 64 ts[5].quoted
21d0: 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 );..assert_eq(
21e0: 74 73 5b 36 5d 2e 73 74 72 2c 20 60 68 75 5c 22 ts[6].str, `hu\"
21f0: 68 75 68 75 60 20 29 3b 0a 09 61 73 73 65 72 74 huhu` );..assert
2200: 5f 65 71 28 20 74 73 5b 36 5d 2e 70 6f 73 2e 6c _eq( ts[6].pos.l
2210: 69 6e 65 6e 6f 2c 20 34 20 29 3b 0a 09 61 73 73 ineno, 4 );..ass
2220: 65 72 74 28 20 20 20 20 74 73 5b 36 5d 2e 71 75 ert( ts[6].qu
2230: 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f oted );..assert_
2240: 65 71 28 20 74 73 5b 37 5d 2e 73 74 72 2c 20 22 eq( ts[7].str, "
2250: 31 32 33 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 123" );..assert_
2260: 65 71 28 20 74 73 5b 37 5d 2e 70 6f 73 2e 6c 69 eq( ts[7].pos.li
2270: 6e 65 6e 6f 2c 20 35 20 29 3b 0a 09 61 73 73 65 neno, 5 );..asse
2280: 72 74 5f 65 71 28 20 74 73 5b 38 5d 2e 73 74 72 rt_eq( ts[8].str
2290: 2c 20 22 61 61 22 20 29 3b 0a 09 61 73 73 65 72 , "aa" );..asser
22a0: 74 5f 65 71 28 20 74 73 5b 39 5d 2e 70 6f 73 2e t_eq( ts[9].pos.
22b0: 6c 69 6e 65 6e 6f 2c 20 35 20 29 3b 0a 09 61 73 lineno, 5 );..as
22c0: 73 65 72 74 5f 65 71 28 20 74 73 5b 39 5d 2e 73 sert_eq( ts[9].s
22d0: 74 72 2c 20 22 61 61 61 5c 6e 62 62 62 20 23 20 tr, "aaa\nbbb #
22e0: 31 32 33 5c 6e 65 65 65 22 20 29 3b 0a 09 61 73 123\neee" );..as
22f0: 73 65 72 74 28 20 20 20 20 74 73 5b 39 5d 2e 71 sert( ts[9].q
2300: 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 uoted );..assert
2310: 5f 65 71 28 20 74 73 5b 31 30 5d 2e 70 6f 73 2e _eq( ts[10].pos.
2320: 6c 69 6e 65 6e 6f 2c 20 38 20 29 3b 0a 09 61 73 lineno, 8 );..as
2330: 73 65 72 74 28 20 20 20 21 74 73 5b 31 30 5d 2e sert( !ts[10].
2340: 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 quoted );..asser
2350: 74 5f 65 71 28 20 74 73 2e 6c 65 6e 67 74 68 2c t_eq( ts.length,
2360: 20 31 31 20 29 3b 0a 7d 0a 0d 0a 75 6e 69 74 74 11 );.}...unitt
2370: 65 73 74 0d 0a 7b 0d 0a 09 61 75 74 6f 20 6c 65 est..{...auto le
2380: 78 32 20 3d 20 6c 65 78 65 72 46 72 6f 6d 53 74 x2 = lexerFromSt
2390: 72 69 6e 67 28 22 20 61 31 32 5c 6e 33 61 20 35 ring(" a12\n3a 5
23a0: 20 22 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 ");...assert_eq
23b0: 28 20 6c 65 78 32 2e 66 72 6f 6e 74 2e 73 74 72 ( lex2.front.str
23c0: 2c 20 22 61 31 32 22 20 29 3b 0d 0a 09 6c 65 78 , "a12" );...lex
23d0: 32 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 61 75 2.popFront;...au
23e0: 74 6f 20 6c 65 78 33 20 3d 20 6c 65 78 32 2e 73 to lex3 = lex2.s
23f0: 61 76 65 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 ave;...assert_eq
2400: 28 20 6c 65 78 32 2e 66 72 6f 6e 74 2e 73 74 72 ( lex2.front.str
2410: 2c 20 22 33 61 22 20 29 3b 0d 0a 09 6c 65 78 32 , "3a" );...lex2
2420: 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 61 73 73 .popFront;...ass
2430: 65 72 74 5f 65 71 28 20 6c 65 78 33 2e 66 72 6f ert_eq( lex3.fro
2440: 6e 74 2e 73 74 72 2c 20 22 33 61 22 20 29 3b 0d nt.str, "3a" );.
2450: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 ..assert_eq( lex
2460: 32 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 35 22 2.front.str, "5"
2470: 20 29 3b 0d 0a 09 6c 65 78 32 2e 70 6f 70 46 72 );...lex2.popFr
2480: 6f 6e 74 3b 0d 0a 09 6c 65 78 33 2e 70 6f 70 46 ont;...lex3.popF
2490: 72 6f 6e 74 3b 0d 0a 09 61 73 73 65 72 74 28 20 ront;...assert(
24a0: 6c 65 78 32 2e 65 6d 70 74 79 20 29 3b 0d 0a 09 lex2.empty );...
24b0: 61 73 73 65 72 74 28 20 21 6c 65 78 33 2e 65 6d assert( !lex3.em
24c0: 70 74 79 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f pty );...assert_
24d0: 65 71 28 20 6c 65 78 33 2e 66 72 6f 6e 74 2e 73 eq( lex3.front.s
24e0: 74 72 2c 20 22 35 22 20 29 3b 0d 0a 7d 0d 0a 0d tr, "5" );..}...
24f0: 0a 75 6e 69 74 74 65 73 74 0d 0a 7b 0d 0a 09 61 .unittest..{...a
2500: 75 74 6f 20 6c 65 78 20 3d 20 6c 65 78 65 72 46 uto lex = lexerF
2510: 72 6f 6d 53 74 72 69 6e 67 28 60 3d 22 22 60 29 romString(`=""`)
2520: 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 6c 65 ;...assert_eq(le
2530: 78 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 3d 22 x.front.str, "="
2540: 29 3b 20 6c 65 78 2e 70 6f 70 46 72 6f 6e 74 3b ); lex.popFront;
2550: 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 6c 65 78 ...assert_eq(lex
2560: 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 22 29 3b .front.str, "");
2570: 20 6c 65 78 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a lex.popFront;..
2580: 09 61 73 73 65 72 74 28 20 6c 65 78 2e 65 6d 70 .assert( lex.emp
2590: 74 79 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 ty );...assert_e
25a0: 71 28 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 q( lexerFromStri
25b0: 6e 67 28 60 2d 40 60 29 2e 66 72 6f 6e 74 2e 73 ng(`-@`).front.s
25c0: 74 72 2c 20 22 2d 22 20 29 3b 0d 0a 7d 0d 0a 0d tr, "-" );..}...
25d0: 0a 2f 2f 2f 20 46 6f 72 77 61 72 64 20 72 61 6e ./// Forward ran
25e0: 67 65 20 66 6f 72 20 72 65 61 64 65 72 20 63 68 ge for reader ch
25f0: 61 72 61 63 74 65 72 20 62 79 20 63 68 61 72 61 aracter by chara
2600: 63 74 65 72 2c 0d 0a 2f 2f 2f 20 6b 65 65 70 69 cter,../// keepi
2610: 6e 67 20 74 72 61 63 6b 20 6f 66 20 70 6f 73 69 ng track of posi
2620: 74 69 6f 6e 20 69 6e 66 6f 72 6d 61 74 69 6f 6e tion information
2630: 20 61 6e 64 20 63 61 72 69 6e 67 20 5c 72 5c 6e and caring \r\n
2640: 20 2d 3e 20 5c 6e 20 63 6f 6e 76 65 72 73 69 6f -> \n conversio
2650: 6e 2e 0d 0a 0d 0a 73 74 72 75 63 74 20 50 6f 73 n.....struct Pos
2660: 69 74 69 6f 6e 65 64 52 65 61 64 65 72 28 43 68 itionedReader(Ch
2670: 61 72 53 65 71 29 0d 0a 09 69 66 28 20 69 73 46 arSeq)...if( isF
2680: 6f 72 77 61 72 64 52 61 6e 67 65 21 28 43 68 61 orwardRange!(Cha
2690: 72 53 65 71 29 20 26 26 20 69 73 28 45 6c 65 6d rSeq) && is(Elem
26a0: 65 6e 74 54 79 70 65 21 28 43 68 61 72 53 65 71 entType!(CharSeq
26b0: 29 3d 3d 64 63 68 61 72 29 20 29 0d 0a 7b 0d 0a )==dchar) )..{..
26c0: 09 43 68 61 72 53 65 71 20 62 75 66 66 65 72 3b .CharSeq buffer;
26d0: 0d 0a 09 73 74 72 69 6e 67 20 20 66 69 6c 65 6e ...string filen
26e0: 61 6d 65 3b 0d 0a 09 69 6e 74 20 20 20 20 20 6c ame;...int l
26f0: 69 6e 65 6e 6f 3b 0d 0a 09 69 6e 74 20 20 20 20 ineno;...int
2700: 20 63 6f 6c 75 6d 6e 3b 0d 0a 0d 0a 09 2f 2f 2f column;.....///
2710: 20 52 61 6e 67 65 20 70 72 69 6d 69 74 69 76 65 Range primitive
2720: 0d 0a 09 62 6f 6f 6c 20 65 6d 70 74 79 28 29 20 ...bool empty()
2730: 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0d 0a 09 /*@property*/...
2740: 7b 0d 0a 09 09 72 65 74 75 72 6e 20 62 75 66 66 {....return buff
2750: 65 72 2e 65 6d 70 74 79 3b 0d 0a 09 7d 0d 0a 0d er.empty;...}...
2760: 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 6d ../// Range prim
2770: 69 74 69 76 65 0d 0a 09 64 63 68 61 72 20 66 72 itive...dchar fr
2780: 6f 6e 74 28 29 20 2f 2a 40 70 72 6f 70 65 72 74 ont() /*@propert
2790: 79 2a 2f 0d 0a 09 7b 0d 0a 09 09 64 63 68 61 72 y*/...{....dchar
27a0: 20 63 20 3d 20 62 75 66 66 65 72 2e 66 72 6f 6e c = buffer.fron
27b0: 74 3b 0d 0a 09 09 72 65 74 75 72 6e 20 28 63 3d t;....return (c=
27c0: 3d 27 5c 72 27 20 3f 20 27 5c 6e 27 20 3a 20 63 ='\r' ? '\n' : c
27d0: 29 3b 0d 0a 09 7d 0d 0a 0d 0a 09 2f 2f 2f 20 52 );...}...../// R
27e0: 61 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0d 0a ange primitive..
27f0: 09 76 6f 69 64 20 70 6f 70 46 72 6f 6e 74 28 29 .void popFront()
2800: 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0d 0a /*@property*/..
2810: 09 7b 0d 0a 09 09 64 63 68 61 72 20 63 20 3d 20 .{....dchar c =
2820: 62 75 66 66 65 72 2e 66 72 6f 6e 74 3b 0d 0a 09 buffer.front;...
2830: 09 62 75 66 66 65 72 2e 70 6f 70 46 72 6f 6e 74 .buffer.popFront
2840: 3b 0d 0a 09 09 69 66 28 20 63 3d 3d 27 5c 72 27 ;....if( c=='\r'
2850: 20 29 0d 0a 09 09 7b 0d 0a 09 09 09 69 66 28 20 )....{.....if(
2860: 21 62 75 66 66 65 72 2e 65 6d 70 74 79 20 26 26 !buffer.empty &&
2870: 20 62 75 66 66 65 72 2e 66 72 6f 6e 74 3d 3d 27 buffer.front=='
2880: 5c 6e 27 20 29 0d 0a 09 09 09 09 62 75 66 66 65 \n' )......buffe
2890: 72 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 09 09 r.popFront;.....
28a0: 63 20 3d 20 27 5c 6e 27 3b 0d 0a 09 09 7d 0d 0a c = '\n';....}..
28b0: 09 09 69 66 28 20 63 3d 3d 27 5c 6e 27 20 29 0d ..if( c=='\n' ).
28c0: 0a 09 09 7b 0d 0a 09 09 09 6c 69 6e 65 6e 6f 20 ...{.....lineno
28d0: 2b 2b 3b 09 0d 0a 09 09 09 63 6f 6c 75 6d 6e 20 ++;......column
28e0: 3d 20 31 3b 0d 0a 09 09 7d 0d 0a 09 09 65 6c 73 = 1;....}....els
28f0: 65 0d 0a 09 09 09 63 6f 6c 75 6d 6e 20 2b 2b 3b e.....column ++;
2900: 0d 0a 09 7d 0d 0a 0d 0a 09 2f 2f 2f 20 52 61 6e ...}...../// Ran
2910: 67 65 20 70 72 69 6d 69 74 69 76 65 0d 0a 09 74 ge primitive...t
2920: 79 70 65 6f 66 28 74 68 69 73 29 20 73 61 76 65 ypeof(this) save
2930: 28 29 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f () /*@property*/
2940: 0d 0a 09 7b 0d 0a 09 09 72 65 74 75 72 6e 20 74 ...{....return t
2950: 68 69 73 3b 0d 0a 09 7d 0d 0a 0d 0a 09 2f 2f 2f his;...}.....///
2960: 20 47 65 74 20 74 68 65 20 63 75 72 72 65 6e 74 Get the current
2970: 20 70 6f 73 69 74 69 6f 6e 0d 0a 09 69 6d 6d 75 position...immu
2980: 74 61 62 6c 65 28 4c 65 78 50 6f 73 69 74 69 6f table(LexPositio
2990: 6e 29 20 63 75 72 72 65 6e 74 50 6f 73 69 74 69 n) currentPositi
29a0: 6f 6e 28 29 20 63 6f 6e 73 74 0d 0a 09 7b 0d 0a on() const...{..
29b0: 09 09 72 65 74 75 72 6e 20 6e 65 77 20 69 6d 6d ..return new imm
29c0: 75 74 61 62 6c 65 28 4c 65 78 50 6f 73 69 74 69 utable(LexPositi
29d0: 6f 6e 29 28 66 69 6c 65 6e 61 6d 65 2c 20 6c 69 on)(filename, li
29e0: 6e 65 6e 6f 2c 20 63 6f 6c 75 6d 6e 29 3b 0d 0a neno, column);..
29f0: 09 7d 0d 0a 7d 0d 0a 0d 0a 75 6e 69 74 74 65 73 .}..}....unittes
2a00: 74 0d 0a 7b 0d 0a 09 61 73 73 65 72 74 28 20 69 t..{...assert( i
2a10: 73 46 6f 72 77 61 72 64 52 61 6e 67 65 21 28 50 sForwardRange!(P
2a20: 6f 73 69 74 69 6f 6e 65 64 52 65 61 64 65 72 21 ositionedReader!
2a30: 73 74 72 69 6e 67 29 20 29 3b 0d 0a 09 61 73 73 string) );...ass
2a40: 65 72 74 28 20 69 73 28 45 6c 65 6d 65 6e 74 54 ert( is(ElementT
2a50: 79 70 65 21 28 50 6f 73 69 74 69 6f 6e 65 64 52 ype!(PositionedR
2a60: 65 61 64 65 72 21 73 74 72 69 6e 67 29 20 3d 3d eader!string) ==
2a70: 20 64 63 68 61 72 29 20 29 3b 0d 0a 7d 0d 0a dchar) );..}..