0000: 2f 2a 2a 0a 20 2a 20 41 75 74 68 6f 72 73 3a 20 /**. * Authors:
0010: 6b 2e 69 6e 61 62 61 0a 20 2a 20 4c 69 63 65 6e k.inaba. * Licen
0020: 73 65 3a 20 4e 59 53 4c 20 30 2e 39 39 38 32 20 se: NYSL 0.9982
0030: 68 74 74 70 3a 2f 2f 77 77 77 2e 6b 6d 6f 6e 6f http://www.kmono
0040: 73 2e 6e 65 74 2f 6e 79 73 6c 2f 0a 20 2a 0a 20 s.net/nysl/. *.
0050: 2a 20 4c 65 78 65 72 20 66 6f 72 20 50 6f 6c 65 * Lexer for Pole
0060: 6d 79 20 70 72 6f 67 72 61 6d 6d 69 6e 67 20 6c my programming l
0070: 61 6e 67 75 61 67 65 2e 0a 20 2a 2f 0a 6d 6f 64 anguage.. */.mod
0080: 75 6c 65 20 70 6f 6c 65 6d 79 2e 6c 65 78 3b 0a ule polemy.lex;.
0090: 69 6d 70 6f 72 74 20 70 6f 6c 65 6d 79 2e 5f 63 import polemy._c
00a0: 6f 6d 6d 6f 6e 3b 0a 69 6d 70 6f 72 74 20 73 74 ommon;.import st
00b0: 64 2e 66 69 6c 65 20 20 3a 20 72 65 61 64 54 65 d.file : readTe
00c0: 78 74 3b 0a 69 6d 70 6f 72 74 20 73 74 64 2e 63 xt;.import std.c
00d0: 74 79 70 65 20 3a 20 69 73 73 70 61 63 65 2c 20 type : isspace,
00e0: 69 73 61 6c 6e 75 6d 3b 0d 0a 0d 0a 2f 2f 2f 20 isalnum;....///
00f0: 45 78 63 65 70 74 69 6f 6e 20 66 72 6f 6d 20 74 Exception from t
0100: 68 69 73 20 6d 6f 64 75 6c 65 0d 0a 0d 0a 63 6c his module....cl
0110: 61 73 73 20 4c 65 78 45 78 63 65 70 74 69 6f 6e ass LexException
0120: 20 3a 20 45 78 63 65 70 74 69 6f 6e 0d 0a 7b 0d : Exception..{.
0130: 0a 09 63 6f 6e 73 74 20 4c 65 78 50 6f 73 69 74 ..const LexPosit
0140: 69 6f 6e 20 70 6f 73 3b 0d 0a 0d 0a 09 74 68 69 ion pos;.....thi
0150: 73 28 20 63 6f 6e 73 74 20 4c 65 78 50 6f 73 69 s( const LexPosi
0160: 74 69 6f 6e 20 70 6f 73 2c 20 73 74 72 69 6e 67 tion pos, string
0170: 20 6d 73 67 2c 20 73 74 72 69 6e 67 20 66 69 6c msg, string fil
0180: 65 3d 22 22 2c 20 69 6e 74 20 6c 69 6e 65 3d 30 e="", int line=0
0190: 2c 20 54 68 72 6f 77 61 62 6c 65 20 6e 65 78 74 , Throwable next
01a0: 3d 6e 75 6c 6c 20 29 0d 0a 09 09 7b 20 73 75 70 =null )....{ sup
01b0: 65 72 28 73 70 72 69 6e 74 66 21 22 5b 25 73 5d er(sprintf!"[%s]
01c0: 20 25 73 22 28 70 6f 73 2c 20 6d 73 67 29 2c 20 %s"(pos, msg),
01d0: 66 69 6c 65 2c 20 6c 69 6e 65 2c 20 6e 65 78 74 file, line, next
01e0: 29 3b 20 74 68 69 73 2e 70 6f 73 20 3d 20 70 6f ); this.pos = po
01f0: 73 3b 20 7d 0d 0a 7d 3b 0d 0a 0d 0a 2f 2f 2f 20 s; }..};....///
0200: 52 65 70 72 65 73 65 6e 74 73 20 61 20 70 6f 73 Represents a pos
0210: 69 74 69 6f 6e 20 69 6e 20 61 20 73 6f 75 72 63 ition in a sourc
0220: 65 20 63 6f 64 65 0a 0a 63 6c 61 73 73 20 4c 65 e code..class Le
0230: 78 50 6f 73 69 74 69 6f 6e 0a 7b 0a 09 69 6d 6d xPosition.{..imm
0240: 75 74 61 62 6c 65 20 73 74 72 69 6e 67 20 66 69 utable string fi
0250: 6c 65 6e 61 6d 65 3b 20 2f 2f 2f 20 6e 61 6d 65 lename; /// name
0260: 20 6f 66 20 74 68 65 20 73 6f 75 72 63 65 20 66 of the source f
0270: 69 6c 65 0a 09 69 6d 6d 75 74 61 62 6c 65 20 69 ile..immutable i
0280: 6e 74 20 20 20 20 6c 69 6e 65 6e 6f 3b 20 20 20 nt lineno;
0290: 2f 2f 2f 20 31 2d 6f 72 69 67 69 6e 0a 09 69 6d /// 1-origin..im
02a0: 6d 75 74 61 62 6c 65 20 69 6e 74 20 20 20 20 63 mutable int c
02b0: 6f 6c 75 6d 6e 3b 20 20 20 2f 2f 2f 20 31 2d 6f olumn; /// 1-o
02c0: 72 69 67 69 6e 0a 0d 0a 09 6d 69 78 69 6e 20 53 rigin....mixin S
02d0: 69 6d 70 6c 65 43 6c 61 73 73 3b 0a 09 6f 76 65 impleClass;..ove
02e0: 72 72 69 64 65 20 73 74 72 69 6e 67 20 74 6f 53 rride string toS
02f0: 74 72 69 6e 67 28 29 20 63 6f 6e 73 74 0a 09 09 tring() const...
0300: 7b 20 72 65 74 75 72 6e 20 73 70 72 69 6e 74 66 { return sprintf
0310: 21 22 25 73 3a 25 64 3a 25 64 22 28 66 69 6c 65 !"%s:%d:%d"(file
0320: 6e 61 6d 65 2c 20 6c 69 6e 65 6e 6f 2c 20 63 6f name, lineno, co
0330: 6c 75 6d 6e 29 3b 20 7d 0a 0d 0a 09 73 74 61 74 lumn); }....stat
0340: 69 63 20 69 6d 6d 75 74 61 62 6c 65 20 4c 65 78 ic immutable Lex
0350: 50 6f 73 69 74 69 6f 6e 20 64 75 6d 6d 79 3b 0d Position dummy;.
0360: 0a 09 73 74 61 74 69 63 20 74 68 69 73 28 29 7b ..static this(){
0370: 20 64 75 6d 6d 79 20 3d 20 6e 65 77 20 69 6d 6d dummy = new imm
0380: 75 74 61 62 6c 65 28 4c 65 78 50 6f 73 69 74 69 utable(LexPositi
0390: 6f 6e 29 28 22 3c 75 6e 6e 61 6d 65 64 3e 22 2c on)("<unnamed>",
03a0: 30 2c 30 29 3b 20 7d 0d 0a 7d 0a 0a 75 6e 69 74 0,0); }..}..unit
03b0: 74 65 73 74 0a 7b 0a 09 61 75 74 6f 20 70 20 3d test.{..auto p =
03c0: 20 6e 65 77 20 4c 65 78 50 6f 73 69 74 69 6f 6e new LexPosition
03d0: 28 22 68 65 6c 6c 6f 2e 63 70 70 22 2c 20 31 32 ("hello.cpp", 12
03e0: 33 2c 20 34 35 29 3b 0a 0a 09 61 73 73 65 72 74 3, 45);...assert
03f0: 5f 65 71 28 20 70 2e 66 69 6c 65 6e 61 6d 65 2c _eq( p.filename,
0400: 20 22 68 65 6c 6c 6f 2e 63 70 70 22 20 29 3b 0a "hello.cpp" );.
0410: 09 61 73 73 65 72 74 5f 65 71 28 20 70 2e 6c 69 .assert_eq( p.li
0420: 6e 65 6e 6f 2c 20 31 32 33 20 29 3b 0a 09 61 73 neno, 123 );..as
0430: 73 65 72 74 5f 65 71 28 20 70 2e 63 6f 6c 75 6d sert_eq( p.colum
0440: 6e 2c 20 34 35 20 29 3b 0a 09 61 73 73 65 72 74 n, 45 );..assert
0450: 5f 65 71 28 20 74 6f 21 73 74 72 69 6e 67 28 70 _eq( to!string(p
0460: 29 2c 20 22 68 65 6c 6c 6f 2e 63 70 70 3a 31 32 ), "hello.cpp:12
0470: 33 3a 34 35 22 20 29 3b 0a 0a 09 61 73 73 65 72 3:45" );...asser
0480: 74 28 20 21 5f 5f 74 72 61 69 74 73 28 63 6f 6d t( !__traits(com
0490: 70 69 6c 65 73 2c 20 6e 65 77 20 4c 65 78 50 6f piles, new LexPo
04a0: 73 69 74 69 6f 6e 29 20 29 3b 0a 09 61 73 73 65 sition) );..asse
04b0: 72 74 28 20 21 5f 5f 74 72 61 69 74 73 28 63 6f rt( !__traits(co
04c0: 6d 70 69 6c 65 73 2c 20 70 2e 66 69 6c 65 6e 61 mpiles, p.filena
04d0: 6d 65 3d 22 66 6f 6f 22 29 20 29 3b 0a 09 61 73 me="foo") );..as
04e0: 73 65 72 74 28 20 21 5f 5f 74 72 61 69 74 73 28 sert( !__traits(
04f0: 63 6f 6d 70 69 6c 65 73 2c 20 70 2e 6c 69 6e 65 compiles, p.line
0500: 6e 6f 20 20 3d 37 38 39 29 20 29 3b 0a 09 61 73 no =789) );..as
0510: 73 65 72 74 28 20 21 5f 5f 74 72 61 69 74 73 28 sert( !__traits(
0520: 63 6f 6d 70 69 6c 65 73 2c 20 70 2e 63 6f 6c 75 compiles, p.colu
0530: 6d 6e 20 20 3d 32 32 32 29 20 29 3b 0a 0d 0a 09 mn =222) );....
0540: 61 75 74 6f 20 71 20 3d 20 6e 65 77 20 4c 65 78 auto q = new Lex
0550: 50 6f 73 69 74 69 6f 6e 28 22 68 65 6c 6c 6f 2e Position("hello.
0560: 63 70 70 22 2c 20 31 32 33 2c 20 34 36 29 3b 0d cpp", 123, 46);.
0570: 0a 09 61 73 73 65 72 74 5f 6c 74 28 20 70 2c 20 ..assert_lt( p,
0580: 71 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 6e 65 q );...assert_ne
0590: 28 20 70 2c 20 71 20 29 3b 0d 0a 7d 0a 0a 2f 2f ( p, q );..}..//
05a0: 2f 20 52 65 70 72 65 73 65 6e 74 73 20 61 20 6c / Represents a l
05b0: 65 78 65 72 20 74 6f 6b 65 6e 0a 0a 63 6c 61 73 exer token..clas
05c0: 73 20 54 6f 6b 65 6e 0a 7b 0a 09 69 6d 6d 75 74 s Token.{..immut
05d0: 61 62 6c 65 20 4c 65 78 50 6f 73 69 74 69 6f 6e able LexPosition
05e0: 20 70 6f 73 3b 20 20 20 20 2f 2f 2f 20 50 6f 73 pos; /// Pos
05f0: 69 74 69 6f 6e 20 77 68 65 72 65 20 74 68 65 20 ition where the
0600: 74 6f 6b 65 6e 20 6f 63 63 75 72 72 65 64 20 69 token occurred i
0610: 6e 20 74 68 65 20 73 6f 75 72 63 65 0a 09 69 6d n the source..im
0620: 6d 75 74 61 62 6c 65 20 73 74 72 69 6e 67 20 20 mutable string
0630: 20 20 20 20 73 74 72 3b 20 20 20 20 2f 2f 2f 20 str; ///
0640: 54 68 65 20 74 6f 6b 65 6e 20 73 74 72 69 6e 67 The token string
0650: 20 69 74 73 65 6c 66 0a 09 69 6d 6d 75 74 61 62 itself..immutab
0660: 6c 65 20 62 6f 6f 6c 20 20 20 20 20 20 20 20 71 le bool q
0670: 75 6f 74 65 64 3b 20 2f 2f 2f 20 57 61 73 20 69 uoted; /// Was i
0680: 74 20 61 20 22 71 75 6f 74 65 64 22 20 74 6f 6b t a "quoted" tok
0690: 65 6e 20 6f 72 20 75 6e 71 75 6f 74 65 64 3f 0a en or unquoted?.
06a0: 0a 09 6d 69 78 69 6e 20 53 69 6d 70 6c 65 43 6c ..mixin SimpleCl
06b0: 61 73 73 3b 0a 7d 0a 0a 75 6e 69 74 74 65 73 74 ass;.}..unittest
06c0: 0a 7b 0a 09 61 75 74 6f 20 70 20 3d 20 6e 65 77 .{..auto p = new
06d0: 20 69 6d 6d 75 74 61 62 6c 65 28 4c 65 78 50 6f immutable(LexPo
06e0: 73 69 74 69 6f 6e 29 28 22 68 65 6c 6c 6f 2e 63 sition)("hello.c
06f0: 70 70 22 2c 20 31 32 33 2c 20 34 35 29 3b 0a 09 pp", 123, 45);..
0700: 61 75 74 6f 20 74 20 3d 20 6e 65 77 20 54 6f 6b auto t = new Tok
0710: 65 6e 28 70 2c 20 22 63 6c 61 73 73 22 2c 20 66 en(p, "class", f
0720: 61 6c 73 65 29 3b 0a 09 61 75 74 6f 20 75 20 3d alse);..auto u =
0730: 20 6e 65 77 20 54 6f 6b 65 6e 28 70 2c 20 22 63 new Token(p, "c
0740: 6c 61 73 73 22 2c 20 74 72 75 65 29 3b 0a 0a 09 lass", true);...
0750: 61 73 73 65 72 74 5f 65 71 28 20 74 2e 70 6f 73 assert_eq( t.pos
0760: 2c 20 70 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 , p );..assert_e
0770: 71 28 20 74 2e 73 74 72 2c 20 22 63 6c 61 73 73 q( t.str, "class
0780: 22 20 29 3b 0a 09 61 73 73 65 72 74 28 20 21 74 " );..assert( !t
0790: 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 .quoted );..asse
07a0: 72 74 5f 65 71 28 20 74 2c 20 6e 65 77 20 54 6f rt_eq( t, new To
07b0: 6b 65 6e 28 70 2c 20 22 63 6c 61 73 73 22 2c 20 ken(p, "class",
07c0: 66 61 6c 73 65 29 20 29 3b 0a 09 61 73 73 65 72 false) );..asser
07d0: 74 5f 6c 74 28 20 74 2c 20 6e 65 77 20 54 6f 6b t_lt( t, new Tok
07e0: 65 6e 28 70 2c 20 22 73 74 72 75 63 74 22 2c 20 en(p, "struct",
07f0: 66 61 6c 73 65 29 20 29 3b 0a 09 61 73 73 65 72 false) );..asser
0800: 74 5f 6e 65 28 20 74 2c 20 75 20 29 3b 0a 09 61 t_ne( t, u );..a
0810: 73 73 65 72 74 28 20 75 2e 71 75 6f 74 65 64 20 ssert( u.quoted
0820: 29 3b 0a 0a 09 61 73 73 65 72 74 28 20 21 5f 5f );...assert( !__
0830: 74 72 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c traits(compiles,
0840: 20 6e 65 77 20 54 6f 6b 65 6e 29 20 29 3b 0a 09 new Token) );..
0850: 61 73 73 65 72 74 28 20 21 5f 5f 74 72 61 69 74 assert( !__trait
0860: 73 28 63 6f 6d 70 69 6c 65 73 2c 20 74 2e 70 6f s(compiles, t.po
0870: 73 3d 70 29 20 29 3b 0a 09 61 73 73 65 72 74 28 s=p) );..assert(
0880: 20 21 5f 5f 74 72 61 69 74 73 28 63 6f 6d 70 69 !__traits(compi
0890: 6c 65 73 2c 20 74 2e 73 74 72 3d 37 38 39 29 20 les, t.str=789)
08a0: 29 3b 0a 09 61 73 73 65 72 74 28 20 21 5f 5f 74 );..assert( !__t
08b0: 72 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 raits(compiles,
08c0: 74 2e 71 75 6f 74 65 64 3d 74 72 75 65 29 20 29 t.quoted=true) )
08d0: 3b 0a 7d 0a 0a 2f 2f 2f 20 4e 61 6d 65 64 20 43 ;.}../// Named C
08e0: 6f 6e 73 74 72 75 74 6f 72 73 20 66 6f 72 20 4c onstrutors for L
08f0: 65 78 65 72 0a 0a 61 75 74 6f 20 6c 65 78 65 72 exer..auto lexer
0900: 46 72 6f 6d 46 69 6c 65 28 54 2e 2e 2e 29 28 20 FromFile(T...)(
0910: 73 74 72 69 6e 67 20 66 69 6c 65 6e 61 6d 65 2c string filename,
0920: 20 54 20 72 65 73 74 20 29 0a 7b 0a 09 72 65 74 T rest ).{..ret
0930: 75 72 6e 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 urn lexerFromStr
0940: 69 6e 67 28 20 73 74 64 2e 66 69 6c 65 2e 72 65 ing( std.file.re
0950: 61 64 54 65 78 74 28 66 69 6c 65 6e 61 6d 65 29 adText(filename)
0960: 2c 20 66 69 6c 65 6e 61 6d 65 2c 20 72 65 73 74 , filename, rest
0970: 20 29 3b 0a 7d 0a 09 0a 61 75 74 6f 20 6c 65 78 );.}...auto lex
0980: 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 43 68 61 erFromString(Cha
0990: 72 53 65 71 29 28 20 43 68 61 72 53 65 71 20 73 rSeq)( CharSeq s
09a0: 74 72 2c 20 73 74 72 69 6e 67 20 66 69 6c 65 6e tr, string filen
09b0: 61 6d 65 3d 22 3c 75 6e 6e 61 6d 65 64 3e 22 2c ame="<unnamed>",
09c0: 20 69 6e 74 20 6c 69 6e 65 6e 6f 3d 31 2c 20 69 int lineno=1, i
09d0: 6e 74 20 63 6f 6c 75 6d 6e 3d 31 20 29 0a 7b 0a nt column=1 ).{.
09e0: 20 09 72 65 74 75 72 6e 20 6e 65 77 20 4c 65 78 .return new Lex
09f0: 65 72 54 21 28 50 6f 73 69 74 69 6f 6e 65 64 52 erT!(PositionedR
0a00: 65 61 64 65 72 21 43 68 61 72 53 65 71 29 28 0d eader!CharSeq)(.
0a10: 0a 09 09 50 6f 73 69 74 69 6f 6e 65 64 52 65 61 ...PositionedRea
0a20: 64 65 72 21 43 68 61 72 53 65 71 28 73 74 72 2c der!CharSeq(str,
0a30: 20 66 69 6c 65 6e 61 6d 65 2c 20 6c 69 6e 65 6e filename, linen
0a40: 6f 2c 20 63 6f 6c 75 6d 6e 29 0d 0a 09 29 3b 0a o, column)...);.
0a50: 7d 0a 0a 2f 2f 2f 20 53 74 61 6e 64 61 72 64 20 }../// Standard
0a60: 4c 65 78 65 72 20 54 79 70 65 20 28 61 6c 6c 20 Lexer Type (all
0a70: 79 6f 75 20 68 61 76 65 20 74 6f 20 6b 6e 6f 77 you have to know
0a80: 20 69 73 20 74 68 61 74 20 74 68 69 73 20 69 73 is that this is
0a90: 20 61 20 66 6f 72 77 61 72 64 20 72 61 6e 67 65 a forward range
0aa0: 20 6f 66 20 54 6f 6b 65 6e 73 29 0d 0a 0d 0a 61 of Tokens)....a
0ab0: 6c 69 61 73 20 4c 65 78 65 72 54 21 28 50 6f 73 lias LexerT!(Pos
0ac0: 69 74 69 6f 6e 65 64 52 65 61 64 65 72 21 73 74 itionedReader!st
0ad0: 72 69 6e 67 29 20 4c 65 78 65 72 3b 0a 0a 2f 2f ring) Lexer;..//
0ae0: 2f 20 4c 65 78 65 72 20 49 6d 70 6c 65 6d 65 6e / Lexer Implemen
0af0: 74 61 74 69 6f 6e 0d 0a 0d 0a 63 6c 61 73 73 20 tation....class
0b00: 4c 65 78 65 72 54 28 52 65 61 64 65 72 29 0d 0a LexerT(Reader)..
0b10: 09 69 66 28 20 69 73 46 6f 72 77 61 72 64 52 61 .if( isForwardRa
0b20: 6e 67 65 21 28 52 65 61 64 65 72 29 20 26 26 20 nge!(Reader) &&
0b30: 69 73 28 45 6c 65 6d 65 6e 74 54 79 70 65 21 28 is(ElementType!(
0b40: 52 65 61 64 65 72 29 20 3d 3d 20 64 63 68 61 72 Reader) == dchar
0b50: 29 20 29 0a 7b 0a 09 2f 2f 2f 20 52 61 6e 67 65 ) ).{../// Range
0b60: 20 70 72 69 6d 69 74 69 76 65 0a 09 62 6f 6f 6c primitive..bool
0b70: 20 65 6d 70 74 79 28 29 20 2f 2a 40 70 72 6f 70 empty() /*@prop
0b80: 65 72 74 79 2a 2f 0a 09 7b 0a 09 09 72 65 74 75 erty*/..{...retu
0b90: 72 6e 20 63 75 72 72 65 6e 74 20 69 73 20 6e 75 rn current is nu
0ba0: 6c 6c 3b 0a 09 7d 0a 0a 09 2f 2f 2f 20 52 61 6e ll;..}.../// Ran
0bb0: 67 65 20 70 72 69 6d 69 74 69 76 65 0a 09 54 6f ge primitive..To
0bc0: 6b 65 6e 20 66 72 6f 6e 74 28 29 20 2f 2a 40 70 ken front() /*@p
0bd0: 72 6f 70 65 72 74 79 2a 2f 0a 09 7b 0a 09 09 72 roperty*/..{...r
0be0: 65 74 75 72 6e 20 73 74 64 2e 65 78 63 65 70 74 eturn std.except
0bf0: 69 6f 6e 2e 65 6e 66 6f 72 63 65 28 63 75 72 72 ion.enforce(curr
0c00: 65 6e 74 2c 20 22 4c 65 78 65 72 20 68 61 73 20 ent, "Lexer has
0c10: 61 6c 72 65 61 64 79 20 72 65 61 63 68 65 64 20 already reached
0c20: 74 68 65 20 65 6e 64 22 29 3b 0a 09 7d 0a 0a 09 the end");..}...
0c30: 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 6d 69 74 /// Range primit
0c40: 69 76 65 0a 09 76 6f 69 64 20 70 6f 70 46 72 6f ive..void popFro
0c50: 6e 74 28 29 20 2f 2a 40 70 72 6f 70 65 72 74 79 nt() /*@property
0c60: 2a 2f 0a 09 7b 0a 09 09 73 74 64 2e 65 78 63 65 */..{...std.exce
0c70: 70 74 69 6f 6e 2e 65 6e 66 6f 72 63 65 28 63 75 ption.enforce(cu
0c80: 72 72 65 6e 74 2c 20 22 4c 65 78 65 72 20 68 61 rrent, "Lexer ha
0c90: 73 20 61 6c 72 65 61 64 79 20 72 65 61 63 68 65 s already reache
0ca0: 64 20 74 68 65 20 65 6e 64 22 29 3b 0a 09 09 63 d the end");...c
0cb0: 75 72 72 65 6e 74 20 3d 20 72 65 61 64 4e 65 78 urrent = readNex
0cc0: 74 28 29 3b 0a 09 7d 0a 0a 09 2f 2f 2f 20 52 61 t();..}.../// Ra
0cd0: 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0a 09 74 nge primitive..t
0ce0: 79 70 65 6f 66 28 74 68 69 73 29 20 73 61 76 65 ypeof(this) save
0cf0: 28 29 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f () /*@property*/
0d00: 0a 09 7b 0a 09 09 72 65 74 75 72 6e 20 6e 65 77 ..{...return new
0d10: 20 74 79 70 65 6f 66 28 74 68 69 73 29 28 72 65 typeof(this)(re
0d20: 61 64 65 72 2e 73 61 76 65 2c 20 63 75 72 72 65 ader.save, curre
0d30: 6e 74 29 3b 0a 09 7d 0a 0a 70 72 69 76 61 74 65 nt);..}..private
0d40: 3a 20 2f 2f 20 69 6d 70 6c 65 6d 65 6e 74 61 74 : // implementat
0d50: 69 6f 6e 0a 0a 09 52 65 61 64 65 72 20 72 65 61 ion...Reader rea
0d60: 64 65 72 3b 0a 09 54 6f 6b 65 6e 20 20 63 75 72 der;..Token cur
0d70: 72 65 6e 74 3b 0a 0a 09 69 6e 76 61 72 69 61 6e rent;...invarian
0d80: 74 28 29 0a 09 7b 0a 09 09 61 73 73 65 72 74 28 t()..{...assert(
0d90: 20 72 65 61 64 65 72 2e 65 6d 70 74 79 20 7c 7c reader.empty ||
0da0: 20 21 73 74 64 2e 63 74 79 70 65 2e 69 73 73 70 !std.ctype.issp
0db0: 61 63 65 28 72 65 61 64 65 72 2e 66 72 6f 6e 74 ace(reader.front
0dc0: 29 20 29 3b 0a 09 7d 0d 0a 0d 0a 09 74 68 69 73 ) );..}.....this
0dd0: 28 20 52 65 61 64 65 72 20 72 65 61 64 65 72 2c ( Reader reader,
0de0: 20 54 6f 6b 65 6e 20 63 75 72 72 65 6e 74 20 3d Token current =
0df0: 20 6e 75 6c 6c 20 29 0d 0a 09 7b 0d 0a 09 09 74 null )...{....t
0e00: 68 69 73 2e 72 65 61 64 65 72 20 3d 20 72 65 61 his.reader = rea
0e10: 64 65 72 3b 0d 0a 09 09 72 65 61 64 57 68 69 6c der;....readWhil
0e20: 65 21 69 73 53 70 61 63 65 28 29 3b 0d 0a 09 09 e!isSpace();....
0e30: 74 68 69 73 2e 63 75 72 72 65 6e 74 20 3d 20 28 this.current = (
0e40: 63 75 72 72 65 6e 74 20 69 73 20 6e 75 6c 6c 20 current is null
0e50: 3f 20 72 65 61 64 4e 65 78 74 28 29 20 3a 20 63 ? readNext() : c
0e60: 75 72 72 65 6e 74 29 3b 0d 0a 09 7d 0d 0a 0d 0a urrent);...}....
0e70: 09 70 75 62 6c 69 63 20 73 74 61 74 69 63 20 7b .public static {
0e80: 0a 09 09 62 6f 6f 6c 20 69 73 53 70 61 63 65 20 ...bool isSpace
0e90: 20 20 28 64 63 68 61 72 20 63 29 20 7b 20 72 65 (dchar c) { re
0ea0: 74 75 72 6e 20 73 74 64 2e 63 74 79 70 65 2e 69 turn std.ctype.i
0eb0: 73 73 70 61 63 65 28 63 29 21 3d 30 3b 20 7d 0a sspace(c)!=0; }.
0ec0: 09 09 62 6f 6f 6c 20 69 73 53 79 6d 62 6f 6c 20 ..bool isSymbol
0ed0: 20 28 64 63 68 61 72 20 63 29 20 7b 20 72 65 74 (dchar c) { ret
0ee0: 75 72 6e 20 30 78 32 31 3c 3d 63 20 26 26 20 63 urn 0x21<=c && c
0ef0: 3c 3d 30 78 37 66 20 26 26 20 21 73 74 64 2e 63 <=0x7f && !std.c
0f00: 74 79 70 65 2e 69 73 61 6c 6e 75 6d 28 63 29 20 type.isalnum(c)
0f10: 26 26 20 63 21 3d 27 5f 27 20 26 26 20 63 21 3d && c!='_' && c!=
0f20: 27 5c 27 27 3b 20 7d 0d 0a 09 09 62 6f 6f 6c 20 '\''; }....bool
0f30: 69 73 53 53 79 6d 62 6f 6c 20 28 64 63 68 61 72 isSSymbol (dchar
0f40: 20 63 29 20 7b 20 72 65 74 75 72 6e 20 21 66 69 c) { return !fi
0f50: 6e 64 28 22 28 29 5b 5d 7b 7d 3b 22 2c 20 63 29 nd("()[]{};", c)
0f60: 2e 65 6d 70 74 79 3b 20 7d 0d 0a 09 09 62 6f 6f .empty; }....boo
0f70: 6c 20 69 73 4d 53 79 6d 62 6f 6c 20 28 64 63 68 l isMSymbol (dch
0f80: 61 72 20 63 29 20 7b 20 72 65 74 75 72 6e 20 69 ar c) { return i
0f90: 73 53 79 6d 62 6f 6c 28 63 29 20 26 26 20 21 69 sSymbol(c) && !i
0fa0: 73 53 53 79 6d 62 6f 6c 28 63 29 20 26 26 20 63 sSSymbol(c) && c
0fb0: 21 3d 27 22 27 20 26 26 20 63 21 3d 27 23 27 3b !='"' && c!='#';
0fc0: 20 7d 0d 0a 09 09 62 6f 6f 6c 20 69 73 4c 65 74 }....bool isLet
0fd0: 74 65 72 20 20 28 64 63 68 61 72 20 63 29 20 7b ter (dchar c) {
0fe0: 20 72 65 74 75 72 6e 20 21 69 73 53 70 61 63 65 return !isSpace
0ff0: 28 63 29 20 26 26 20 21 69 73 53 79 6d 62 6f 6c (c) && !isSymbol
1000: 28 63 29 3b 20 7d 0d 0a 09 7d 0d 0a 0d 0a 09 73 (c); }...}.....s
1010: 74 72 69 6e 67 20 72 65 61 64 51 75 6f 74 65 64 tring readQuoted
1020: 28 63 6f 6e 73 74 20 4c 65 78 50 6f 73 69 74 69 (const LexPositi
1030: 6f 6e 20 70 6f 73 29 7b 63 68 61 72 5b 5d 20 62 on pos){char[] b
1040: 75 66 3b 20 72 65 74 75 72 6e 20 72 65 61 64 51 uf; return readQ
1050: 75 6f 74 65 64 28 70 6f 73 2c 62 75 66 29 3b 7d uoted(pos,buf);}
1060: 0d 0a 09 73 74 72 69 6e 67 20 72 65 61 64 51 75 ...string readQu
1070: 6f 74 65 64 28 63 6f 6e 73 74 20 4c 65 78 50 6f oted(const LexPo
1080: 73 69 74 69 6f 6e 20 70 6f 73 2c 20 72 65 66 20 sition pos, ref
1090: 63 68 61 72 5b 5d 20 62 75 66 29 0d 0a 09 7b 0d char[] buf)...{.
10a0: 0a 09 09 69 66 28 20 72 65 61 64 65 72 2e 65 6d ...if( reader.em
10b0: 70 74 79 20 29 0d 0a 09 09 09 74 68 72 6f 77 20 pty ).....throw
10c0: 67 65 6e 65 78 21 4c 65 78 45 78 63 65 70 74 69 genex!LexExcepti
10d0: 6f 6e 28 70 6f 73 2c 20 22 45 4f 46 20 66 6f 75 on(pos, "EOF fou
10e0: 6e 64 20 77 68 69 6c 65 20 6c 65 78 69 6e 67 20 nd while lexing
10f0: 61 20 71 75 6f 74 65 64 2d 73 74 72 69 6e 67 22 a quoted-string"
1100: 29 3b 0d 0a 09 09 64 63 68 61 72 20 63 20 3d 20 );....dchar c =
1110: 72 65 61 64 65 72 2e 66 72 6f 6e 74 3b 0d 0a 09 reader.front;...
1120: 09 72 65 61 64 65 72 2e 70 6f 70 46 72 6f 6e 74 .reader.popFront
1130: 3b 0d 0a 09 09 69 66 28 20 63 20 3d 3d 20 27 22 ;....if( c == '"
1140: 27 20 29 0d 0a 09 09 09 72 65 74 75 72 6e 20 61 ' ).....return a
1150: 73 73 75 6d 65 55 6e 69 71 75 65 28 62 75 66 29 ssumeUnique(buf)
1160: 3b 0d 0a 09 09 69 66 28 20 63 20 3d 3d 20 27 5c ;....if( c == '\
1170: 5c 27 20 26 26 20 21 72 65 61 64 65 72 2e 65 6d \' && !reader.em
1180: 70 74 79 20 29 20 7b 0d 0a 09 09 09 69 66 28 20 pty ) {.....if(
1190: 72 65 61 64 65 72 2e 66 72 6f 6e 74 3d 3d 27 22 reader.front=='"
11a0: 27 20 29 20 7b 0d 0a 09 09 09 09 72 65 61 64 65 ' ) {......reade
11b0: 72 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 09 09 r.popFront;.....
11c0: 09 72 65 74 75 72 6e 20 72 65 61 64 51 75 6f 74 .return readQuot
11d0: 65 64 28 70 6f 73 2c 62 75 66 20 7e 3d 20 27 5c ed(pos,buf ~= '\
11e0: 22 27 29 3b 0d 0a 09 09 09 7d 0d 0a 09 09 09 69 "');.....}.....i
11f0: 66 28 20 72 65 61 64 65 72 2e 66 72 6f 6e 74 3d f( reader.front=
1200: 3d 27 5c 5c 27 20 29 20 7b 0d 0a 09 09 09 09 72 ='\\' ) {......r
1210: 65 61 64 65 72 2e 70 6f 70 46 72 6f 6e 74 3b 0d eader.popFront;.
1220: 0a 09 09 09 09 72 65 74 75 72 6e 20 72 65 61 64 .....return read
1230: 51 75 6f 74 65 64 28 70 6f 73 2c 62 75 66 20 7e Quoted(pos,buf ~
1240: 3d 20 27 5c 5c 27 29 3b 0d 0a 09 09 09 7d 0d 0a = '\\');.....}..
1250: 09 09 7d 0d 0a 09 09 72 65 74 75 72 6e 20 72 65 ..}....return re
1260: 61 64 51 75 6f 74 65 64 28 70 6f 73 2c 62 75 66 adQuoted(pos,buf
1270: 20 7e 3d 20 63 29 3b 0d 0a 09 7d 0d 0a 0d 0a 09 ~= c);...}.....
1280: 73 74 72 69 6e 67 20 72 65 61 64 57 68 69 6c 65 string readWhile
1290: 28 61 6c 69 61 73 20 66 6e 29 28 29 0d 0a 09 7b (alias fn)()...{
12a0: 0d 0a 09 09 63 68 61 72 5b 5d 20 62 75 66 3b 0d ....char[] buf;.
12b0: 0a 09 09 66 6f 72 28 3b 20 21 72 65 61 64 65 72 ...for(; !reader
12c0: 2e 65 6d 70 74 79 20 26 26 20 66 6e 28 72 65 61 .empty && fn(rea
12d0: 64 65 72 2e 66 72 6f 6e 74 29 3b 20 72 65 61 64 der.front); read
12e0: 65 72 2e 70 6f 70 46 72 6f 6e 74 29 0d 0a 09 09 er.popFront)....
12f0: 09 62 75 66 20 7e 3d 20 72 65 61 64 65 72 2e 66 .buf ~= reader.f
1300: 72 6f 6e 74 3b 0d 0a 09 09 72 65 74 75 72 6e 20 ront;....return
1310: 61 73 73 75 6d 65 55 6e 69 71 75 65 28 62 75 66 assumeUnique(buf
1320: 29 3b 0d 0a 09 7d 0a 0a 09 54 6f 6b 65 6e 20 72 );...}...Token r
1330: 65 61 64 4e 65 78 74 28 29 0a 09 7b 0a 09 09 69 eadNext()..{...i
1340: 66 28 20 72 65 61 64 65 72 2e 65 6d 70 74 79 20 f( reader.empty
1350: 29 0a 09 09 09 72 65 74 75 72 6e 20 6e 75 6c 6c )....return null
1360: 3b 0d 0a 09 09 73 63 6f 70 65 28 73 75 63 63 65 ;....scope(succe
1370: 73 73 29 0d 0a 09 09 09 72 65 61 64 57 68 69 6c ss).....readWhil
1380: 65 21 69 73 53 70 61 63 65 28 29 3b 0d 0a 09 09 e!isSpace();....
1390: 69 66 28 20 72 65 61 64 65 72 2e 66 72 6f 6e 74 if( reader.front
13a0: 20 3d 3d 20 27 23 27 20 29 20 2f 2f 20 63 6f 6d == '#' ) // com
13b0: 6d 65 6e 74 0d 0a 09 09 7b 0d 0a 09 09 09 72 65 ment....{.....re
13c0: 61 64 65 72 20 3d 20 66 69 6e 64 28 72 65 61 64 ader = find(read
13d0: 65 72 2c 20 27 5c 6e 27 29 3b 0d 0a 09 09 09 72 er, '\n');.....r
13e0: 65 61 64 57 68 69 6c 65 21 69 73 53 70 61 63 65 eadWhile!isSpace
13f0: 28 29 3b 0d 0a 09 09 09 72 65 74 75 72 6e 20 72 ();.....return r
1400: 65 61 64 4e 65 78 74 28 29 3b 0d 0a 09 09 7d 0a eadNext();....}.
1410: 09 09 65 6c 73 65 20 69 66 28 20 72 65 61 64 65 ..else if( reade
1420: 72 2e 66 72 6f 6e 74 20 3d 3d 20 27 22 27 20 29 r.front == '"' )
1430: 20 2f 2f 20 71 75 6f 74 65 64 0d 0a 09 09 7b 0d // quoted....{.
1440: 0a 09 09 09 61 75 74 6f 20 70 6f 73 20 3d 20 72 ....auto pos = r
1450: 65 61 64 65 72 2e 63 75 72 72 65 6e 74 50 6f 73 eader.currentPos
1460: 69 74 69 6f 6e 28 29 3b 0d 0a 09 09 09 72 65 61 ition();.....rea
1470: 64 65 72 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 der.popFront;...
1480: 09 09 72 65 74 75 72 6e 20 6e 65 77 20 54 6f 6b ..return new Tok
1490: 65 6e 28 70 6f 73 2c 20 72 65 61 64 51 75 6f 74 en(pos, readQuot
14a0: 65 64 28 70 6f 73 29 2c 20 74 72 75 65 29 3b 0d ed(pos), true);.
14b0: 0a 09 09 7d 0d 0a 09 09 65 6c 73 65 20 69 66 28 ...}....else if(
14c0: 20 69 73 53 53 79 6d 62 6f 6c 28 72 65 61 64 65 isSSymbol(reade
14d0: 72 2e 66 72 6f 6e 74 29 20 29 20 2f 2f 20 70 61 r.front) ) // pa
14e0: 72 65 6e 0d 0a 09 09 7b 0d 0a 09 09 09 61 75 74 ren....{.....aut
14f0: 6f 20 70 6f 73 20 3d 20 72 65 61 64 65 72 2e 63 o pos = reader.c
1500: 75 72 72 65 6e 74 50 6f 73 69 74 69 6f 6e 28 29 urrentPosition()
1510: 3b 0d 0a 09 09 09 73 74 72 69 6e 67 20 73 3b 20 ;.....string s;
1520: 73 7e 3d 72 65 61 64 65 72 2e 66 72 6f 6e 74 3b s~=reader.front;
1530: 20 72 65 61 64 65 72 2e 70 6f 70 46 72 6f 6e 74 reader.popFront
1540: 3b 0d 0a 09 09 09 72 65 74 75 72 6e 20 6e 65 77 ;.....return new
1550: 20 54 6f 6b 65 6e 28 70 6f 73 2c 20 73 2c 20 66 Token(pos, s, f
1560: 61 6c 73 65 29 3b 0d 0a 09 09 7d 0d 0a 09 09 65 alse);....}....e
1570: 6c 73 65 20 69 66 28 20 69 73 4d 53 79 6d 62 6f lse if( isMSymbo
1580: 6c 28 72 65 61 64 65 72 2e 66 72 6f 6e 74 29 20 l(reader.front)
1590: 29 20 2f 2f 20 73 79 6d 62 6f 6c 0d 0a 09 09 7b ) // symbol....{
15a0: 0a 09 09 09 61 75 74 6f 20 70 6f 73 20 3d 20 72 ....auto pos = r
15b0: 65 61 64 65 72 2e 63 75 72 72 65 6e 74 50 6f 73 eader.currentPos
15c0: 69 74 69 6f 6e 28 29 3b 0a 09 09 09 72 65 74 75 ition();....retu
15d0: 72 6e 20 6e 65 77 20 54 6f 6b 65 6e 28 70 6f 73 rn new Token(pos
15e0: 2c 20 72 65 61 64 57 68 69 6c 65 21 69 73 4d 53 , readWhile!isMS
15f0: 79 6d 62 6f 6c 28 29 2c 20 66 61 6c 73 65 29 3b ymbol(), false);
1600: 0a 09 09 7d 0a 09 09 65 6c 73 65 0a 09 09 7b 0a ...}...else...{.
1610: 09 09 09 61 75 74 6f 20 70 6f 73 20 3d 20 72 65 ...auto pos = re
1620: 61 64 65 72 2e 63 75 72 72 65 6e 74 50 6f 73 69 ader.currentPosi
1630: 74 69 6f 6e 28 29 3b 0d 0a 09 09 09 72 65 74 75 tion();.....retu
1640: 72 6e 20 6e 65 77 20 54 6f 6b 65 6e 28 70 6f 73 rn new Token(pos
1650: 2c 20 72 65 61 64 57 68 69 6c 65 21 69 73 4c 65 , readWhile!isLe
1660: 74 74 65 72 28 29 2c 20 66 61 6c 73 65 29 3b 0d tter(), false);.
1670: 0a 09 09 7d 0a 09 7d 0a 7d 0a 0a 75 6e 69 74 74 ...}..}.}..unitt
1680: 65 73 74 0a 7b 0a 09 61 73 73 65 72 74 28 20 73 est.{..assert( s
1690: 74 64 2e 72 61 6e 67 65 2e 69 73 46 6f 72 77 61 td.range.isForwa
16a0: 72 64 52 61 6e 67 65 21 28 4c 65 78 65 72 29 20 rdRange!(Lexer)
16b0: 29 3b 0a 09 61 73 73 65 72 74 28 20 69 73 28 45 );..assert( is(E
16c0: 6c 65 6d 65 6e 74 54 79 70 65 21 28 4c 65 78 65 lementType!(Lexe
16d0: 72 29 20 3d 3d 20 54 6f 6b 65 6e 29 20 29 3b 0d r) == Token) );.
16e0: 0a 7d 0a 0a 75 6e 69 74 74 65 73 74 0a 7b 0a 09 .}..unittest.{..
16f0: 61 75 74 6f 20 6c 65 78 20 3d 20 6c 65 78 65 72 auto lex = lexer
1700: 46 72 6f 6d 53 74 72 69 6e 67 28 22 74 68 69 73 FromString("this
1710: 09 69 73 20 61 20 5c 74 5c 72 5c 6e 20 70 65 6e .is a \t\r\n pen
1720: 20 3a 2d 28 20 40 40 3b 20 20 22 29 3b 0a 09 54 :-( @@; ");..T
1730: 6f 6b 65 6e 5b 5d 20 74 73 20 3d 20 73 74 64 2e oken[] ts = std.
1740: 61 72 72 61 79 2e 61 72 72 61 79 28 6c 65 78 29 array.array(lex)
1750: 3b 0a 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 ;...assert_eq( t
1760: 73 5b 30 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c s[0].pos.lineno,
1770: 20 31 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 1 );..assert_eq
1780: 28 20 74 73 5b 30 5d 2e 70 6f 73 2e 63 6f 6c 75 ( ts[0].pos.colu
1790: 6d 6e 2c 20 31 20 29 3b 0a 09 61 73 73 65 72 74 mn, 1 );..assert
17a0: 28 20 20 20 21 74 73 5b 30 5d 2e 71 75 6f 74 65 ( !ts[0].quote
17b0: 64 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 d );..assert_eq(
17c0: 20 74 73 5b 30 5d 2e 73 74 72 2c 20 22 74 68 69 ts[0].str, "thi
17d0: 73 22 20 29 3b 0a 0a 09 61 73 73 65 72 74 5f 65 s" );...assert_e
17e0: 71 28 20 74 73 5b 31 5d 2e 70 6f 73 2e 6c 69 6e q( ts[1].pos.lin
17f0: 65 6e 6f 2c 20 31 20 29 3b 0a 09 61 73 73 65 72 eno, 1 );..asser
1800: 74 5f 65 71 28 20 74 73 5b 31 5d 2e 70 6f 73 2e t_eq( ts[1].pos.
1810: 63 6f 6c 75 6d 6e 2c 20 36 20 29 3b 0a 09 61 73 column, 6 );..as
1820: 73 65 72 74 28 20 20 20 21 74 73 5b 31 5d 2e 71 sert( !ts[1].q
1830: 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 uoted );..assert
1840: 5f 65 71 28 20 74 73 5b 31 5d 2e 73 74 72 2c 20 _eq( ts[1].str,
1850: 22 69 73 22 20 29 3b 0a 0a 09 61 73 73 65 72 74 "is" );...assert
1860: 5f 65 71 28 20 74 73 5b 32 5d 2e 70 6f 73 2e 6c _eq( ts[2].pos.l
1870: 69 6e 65 6e 6f 2c 20 31 20 29 3b 0a 09 61 73 73 ineno, 1 );..ass
1880: 65 72 74 5f 65 71 28 20 74 73 5b 32 5d 2e 70 6f ert_eq( ts[2].po
1890: 73 2e 63 6f 6c 75 6d 6e 2c 20 39 20 29 3b 0a 09 s.column, 9 );..
18a0: 61 73 73 65 72 74 28 20 20 20 21 74 73 5b 32 5d assert( !ts[2]
18b0: 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 .quoted );..asse
18c0: 72 74 5f 65 71 28 20 74 73 5b 32 5d 2e 73 74 72 rt_eq( ts[2].str
18d0: 2c 20 22 61 22 20 29 3b 0a 0a 09 61 73 73 65 72 , "a" );...asser
18e0: 74 5f 65 71 28 20 74 73 5b 33 5d 2e 70 6f 73 2e t_eq( ts[3].pos.
18f0: 6c 69 6e 65 6e 6f 2c 20 32 20 29 3b 0a 09 61 73 lineno, 2 );..as
1900: 73 65 72 74 5f 65 71 28 20 74 73 5b 33 5d 2e 70 sert_eq( ts[3].p
1910: 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 32 20 29 3b 0a os.column, 2 );.
1920: 09 61 73 73 65 72 74 28 20 20 20 21 74 73 5b 33 .assert( !ts[3
1930: 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 ].quoted );..ass
1940: 65 72 74 5f 65 71 28 20 74 73 5b 33 5d 2e 73 74 ert_eq( ts[3].st
1950: 72 2c 20 22 70 65 6e 22 20 29 3b 0a 0a 09 61 73 r, "pen" );...as
1960: 73 65 72 74 5f 65 71 28 20 74 73 5b 34 5d 2e 70 sert_eq( ts[4].p
1970: 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 32 20 29 3b 0a os.lineno, 2 );.
1980: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 34 .assert_eq( ts[4
1990: 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 36 20 ].pos.column, 6
19a0: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 );..assert_eq( t
19b0: 73 5b 34 5d 2e 73 74 72 2c 20 22 3a 2d 22 20 29 s[4].str, ":-" )
19c0: 3b 0a 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 ;...assert_eq( t
19d0: 73 5b 35 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c s[5].pos.lineno,
19e0: 20 32 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 2 );...assert_e
19f0: 71 28 20 74 73 5b 35 5d 2e 70 6f 73 2e 63 6f 6c q( ts[5].pos.col
1a00: 75 6d 6e 2c 20 38 20 29 3b 0d 0a 09 61 73 73 65 umn, 8 );...asse
1a10: 72 74 5f 65 71 28 20 74 73 5b 35 5d 2e 73 74 72 rt_eq( ts[5].str
1a20: 2c 20 22 28 22 20 29 3b 0d 0a 09 61 73 73 65 72 , "(" );...asser
1a30: 74 5f 65 71 28 20 74 73 5b 36 5d 2e 73 74 72 2c t_eq( ts[6].str,
1a40: 20 22 40 40 22 20 29 3b 0d 0a 09 61 73 73 65 72 "@@" );...asser
1a50: 74 5f 65 71 28 20 74 73 5b 37 5d 2e 73 74 72 2c t_eq( ts[7].str,
1a60: 20 22 3b 22 20 29 3b 20 2f 2f 20 70 61 72 65 6e ";" ); // paren
1a70: 20 61 6e 64 20 73 69 6d 69 63 6f 6c 6f 6e 73 20 and simicolons
1a80: 61 72 65 20 73 70 6c 69 74 0d 0a 0d 0a 09 61 73 are split.....as
1a90: 73 65 72 74 5f 65 71 28 20 74 73 2e 6c 65 6e 67 sert_eq( ts.leng
1aa0: 74 68 2c 20 38 20 29 3b 0a 7d 0a 0a 75 6e 69 74 th, 8 );.}..unit
1ab0: 74 65 73 74 0a 7b 0a 09 2f 2f 20 21 21 20 62 65 test.{..// !! be
1ac0: 20 73 75 72 65 20 74 6f 20 72 75 6e 20 74 68 65 sure to run the
1ad0: 20 75 6e 69 74 74 65 73 74 20 6f 6e 20 74 68 65 unittest on the
1ae0: 20 72 6f 6f 74 20 6f 66 20 74 68 65 20 73 6f 75 root of the sou
1af0: 72 63 65 20 64 69 72 65 63 74 6f 72 79 0a 09 61 rce directory..a
1b00: 75 74 6f 20 6c 65 78 66 20 3d 20 6c 65 78 65 72 uto lexf = lexer
1b10: 46 72 6f 6d 46 69 6c 65 28 22 70 6f 6c 65 6d 79 FromFile("polemy
1b20: 2f 6c 65 78 2e 64 22 29 3b 09 0a 09 6c 65 78 66 /lex.d");...lexf
1b30: 20 3d 20 66 69 6e 64 21 60 61 2e 73 74 72 20 3d = find!`a.str =
1b40: 3d 20 22 6d 6f 64 75 6c 65 22 60 28 6c 65 78 66 = "module"`(lexf
1b50: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c );..assert_eq( l
1b60: 65 78 66 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 exf.front.str, "
1b70: 6d 6f 64 75 6c 65 22 20 29 3b 0a 09 61 73 73 65 module" );..asse
1b80: 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e rt_eq( lexf.fron
1b90: 74 2e 70 6f 73 2e 66 69 6c 65 6e 61 6d 65 2c 20 t.pos.filename,
1ba0: 22 70 6f 6c 65 6d 79 2f 6c 65 78 2e 64 22 20 29 "polemy/lex.d" )
1bb0: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 ;..assert_eq( le
1bc0: 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e 6c 69 6e xf.front.pos.lin
1bd0: 65 6e 6f 2c 20 37 20 29 3b 0a 09 61 73 73 65 72 eno, 7 );..asser
1be0: 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 t_eq( lexf.front
1bf0: 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 31 20 29 .pos.column, 1 )
1c00: 3b 0a 09 6c 65 78 66 2e 70 6f 70 46 72 6f 6e 74 ;..lexf.popFront
1c10: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 ;..assert_eq( le
1c20: 78 66 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 70 xf.front.str, "p
1c30: 6f 6c 65 6d 79 22 20 29 3b 0a 09 61 73 73 65 72 olemy" );..asser
1c40: 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 t_eq( lexf.front
1c50: 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 37 20 29 .pos.lineno, 7 )
1c60: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 ;..assert_eq( le
1c70: 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e 63 6f 6c xf.front.pos.col
1c80: 75 6d 6e 2c 20 38 20 29 3b 0a 09 6c 65 78 66 2e umn, 8 );..lexf.
1c90: 70 6f 70 46 72 6f 6e 74 3b 0a 09 6c 65 78 66 2e popFront;..lexf.
1ca0: 70 6f 70 46 72 6f 6e 74 3b 0a 09 6c 65 78 66 2e popFront;..lexf.
1cb0: 70 6f 70 46 72 6f 6e 74 3b 0a 09 6c 65 78 66 2e popFront;..lexf.
1cc0: 70 6f 70 46 72 6f 6e 74 3b 0a 09 61 73 73 65 72 popFront;..asser
1cd0: 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 t_eq( lexf.front
1ce0: 2e 73 74 72 2c 20 22 69 6d 70 6f 72 74 22 20 29 .str, "import" )
1cf0: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 ;..assert_eq( le
1d00: 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e 6c 69 6e xf.front.pos.lin
1d10: 65 6e 6f 2c 20 38 20 29 3b 0a 09 61 73 73 65 72 eno, 8 );..asser
1d20: 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 t_eq( lexf.front
1d30: 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 31 20 29 .pos.column, 1 )
1d40: 3b 0a 7d 0a 0d 0a 75 6e 69 74 74 65 73 74 0d 0a ;.}...unittest..
1d50: 7b 0d 0a 09 61 73 73 65 72 74 5f 74 68 72 6f 77 {...assert_throw
1d60: 21 4c 65 78 45 78 63 65 70 74 69 6f 6e 28 20 6c !LexException( l
1d70: 65 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 60 exerFromString(`
1d80: 22 60 29 20 29 3b 0d 0a 7d 0d 0a 0a 75 6e 69 74 "`) );..}...unit
1d90: 74 65 73 74 0a 7b 0a 09 61 75 74 6f 20 6c 65 78 test.{..auto lex
1da0: 20 3d 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 = lexerFromStri
1db0: 6e 67 28 60 6d 79 20 23 20 63 6f 6d 6d 65 6e 74 ng(`my # comment
1dc0: 20 73 68 6f 75 6c 64 60 7e 22 5c 72 5c 6e 22 7e should`~"\r\n"~
1dd0: 60 23 20 68 65 79 21 21 0a 62 65 20 69 67 6e 6f `# hey!!.be igno
1de0: 72 65 64 2e 0a 68 61 68 61 68 61 22 68 69 68 69 red..hahaha"hihi
1df0: 68 69 22 22 68 75 5c 5c 5c 22 68 75 68 75 22 23 hi""hu\\\"huhu"#
1e00: 31 32 33 20 61 61 0a 31 32 33 20 61 61 20 22 61 123 aa.123 aa "a
1e10: 61 61 60 7e 22 5c 6e 22 7e 60 62 62 62 20 23 20 aa`~"\n"~`bbb #
1e20: 31 32 33 60 7e 22 5c 72 5c 6e 22 7e 60 65 65 65 123`~"\r\n"~`eee
1e30: 22 0a 7a 7a 7a 0a 60 29 3b 0a 09 54 6f 6b 65 6e ".zzz.`);..Token
1e40: 5b 5d 20 74 73 20 3d 20 73 74 64 2e 61 72 72 61 [] ts = std.arra
1e50: 79 2e 61 72 72 61 79 28 6c 65 78 29 3b 0a 09 61 y.array(lex);..a
1e60: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 30 5d 2e ssert_eq( ts[0].
1e70: 73 74 72 2c 20 22 6d 79 22 20 29 3b 0a 09 61 73 str, "my" );..as
1e80: 73 65 72 74 5f 65 71 28 20 74 73 5b 30 5d 2e 70 sert_eq( ts[0].p
1e90: 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 31 20 29 3b 0a os.lineno, 1 );.
1ea0: 09 61 73 73 65 72 74 28 20 20 20 21 74 73 5b 30 .assert( !ts[0
1eb0: 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 ].quoted );..ass
1ec0: 65 72 74 5f 65 71 28 20 74 73 5b 31 5d 2e 73 74 ert_eq( ts[1].st
1ed0: 72 2c 20 22 62 65 22 20 29 3b 0a 09 61 73 73 65 r, "be" );..asse
1ee0: 72 74 5f 65 71 28 20 74 73 5b 31 5d 2e 70 6f 73 rt_eq( ts[1].pos
1ef0: 2e 6c 69 6e 65 6e 6f 2c 20 33 20 29 3b 0a 09 61 .lineno, 3 );..a
1f00: 73 73 65 72 74 28 20 20 20 21 74 73 5b 31 5d 2e ssert( !ts[1].
1f10: 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 quoted );..asser
1f20: 74 5f 65 71 28 20 74 73 5b 32 5d 2e 73 74 72 2c t_eq( ts[2].str,
1f30: 20 22 69 67 6e 6f 72 65 64 22 20 29 3b 0a 09 61 "ignored" );..a
1f40: 73 73 65 72 74 28 20 20 20 21 74 73 5b 32 5d 2e ssert( !ts[2].
1f50: 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 quoted );..asser
1f60: 74 5f 65 71 28 20 74 73 5b 33 5d 2e 73 74 72 2c t_eq( ts[3].str,
1f70: 20 22 2e 22 20 29 3b 0a 09 61 73 73 65 72 74 28 "." );..assert(
1f80: 20 20 20 21 74 73 5b 33 5d 2e 71 75 6f 74 65 64 !ts[3].quoted
1f90: 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 );..assert_eq(
1fa0: 74 73 5b 34 5d 2e 73 74 72 2c 20 22 68 61 68 61 ts[4].str, "haha
1fb0: 68 61 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 ha" );..assert_e
1fc0: 71 28 20 74 73 5b 34 5d 2e 70 6f 73 2e 6c 69 6e q( ts[4].pos.lin
1fd0: 65 6e 6f 2c 20 34 20 29 3b 0a 09 61 73 73 65 72 eno, 4 );..asser
1fe0: 74 28 20 20 20 21 74 73 5b 34 5d 2e 71 75 6f 74 t( !ts[4].quot
1ff0: 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 ed );..assert_eq
2000: 28 20 74 73 5b 35 5d 2e 73 74 72 2c 20 22 68 69 ( ts[5].str, "hi
2010: 68 69 68 69 22 20 29 3b 0a 09 61 73 73 65 72 74 hihi" );..assert
2020: 5f 65 71 28 20 74 73 5b 35 5d 2e 70 6f 73 2e 6c _eq( ts[5].pos.l
2030: 69 6e 65 6e 6f 2c 20 34 20 29 3b 0a 09 61 73 73 ineno, 4 );..ass
2040: 65 72 74 28 20 20 20 20 74 73 5b 35 5d 2e 71 75 ert( ts[5].qu
2050: 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f oted );..assert_
2060: 65 71 28 20 74 73 5b 36 5d 2e 73 74 72 2c 20 60 eq( ts[6].str, `
2070: 68 75 5c 22 68 75 68 75 60 20 29 3b 0a 09 61 73 hu\"huhu` );..as
2080: 73 65 72 74 5f 65 71 28 20 74 73 5b 36 5d 2e 70 sert_eq( ts[6].p
2090: 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 34 20 29 3b 0a os.lineno, 4 );.
20a0: 09 61 73 73 65 72 74 28 20 20 20 20 74 73 5b 36 .assert( ts[6
20b0: 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 ].quoted );..ass
20c0: 65 72 74 5f 65 71 28 20 74 73 5b 37 5d 2e 73 74 ert_eq( ts[7].st
20d0: 72 2c 20 22 31 32 33 22 20 29 3b 0a 09 61 73 73 r, "123" );..ass
20e0: 65 72 74 5f 65 71 28 20 74 73 5b 37 5d 2e 70 6f ert_eq( ts[7].po
20f0: 73 2e 6c 69 6e 65 6e 6f 2c 20 35 20 29 3b 0a 09 s.lineno, 5 );..
2100: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 38 5d assert_eq( ts[8]
2110: 2e 73 74 72 2c 20 22 61 61 22 20 29 3b 0a 09 61 .str, "aa" );..a
2120: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 39 5d 2e ssert_eq( ts[9].
2130: 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 35 20 29 3b pos.lineno, 5 );
2140: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b ..assert_eq( ts[
2150: 39 5d 2e 73 74 72 2c 20 22 61 61 61 5c 6e 62 62 9].str, "aaa\nbb
2160: 62 20 23 20 31 32 33 5c 6e 65 65 65 22 20 29 3b b # 123\neee" );
2170: 0a 09 61 73 73 65 72 74 28 20 20 20 20 74 73 5b ..assert( ts[
2180: 39 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 9].quoted );..as
2190: 73 65 72 74 5f 65 71 28 20 74 73 5b 31 30 5d 2e sert_eq( ts[10].
21a0: 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 38 20 29 3b pos.lineno, 8 );
21b0: 0a 09 61 73 73 65 72 74 28 20 20 20 21 74 73 5b ..assert( !ts[
21c0: 31 30 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 10].quoted );..a
21d0: 73 73 65 72 74 5f 65 71 28 20 74 73 2e 6c 65 6e ssert_eq( ts.len
21e0: 67 74 68 2c 20 31 31 20 29 3b 0a 7d 0a 0d 0a 75 gth, 11 );.}...u
21f0: 6e 69 74 74 65 73 74 0d 0a 7b 0d 0a 09 61 75 74 nittest..{...aut
2200: 6f 20 6c 65 78 32 20 3d 20 6c 65 78 65 72 46 72 o lex2 = lexerFr
2210: 6f 6d 53 74 72 69 6e 67 28 22 20 61 31 32 5c 6e omString(" a12\n
2220: 33 61 20 35 20 22 29 3b 0d 0a 09 61 73 73 65 72 3a 5 ");...asser
2230: 74 5f 65 71 28 20 6c 65 78 32 2e 66 72 6f 6e 74 t_eq( lex2.front
2240: 2e 73 74 72 2c 20 22 61 31 32 22 20 29 3b 0d 0a .str, "a12" );..
2250: 09 6c 65 78 32 2e 70 6f 70 46 72 6f 6e 74 3b 0d .lex2.popFront;.
2260: 0a 09 61 75 74 6f 20 6c 65 78 33 20 3d 20 6c 65 ..auto lex3 = le
2270: 78 32 2e 73 61 76 65 3b 0d 0a 09 61 73 73 65 72 x2.save;...asser
2280: 74 5f 65 71 28 20 6c 65 78 32 2e 66 72 6f 6e 74 t_eq( lex2.front
2290: 2e 73 74 72 2c 20 22 33 61 22 20 29 3b 0d 0a 09 .str, "3a" );...
22a0: 6c 65 78 32 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a lex2.popFront;..
22b0: 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 33 .assert_eq( lex3
22c0: 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 33 61 22 .front.str, "3a"
22d0: 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 );...assert_eq(
22e0: 20 6c 65 78 32 2e 66 72 6f 6e 74 2e 73 74 72 2c lex2.front.str,
22f0: 20 22 35 22 20 29 3b 0d 0a 09 6c 65 78 32 2e 70 "5" );...lex2.p
2300: 6f 70 46 72 6f 6e 74 3b 0d 0a 09 6c 65 78 33 2e opFront;...lex3.
2310: 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 61 73 73 65 popFront;...asse
2320: 72 74 28 20 6c 65 78 32 2e 65 6d 70 74 79 20 29 rt( lex2.empty )
2330: 3b 0d 0a 09 61 73 73 65 72 74 28 20 21 6c 65 78 ;...assert( !lex
2340: 33 2e 65 6d 70 74 79 20 29 3b 0d 0a 09 61 73 73 3.empty );...ass
2350: 65 72 74 5f 65 71 28 20 6c 65 78 33 2e 66 72 6f ert_eq( lex3.fro
2360: 6e 74 2e 73 74 72 2c 20 22 35 22 20 29 3b 0d 0a nt.str, "5" );..
2370: 7d 0d 0a 0d 0a 75 6e 69 74 74 65 73 74 0d 0a 7b }....unittest..{
2380: 0d 0a 09 61 75 74 6f 20 6c 65 78 20 3d 20 6c 65 ...auto lex = le
2390: 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 60 3d xerFromString(`=
23a0: 22 22 60 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 ""`);...assert_e
23b0: 71 28 6c 65 78 2e 66 72 6f 6e 74 2e 73 74 72 2c q(lex.front.str,
23c0: 20 22 3d 22 29 3b 20 6c 65 78 2e 70 6f 70 46 72 "="); lex.popFr
23d0: 6f 6e 74 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 ont;...assert_eq
23e0: 28 6c 65 78 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 (lex.front.str,
23f0: 22 22 29 3b 20 6c 65 78 2e 70 6f 70 46 72 6f 6e ""); lex.popFron
2400: 74 3b 0d 0a 09 61 73 73 65 72 74 28 20 6c 65 78 t;...assert( lex
2410: 2e 65 6d 70 74 79 20 29 3b 0d 0a 7d 0d 0a 0d 0a .empty );..}....
2420: 2f 2f 2f 20 46 6f 72 77 61 72 64 20 72 61 6e 67 /// Forward rang
2430: 65 20 66 6f 72 20 72 65 61 64 65 72 20 63 68 61 e for reader cha
2440: 72 61 63 74 65 72 20 62 79 20 63 68 61 72 61 63 racter by charac
2450: 74 65 72 2c 0d 0a 2f 2f 2f 20 6b 65 65 70 69 6e ter,../// keepin
2460: 67 20 74 72 61 63 6b 20 6f 66 20 70 6f 73 69 74 g track of posit
2470: 69 6f 6e 20 69 6e 66 6f 72 6d 61 74 69 6f 6e 20 ion information
2480: 61 6e 64 20 63 61 72 69 6e 67 20 5c 72 5c 6e 20 and caring \r\n
2490: 2d 3e 20 5c 6e 20 63 6f 6e 76 65 72 73 69 6f 6e -> \n conversion
24a0: 2e 0d 0a 0d 0a 70 72 69 76 61 74 65 0d 0a 73 74 .....private..st
24b0: 72 75 63 74 20 50 6f 73 69 74 69 6f 6e 65 64 52 ruct PositionedR
24c0: 65 61 64 65 72 28 43 68 61 72 53 65 71 29 0d 0a eader(CharSeq)..
24d0: 09 69 66 28 20 69 73 46 6f 72 77 61 72 64 52 61 .if( isForwardRa
24e0: 6e 67 65 21 28 43 68 61 72 53 65 71 29 20 26 26 nge!(CharSeq) &&
24f0: 20 69 73 28 45 6c 65 6d 65 6e 74 54 79 70 65 21 is(ElementType!
2500: 28 43 68 61 72 53 65 71 29 20 3d 3d 20 64 63 68 (CharSeq) == dch
2510: 61 72 29 20 29 0d 0a 7b 0d 0a 09 43 68 61 72 53 ar) )..{...CharS
2520: 65 71 20 62 75 66 66 65 72 3b 0d 0a 09 73 74 72 eq buffer;...str
2530: 69 6e 67 20 20 66 69 6c 65 6e 61 6d 65 3b 0d 0a ing filename;..
2540: 09 69 6e 74 20 20 20 20 20 6c 69 6e 65 6e 6f 3b .int lineno;
2550: 0d 0a 09 69 6e 74 20 20 20 20 20 63 6f 6c 75 6d ...int colum
2560: 6e 3b 0d 0a 0d 0a 09 2f 2f 2f 20 52 61 6e 67 65 n;...../// Range
2570: 20 70 72 69 6d 69 74 69 76 65 0d 0a 09 62 6f 6f primitive...boo
2580: 6c 20 65 6d 70 74 79 28 29 20 2f 2a 40 70 72 6f l empty() /*@pro
2590: 70 65 72 74 79 2a 2f 0d 0a 09 7b 0d 0a 09 09 72 perty*/...{....r
25a0: 65 74 75 72 6e 20 62 75 66 66 65 72 2e 65 6d 70 eturn buffer.emp
25b0: 74 79 3b 0d 0a 09 7d 0d 0a 0d 0a 09 2f 2f 2f 20 ty;...}.....///
25c0: 52 61 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0d Range primitive.
25d0: 0a 09 64 63 68 61 72 20 66 72 6f 6e 74 28 29 20 ..dchar front()
25e0: 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0d 0a 09 /*@property*/...
25f0: 7b 0d 0a 09 09 64 63 68 61 72 20 63 20 3d 20 62 {....dchar c = b
2600: 75 66 66 65 72 2e 66 72 6f 6e 74 3b 0d 0a 09 09 uffer.front;....
2610: 72 65 74 75 72 6e 20 28 63 3d 3d 27 5c 72 27 20 return (c=='\r'
2620: 3f 20 27 5c 6e 27 20 3a 20 63 29 3b 0d 0a 09 7d ? '\n' : c);...}
2630: 0d 0a 0d 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 70 ...../// Range p
2640: 72 69 6d 69 74 69 76 65 0d 0a 09 76 6f 69 64 20 rimitive...void
2650: 70 6f 70 46 72 6f 6e 74 28 29 20 2f 2a 40 70 72 popFront() /*@pr
2660: 6f 70 65 72 74 79 2a 2f 0d 0a 09 7b 0d 0a 09 09 operty*/...{....
2670: 64 63 68 61 72 20 63 20 3d 20 62 75 66 66 65 72 dchar c = buffer
2680: 2e 66 72 6f 6e 74 3b 0d 0a 09 09 62 75 66 66 65 .front;....buffe
2690: 72 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 09 69 r.popFront;....i
26a0: 66 28 20 63 3d 3d 27 5c 72 27 20 29 0d 0a 09 09 f( c=='\r' )....
26b0: 7b 0d 0a 09 09 09 69 66 28 20 21 62 75 66 66 65 {.....if( !buffe
26c0: 72 2e 65 6d 70 74 79 20 26 26 20 62 75 66 66 65 r.empty && buffe
26d0: 72 2e 66 72 6f 6e 74 3d 3d 27 5c 6e 27 20 29 0d r.front=='\n' ).
26e0: 0a 09 09 09 09 62 75 66 66 65 72 2e 70 6f 70 46 .....buffer.popF
26f0: 72 6f 6e 74 3b 0d 0a 09 09 09 63 20 3d 20 27 5c ront;.....c = '\
2700: 6e 27 3b 0d 0a 09 09 7d 0d 0a 09 09 69 66 28 20 n';....}....if(
2710: 63 3d 3d 27 5c 6e 27 20 29 0d 0a 09 09 7b 0d 0a c=='\n' )....{..
2720: 09 09 09 6c 69 6e 65 6e 6f 20 2b 2b 3b 0d 0a 09 ...lineno ++;...
2730: 09 09 63 6f 6c 75 6d 6e 20 3d 20 31 3b 0d 0a 09 ..column = 1;...
2740: 09 7d 0d 0a 09 09 65 6c 73 65 0d 0a 09 09 09 63 .}....else.....c
2750: 6f 6c 75 6d 6e 20 2b 2b 3b 0d 0a 09 7d 0d 0a 0d olumn ++;...}...
2760: 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 6d ../// Range prim
2770: 69 74 69 76 65 0d 0a 09 74 79 70 65 6f 66 28 74 itive...typeof(t
2780: 68 69 73 29 20 73 61 76 65 28 29 20 2f 2a 40 70 his) save() /*@p
2790: 72 6f 70 65 72 74 79 2a 2f 0d 0a 09 7b 0d 0a 09 roperty*/...{...
27a0: 09 72 65 74 75 72 6e 20 74 68 69 73 3b 0d 0a 09 .return this;...
27b0: 7d 0d 0a 0d 0a 09 2f 2f 2f 20 47 65 74 20 74 68 }...../// Get th
27c0: 65 20 63 75 72 72 65 6e 74 20 70 6f 73 69 74 69 e current positi
27d0: 6f 6e 0d 0a 09 69 6d 6d 75 74 61 62 6c 65 28 4c on...immutable(L
27e0: 65 78 50 6f 73 69 74 69 6f 6e 29 20 63 75 72 72 exPosition) curr
27f0: 65 6e 74 50 6f 73 69 74 69 6f 6e 28 29 20 63 6f entPosition() co
2800: 6e 73 74 0d 0a 09 7b 0d 0a 09 09 72 65 74 75 72 nst...{....retur
2810: 6e 20 6e 65 77 20 69 6d 6d 75 74 61 62 6c 65 28 n new immutable(
2820: 4c 65 78 50 6f 73 69 74 69 6f 6e 29 28 66 69 6c LexPosition)(fil
2830: 65 6e 61 6d 65 2c 20 6c 69 6e 65 6e 6f 2c 20 63 ename, lineno, c
2840: 6f 6c 75 6d 6e 29 3b 0d 0a 09 7d 0d 0a 7d 0d 0a olumn);...}..}..
2850: 0d 0a 75 6e 69 74 74 65 73 74 0d 0a 7b 0d 0a 09 ..unittest..{...
2860: 61 73 73 65 72 74 28 20 69 73 46 6f 72 77 61 72 assert( isForwar
2870: 64 52 61 6e 67 65 21 28 50 6f 73 69 74 69 6f 6e dRange!(Position
2880: 65 64 52 65 61 64 65 72 21 73 74 72 69 6e 67 29 edReader!string)
2890: 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 69 73 );...assert( is
28a0: 28 45 6c 65 6d 65 6e 74 54 79 70 65 21 28 50 6f (ElementType!(Po
28b0: 73 69 74 69 6f 6e 65 64 52 65 61 64 65 72 21 73 sitionedReader!s
28c0: 74 72 69 6e 67 29 20 3d 3d 20 64 63 68 61 72 29 tring) == dchar)
28d0: 20 29 3b 0d 0a 7d 0d 0a );..}..