0000: 2f 2a 2a 0a 20 2a 20 41 75 74 68 6f 72 73 3a 20 /**. * Authors:
0010: 6b 2e 69 6e 61 62 61 0a 20 2a 20 4c 69 63 65 6e k.inaba. * Licen
0020: 73 65 3a 20 4e 59 53 4c 20 30 2e 39 39 38 32 20 se: NYSL 0.9982
0030: 68 74 74 70 3a 2f 2f 77 77 77 2e 6b 6d 6f 6e 6f http://www.kmono
0040: 73 2e 6e 65 74 2f 6e 79 73 6c 2f 0a 20 2a 0a 20 s.net/nysl/. *.
0050: 2a 20 4c 65 78 65 72 20 66 6f 72 20 50 6f 6c 65 * Lexer for Pole
0060: 6d 79 20 70 72 6f 67 72 61 6d 6d 69 6e 67 20 6c my programming l
0070: 61 6e 67 75 61 67 65 2e 0a 20 2a 2f 0a 6d 6f 64 anguage.. */.mod
0080: 75 6c 65 20 70 6f 6c 65 6d 79 2e 6c 65 78 3b 0a ule polemy.lex;.
0090: 69 6d 70 6f 72 74 20 70 6f 6c 65 6d 79 2e 5f 63 import polemy._c
00a0: 6f 6d 6d 6f 6e 3b 0a 69 6d 70 6f 72 74 20 73 74 ommon;.import st
00b0: 64 2e 66 69 6c 65 20 20 3a 20 72 65 61 64 54 65 d.file : readTe
00c0: 78 74 3b 0a 69 6d 70 6f 72 74 20 73 74 64 2e 63 xt;.import std.c
00d0: 74 79 70 65 20 3a 20 69 73 73 70 61 63 65 2c 20 type : isspace,
00e0: 69 73 61 6c 6e 75 6d 3b 0d 0a 0d 0a 2f 2f 2f 20 isalnum;....///
00f0: 45 78 63 65 70 74 69 6f 6e 20 66 72 6f 6d 20 74 Exception from t
0100: 68 69 73 20 6d 6f 64 75 6c 65 0d 0a 0d 0a 63 6c his module....cl
0110: 61 73 73 20 4c 65 78 45 78 63 65 70 74 69 6f 6e ass LexException
0120: 20 3a 20 45 78 63 65 70 74 69 6f 6e 0d 0a 7b 0d : Exception..{.
0130: 0a 09 74 68 69 73 28 20 63 6f 6e 73 74 20 4c 65 ..this( const Le
0140: 78 50 6f 73 69 74 69 6f 6e 20 70 6f 73 2c 20 73 xPosition pos, s
0150: 74 72 69 6e 67 20 6d 73 67 20 29 0d 0a 09 09 7b tring msg )....{
0160: 20 73 75 70 65 72 28 73 70 72 69 6e 74 66 21 22 super(sprintf!"
0170: 25 73 20 5b 25 73 5d 22 28 6d 73 67 2c 20 70 6f %s [%s]"(msg, po
0180: 73 29 29 3b 20 74 68 69 73 2e 70 6f 73 20 3d 20 s)); this.pos =
0190: 70 6f 73 3b 20 7d 0d 0a 09 63 6f 6e 73 74 20 4c pos; }...const L
01a0: 65 78 50 6f 73 69 74 69 6f 6e 20 70 6f 73 3b 0d exPosition pos;.
01b0: 0a 7d 3b 0a 0a 2f 2f 2f 20 52 65 70 72 65 73 65 .};../// Represe
01c0: 6e 74 73 20 61 20 70 6f 73 69 74 69 6f 6e 20 69 nts a position i
01d0: 6e 20 61 20 73 6f 75 72 63 65 20 63 6f 64 65 0a n a source code.
01e0: 0a 63 6c 61 73 73 20 4c 65 78 50 6f 73 69 74 69 .class LexPositi
01f0: 6f 6e 0a 7b 0a 09 69 6d 6d 75 74 61 62 6c 65 20 on.{..immutable
0200: 73 74 72 69 6e 67 20 66 69 6c 65 6e 61 6d 65 3b string filename;
0210: 20 2f 2f 2f 20 6e 61 6d 65 20 6f 66 20 74 68 65 /// name of the
0220: 20 73 6f 75 72 63 65 20 66 69 6c 65 0a 09 69 6d source file..im
0230: 6d 75 74 61 62 6c 65 20 69 6e 74 20 20 20 20 6c mutable int l
0240: 69 6e 65 6e 6f 3b 20 20 20 2f 2f 2f 20 6c 69 6e ineno; /// lin
0250: 65 20 6e 75 6d 62 65 72 2c 20 31 2c 20 32 2c 20 e number, 1, 2,
0260: 2e 2e 2e 0a 09 69 6d 6d 75 74 61 62 6c 65 20 69 .....immutable i
0270: 6e 74 20 20 20 20 63 6f 6c 75 6d 6e 3b 20 20 20 nt column;
0280: 2f 2f 2f 20 63 6f 6c 75 6d 6e 2c 20 31 2c 20 32 /// column, 1, 2
0290: 2c 20 2e 2e 2e 0a 0a 09 6f 76 65 72 72 69 64 65 , ......override
02a0: 20 73 74 72 69 6e 67 20 74 6f 53 74 72 69 6e 67 string toString
02b0: 28 29 20 63 6f 6e 73 74 0a 09 09 7b 20 72 65 74 () const...{ ret
02c0: 75 72 6e 20 73 70 72 69 6e 74 66 21 22 25 73 3a urn sprintf!"%s:
02d0: 25 64 3a 25 64 22 28 66 69 6c 65 6e 61 6d 65 2c %d:%d"(filename,
02e0: 20 6c 69 6e 65 6e 6f 2c 20 63 6f 6c 75 6d 6e 29 lineno, column)
02f0: 3b 20 7d 0a 0a 09 6d 69 78 69 6e 20 53 69 6d 70 ; }...mixin Simp
0300: 6c 65 43 6f 6e 73 74 72 75 63 74 6f 72 3b 0a 09 leConstructor;..
0310: 6d 69 78 69 6e 20 53 69 6d 70 6c 65 43 6f 6d 70 mixin SimpleComp
0320: 61 72 65 3b 0a 7d 0a 0a 75 6e 69 74 74 65 73 74 are;.}..unittest
0330: 0a 7b 0a 09 61 75 74 6f 20 70 20 3d 20 6e 65 77 .{..auto p = new
0340: 20 4c 65 78 50 6f 73 69 74 69 6f 6e 28 22 68 65 LexPosition("he
0350: 6c 6c 6f 2e 63 70 70 22 2c 20 31 32 33 2c 20 34 llo.cpp", 123, 4
0360: 35 29 3b 0a 09 61 75 74 6f 20 71 20 3d 20 6e 65 5);..auto q = ne
0370: 77 20 4c 65 78 50 6f 73 69 74 69 6f 6e 28 22 68 w LexPosition("h
0380: 65 6c 6c 6f 2e 63 70 70 22 2c 20 31 32 33 2c 20 ello.cpp", 123,
0390: 34 36 29 3b 0a 0a 09 61 73 73 65 72 74 5f 65 71 46);...assert_eq
03a0: 28 20 70 2e 66 69 6c 65 6e 61 6d 65 2c 20 22 68 ( p.filename, "h
03b0: 65 6c 6c 6f 2e 63 70 70 22 20 29 3b 0a 09 61 73 ello.cpp" );..as
03c0: 73 65 72 74 5f 65 71 28 20 70 2e 6c 69 6e 65 6e sert_eq( p.linen
03d0: 6f 2c 20 31 32 33 20 29 3b 0a 09 61 73 73 65 72 o, 123 );..asser
03e0: 74 5f 65 71 28 20 70 2e 63 6f 6c 75 6d 6e 2c 20 t_eq( p.column,
03f0: 34 35 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 45 );..assert_eq
0400: 28 20 74 6f 21 73 74 72 69 6e 67 28 70 29 2c 20 ( to!string(p),
0410: 22 68 65 6c 6c 6f 2e 63 70 70 3a 31 32 33 3a 34 "hello.cpp:123:4
0420: 35 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 6c 74 5" );..assert_lt
0430: 28 20 70 2c 20 71 20 29 3b 0a 09 61 73 73 65 72 ( p, q );..asser
0440: 74 5f 6e 65 28 20 70 2c 20 71 20 29 3b 0a 0a 09 t_ne( p, q );...
0450: 61 73 73 65 72 74 28 20 21 5f 5f 74 72 61 69 74 assert( !__trait
0460: 73 28 63 6f 6d 70 69 6c 65 73 2c 20 6e 65 77 20 s(compiles, new
0470: 4c 65 78 50 6f 73 69 74 69 6f 6e 29 20 29 3b 0a LexPosition) );.
0480: 09 61 73 73 65 72 74 28 20 21 5f 5f 74 72 61 69 .assert( !__trai
0490: 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 70 2e 66 ts(compiles, p.f
04a0: 69 6c 65 6e 61 6d 65 3d 22 66 6f 6f 22 29 20 29 ilename="foo") )
04b0: 3b 0a 09 61 73 73 65 72 74 28 20 21 5f 5f 74 72 ;..assert( !__tr
04c0: 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 70 aits(compiles, p
04d0: 2e 6c 69 6e 65 6e 6f 20 20 3d 37 38 39 29 20 29 .lineno =789) )
04e0: 3b 0a 09 61 73 73 65 72 74 28 20 21 5f 5f 74 72 ;..assert( !__tr
04f0: 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 70 aits(compiles, p
0500: 2e 63 6f 6c 75 6d 6e 20 20 3d 32 32 32 29 20 29 .column =222) )
0510: 3b 0a 7d 0a 0a 2f 2f 2f 20 52 65 70 72 65 73 65 ;.}../// Represe
0520: 6e 74 73 20 61 20 6c 65 78 65 72 20 74 6f 6b 65 nts a lexer toke
0530: 6e 0a 0a 63 6c 61 73 73 20 54 6f 6b 65 6e 0a 7b n..class Token.{
0540: 0a 09 69 6d 6d 75 74 61 62 6c 65 20 4c 65 78 50 ..immutable LexP
0550: 6f 73 69 74 69 6f 6e 20 70 6f 73 3b 20 20 20 20 osition pos;
0560: 2f 2f 2f 20 50 6f 73 69 74 69 6f 6e 20 77 68 65 /// Position whe
0570: 72 65 20 74 68 65 20 74 6f 6b 65 6e 20 6f 63 63 re the token occ
0580: 75 72 72 65 64 20 69 6e 20 74 68 65 20 73 6f 75 urred in the sou
0590: 72 63 65 0a 09 69 6d 6d 75 74 61 62 6c 65 20 73 rce..immutable s
05a0: 74 72 69 6e 67 20 20 20 20 20 20 73 74 72 3b 20 tring str;
05b0: 20 20 20 2f 2f 2f 20 54 68 65 20 74 6f 6b 65 6e /// The token
05c0: 20 73 74 72 69 6e 67 20 69 74 73 65 6c 66 0a 09 string itself..
05d0: 69 6d 6d 75 74 61 62 6c 65 20 62 6f 6f 6c 20 20 immutable bool
05e0: 20 20 20 20 20 20 71 75 6f 74 65 64 3b 20 2f 2f quoted; //
05f0: 2f 20 57 61 73 20 69 74 20 61 20 22 71 75 6f 74 / Was it a "quot
0600: 65 64 22 20 74 6f 6b 65 6e 20 6f 72 20 75 6e 71 ed" token or unq
0610: 75 6f 74 65 64 3f 0a 0a 09 6d 69 78 69 6e 20 53 uoted?...mixin S
0620: 69 6d 70 6c 65 43 6f 6e 73 74 72 75 63 74 6f 72 impleConstructor
0630: 3b 0a 09 6d 69 78 69 6e 20 53 69 6d 70 6c 65 43 ;..mixin SimpleC
0640: 6f 6d 70 61 72 65 3b 0a 7d 0a 0a 75 6e 69 74 74 ompare;.}..unitt
0650: 65 73 74 0a 7b 0a 09 61 75 74 6f 20 70 20 3d 20 est.{..auto p =
0660: 6e 65 77 20 69 6d 6d 75 74 61 62 6c 65 28 4c 65 new immutable(Le
0670: 78 50 6f 73 69 74 69 6f 6e 29 28 22 68 65 6c 6c xPosition)("hell
0680: 6f 2e 63 70 70 22 2c 20 31 32 33 2c 20 34 35 29 o.cpp", 123, 45)
0690: 3b 0a 09 61 75 74 6f 20 74 20 3d 20 6e 65 77 20 ;..auto t = new
06a0: 54 6f 6b 65 6e 28 70 2c 20 22 63 6c 61 73 73 22 Token(p, "class"
06b0: 2c 20 66 61 6c 73 65 29 3b 0a 09 61 75 74 6f 20 , false);..auto
06c0: 75 20 3d 20 6e 65 77 20 54 6f 6b 65 6e 28 70 2c u = new Token(p,
06d0: 20 22 63 6c 61 73 73 22 2c 20 74 72 75 65 29 3b "class", true);
06e0: 0a 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 2e ...assert_eq( t.
06f0: 70 6f 73 2c 20 70 20 29 3b 0a 09 61 73 73 65 72 pos, p );..asser
0700: 74 5f 65 71 28 20 74 2e 73 74 72 2c 20 22 63 6c t_eq( t.str, "cl
0710: 61 73 73 22 20 29 3b 0a 09 61 73 73 65 72 74 28 ass" );..assert(
0720: 20 21 74 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 !t.quoted );..a
0730: 73 73 65 72 74 5f 65 71 28 20 74 2c 20 6e 65 77 ssert_eq( t, new
0740: 20 54 6f 6b 65 6e 28 70 2c 20 22 63 6c 61 73 73 Token(p, "class
0750: 22 2c 20 66 61 6c 73 65 29 20 29 3b 0a 09 61 73 ", false) );..as
0760: 73 65 72 74 5f 6c 74 28 20 74 2c 20 6e 65 77 20 sert_lt( t, new
0770: 54 6f 6b 65 6e 28 70 2c 20 22 73 74 72 75 63 74 Token(p, "struct
0780: 22 2c 20 66 61 6c 73 65 29 20 29 3b 0a 09 61 73 ", false) );..as
0790: 73 65 72 74 5f 6e 65 28 20 74 2c 20 75 20 29 3b sert_ne( t, u );
07a0: 0a 09 61 73 73 65 72 74 28 20 75 2e 71 75 6f 74 ..assert( u.quot
07b0: 65 64 20 29 3b 0a 0a 09 61 73 73 65 72 74 28 20 ed );...assert(
07c0: 21 5f 5f 74 72 61 69 74 73 28 63 6f 6d 70 69 6c !__traits(compil
07d0: 65 73 2c 20 6e 65 77 20 54 6f 6b 65 6e 29 20 29 es, new Token) )
07e0: 3b 0a 09 61 73 73 65 72 74 28 20 21 5f 5f 74 72 ;..assert( !__tr
07f0: 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 74 aits(compiles, t
0800: 2e 70 6f 73 3d 70 29 20 29 3b 0a 09 61 73 73 65 .pos=p) );..asse
0810: 72 74 28 20 21 5f 5f 74 72 61 69 74 73 28 63 6f rt( !__traits(co
0820: 6d 70 69 6c 65 73 2c 20 74 2e 73 74 72 3d 37 38 mpiles, t.str=78
0830: 39 29 20 29 3b 0a 09 61 73 73 65 72 74 28 20 21 9) );..assert( !
0840: 5f 5f 74 72 61 69 74 73 28 63 6f 6d 70 69 6c 65 __traits(compile
0850: 73 2c 20 74 2e 71 75 6f 74 65 64 3d 74 72 75 65 s, t.quoted=true
0860: 29 20 29 3b 0a 7d 0a 0a 2f 2f 2f 20 4e 61 6d 65 ) );.}../// Name
0870: 64 20 43 6f 6e 73 74 72 75 74 6f 72 20 66 6f 72 d Construtor for
0880: 20 4c 65 78 65 72 0a 0a 61 75 74 6f 20 6c 65 78 Lexer..auto lex
0890: 65 72 46 72 6f 6d 46 69 6c 65 28 54 2e 2e 2e 29 erFromFile(T...)
08a0: 28 20 73 74 72 69 6e 67 20 66 69 6c 65 6e 61 6d ( string filenam
08b0: 65 2c 20 54 20 72 65 73 74 20 29 0a 7b 0a 09 72 e, T rest ).{..r
08c0: 65 74 75 72 6e 20 6c 65 78 65 72 46 72 6f 6d 53 eturn lexerFromS
08d0: 74 72 69 6e 67 28 20 73 74 64 2e 66 69 6c 65 2e tring( std.file.
08e0: 72 65 61 64 54 65 78 74 28 66 69 6c 65 6e 61 6d readText(filenam
08f0: 65 29 2c 20 66 69 6c 65 6e 61 6d 65 2c 20 72 65 e), filename, re
0900: 73 74 20 29 3b 0a 7d 0a 09 0a 2f 2f 2f 20 4e 61 st );.}.../// Na
0910: 6d 65 64 20 43 6f 6e 73 74 72 75 74 6f 72 20 66 med Construtor f
0920: 6f 72 20 4c 65 78 65 72 0a 0a 61 75 74 6f 20 6c or Lexer..auto l
0930: 65 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 43 exerFromString(C
0940: 68 61 72 53 65 71 29 28 20 43 68 61 72 53 65 71 harSeq)( CharSeq
0950: 20 73 74 72 2c 20 73 74 72 69 6e 67 20 66 69 6c str, string fil
0960: 65 6e 61 6d 65 3d 22 3c 75 6e 6e 61 6d 65 64 3e ename="<unnamed>
0970: 22 2c 20 69 6e 74 20 6c 69 6e 65 6e 6f 3d 31 2c ", int lineno=1,
0980: 20 69 6e 74 20 63 6f 6c 75 6d 6e 3d 31 20 29 0a int column=1 ).
0990: 7b 0a 20 09 72 65 74 75 72 6e 20 6e 65 77 20 4c {. .return new L
09a0: 65 78 65 72 54 21 28 50 6f 73 69 74 69 6f 6e 65 exerT!(Positione
09b0: 64 52 65 61 64 65 72 21 43 68 61 72 53 65 71 29 dReader!CharSeq)
09c0: 28 0d 0a 09 09 50 6f 73 69 74 69 6f 6e 65 64 52 (....PositionedR
09d0: 65 61 64 65 72 21 43 68 61 72 53 65 71 28 73 74 eader!CharSeq(st
09e0: 72 2c 20 66 69 6c 65 6e 61 6d 65 2c 20 6c 69 6e r, filename, lin
09f0: 65 6e 6f 2c 20 63 6f 6c 75 6d 6e 29 0d 0a 09 29 eno, column)...)
0a00: 3b 0a 7d 0a 0a 2f 2f 2f 20 53 74 61 6e 64 61 72 ;.}../// Standar
0a10: 64 20 4c 65 78 65 72 20 54 79 70 65 20 28 61 6c d Lexer Type (al
0a20: 6c 20 75 73 65 72 73 20 68 61 76 65 20 74 6f 20 l users have to
0a30: 6b 6e 6f 77 20 69 73 20 74 68 61 74 20 74 68 69 know is that thi
0a40: 73 20 69 73 20 61 20 66 6f 72 77 61 72 64 20 72 s is a forward r
0a50: 61 6e 67 65 20 6f 66 20 54 6f 6b 65 6e 73 29 0d ange of Tokens).
0a60: 0a 0d 0a 61 6c 69 61 73 20 4c 65 78 65 72 54 21 ...alias LexerT!
0a70: 28 50 6f 73 69 74 69 6f 6e 65 64 52 65 61 64 65 (PositionedReade
0a80: 72 21 73 74 72 69 6e 67 29 20 4c 65 78 65 72 3b r!string) Lexer;
0a90: 0a 0a 2f 2f 2f 20 4c 65 78 65 72 20 49 6d 70 6c ../// Lexer Impl
0aa0: 65 6d 65 6e 74 61 74 69 6f 6e 0d 0a 0d 0a 63 6c ementation....cl
0ab0: 61 73 73 20 4c 65 78 65 72 54 28 52 65 61 64 65 ass LexerT(Reade
0ac0: 72 29 0d 0a 09 69 66 28 20 69 73 46 6f 72 77 61 r)...if( isForwa
0ad0: 72 64 52 61 6e 67 65 21 28 52 65 61 64 65 72 29 rdRange!(Reader)
0ae0: 20 26 26 20 69 73 28 45 6c 65 6d 65 6e 74 54 79 && is(ElementTy
0af0: 70 65 21 28 52 65 61 64 65 72 29 20 3d 3d 20 64 pe!(Reader) == d
0b00: 63 68 61 72 29 20 29 0a 7b 0a 09 2f 2f 2f 20 52 char) ).{../// R
0b10: 61 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0a 09 ange primitive..
0b20: 62 6f 6f 6c 20 65 6d 70 74 79 28 29 20 2f 2a 40 bool empty() /*@
0b30: 70 72 6f 70 65 72 74 79 2a 2f 0a 09 7b 0a 09 09 property*/..{...
0b40: 72 65 74 75 72 6e 20 63 75 72 72 65 6e 74 20 69 return current i
0b50: 73 20 6e 75 6c 6c 3b 0a 09 7d 0a 0a 09 2f 2f 2f s null;..}...///
0b60: 20 52 61 6e 67 65 20 70 72 69 6d 69 74 69 76 65 Range primitive
0b70: 0a 09 54 6f 6b 65 6e 20 66 72 6f 6e 74 28 29 20 ..Token front()
0b80: 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0a 09 7b /*@property*/..{
0b90: 0a 09 09 72 65 74 75 72 6e 20 73 74 64 2e 65 78 ...return std.ex
0ba0: 63 65 70 74 69 6f 6e 2e 65 6e 66 6f 72 63 65 28 ception.enforce(
0bb0: 63 75 72 72 65 6e 74 2c 20 22 4c 65 78 65 72 20 current, "Lexer
0bc0: 68 61 73 20 61 6c 72 65 61 64 79 20 72 65 61 63 has already reac
0bd0: 68 65 64 20 74 68 65 20 65 6e 64 22 29 3b 0a 09 hed the end");..
0be0: 7d 0a 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 70 72 }.../// Range pr
0bf0: 69 6d 69 74 69 76 65 0a 09 76 6f 69 64 20 70 6f imitive..void po
0c00: 70 46 72 6f 6e 74 28 29 20 2f 2a 40 70 72 6f 70 pFront() /*@prop
0c10: 65 72 74 79 2a 2f 0a 09 7b 0a 09 09 73 74 64 2e erty*/..{...std.
0c20: 65 78 63 65 70 74 69 6f 6e 2e 65 6e 66 6f 72 63 exception.enforc
0c30: 65 28 63 75 72 72 65 6e 74 2c 20 22 4c 65 78 65 e(current, "Lexe
0c40: 72 20 68 61 73 20 61 6c 72 65 61 64 79 20 72 65 r has already re
0c50: 61 63 68 65 64 20 74 68 65 20 65 6e 64 22 29 3b ached the end");
0c60: 0a 09 09 63 75 72 72 65 6e 74 20 3d 20 72 65 61 ...current = rea
0c70: 64 4e 65 78 74 28 29 3b 0a 09 7d 0a 0a 09 2f 2f dNext();..}...//
0c80: 2f 20 52 61 6e 67 65 20 70 72 69 6d 69 74 69 76 / Range primitiv
0c90: 65 0a 09 74 79 70 65 6f 66 28 74 68 69 73 29 20 e..typeof(this)
0ca0: 73 61 76 65 28 29 20 2f 2a 40 70 72 6f 70 65 72 save() /*@proper
0cb0: 74 79 2a 2f 0a 09 7b 0a 09 09 72 65 74 75 72 6e ty*/..{...return
0cc0: 20 6e 65 77 20 74 79 70 65 6f 66 28 74 68 69 73 new typeof(this
0cd0: 29 28 72 65 61 64 65 72 2e 73 61 76 65 2c 20 63 )(reader.save, c
0ce0: 75 72 72 65 6e 74 29 3b 0a 09 7d 0a 0a 70 72 69 urrent);..}..pri
0cf0: 76 61 74 65 3a 20 2f 2f 20 69 6d 70 6c 65 6d 65 vate: // impleme
0d00: 6e 74 61 74 69 6f 6e 0a 0a 09 52 65 61 64 65 72 ntation...Reader
0d10: 20 72 65 61 64 65 72 3b 0a 09 54 6f 6b 65 6e 20 reader;..Token
0d20: 20 63 75 72 72 65 6e 74 3b 0a 0a 09 69 6e 76 61 current;...inva
0d30: 72 69 61 6e 74 28 29 0a 09 7b 0a 09 09 61 73 73 riant()..{...ass
0d40: 65 72 74 28 20 72 65 61 64 65 72 2e 65 6d 70 74 ert( reader.empt
0d50: 79 20 7c 7c 20 21 73 74 64 2e 63 74 79 70 65 2e y || !std.ctype.
0d60: 69 73 73 70 61 63 65 28 72 65 61 64 65 72 2e 66 isspace(reader.f
0d70: 72 6f 6e 74 29 20 29 3b 0a 09 7d 0d 0a 0d 0a 09 ront) );..}.....
0d80: 74 68 69 73 28 20 52 65 61 64 65 72 20 72 65 61 this( Reader rea
0d90: 64 65 72 2c 20 54 6f 6b 65 6e 20 63 75 72 72 65 der, Token curre
0da0: 6e 74 20 3d 20 6e 75 6c 6c 20 29 0d 0a 09 7b 0d nt = null )...{.
0db0: 0a 09 09 74 68 69 73 2e 72 65 61 64 65 72 20 3d ...this.reader =
0dc0: 20 72 65 61 64 65 72 3b 0d 0a 09 09 72 65 61 64 reader;....read
0dd0: 57 68 69 6c 65 21 69 73 53 70 61 63 65 28 29 3b While!isSpace();
0de0: 0d 0a 09 09 74 68 69 73 2e 63 75 72 72 65 6e 74 ....this.current
0df0: 20 3d 20 28 63 75 72 72 65 6e 74 20 69 73 20 6e = (current is n
0e00: 75 6c 6c 20 3f 20 72 65 61 64 4e 65 78 74 28 29 ull ? readNext()
0e10: 20 3a 20 63 75 72 72 65 6e 74 29 3b 0d 0a 09 7d : current);...}
0e20: 0d 0a 0d 0a 09 70 75 62 6c 69 63 20 73 74 61 74 .....public stat
0e30: 69 63 20 7b 0a 09 09 62 6f 6f 6c 20 69 73 53 70 ic {...bool isSp
0e40: 61 63 65 20 20 20 28 64 63 68 61 72 20 63 29 20 ace (dchar c)
0e50: 7b 20 72 65 74 75 72 6e 20 73 74 64 2e 63 74 79 { return std.cty
0e60: 70 65 2e 69 73 73 70 61 63 65 28 63 29 21 3d 30 pe.isspace(c)!=0
0e70: 3b 20 7d 0a 09 09 62 6f 6f 6c 20 69 73 53 79 6d ; }...bool isSym
0e80: 62 6f 6c 20 20 28 64 63 68 61 72 20 63 29 20 7b bol (dchar c) {
0e90: 20 72 65 74 75 72 6e 20 30 78 32 31 3c 3d 63 20 return 0x21<=c
0ea0: 26 26 20 63 3c 3d 30 78 37 66 20 26 26 20 21 73 && c<=0x7f && !s
0eb0: 74 64 2e 63 74 79 70 65 2e 69 73 61 6c 6e 75 6d td.ctype.isalnum
0ec0: 28 63 29 20 26 26 20 63 21 3d 27 5f 27 20 26 26 (c) && c!='_' &&
0ed0: 20 63 21 3d 27 5c 27 27 3b 20 7d 0d 0a 09 09 62 c!='\''; }....b
0ee0: 6f 6f 6c 20 69 73 53 53 79 6d 62 6f 6c 20 28 64 ool isSSymbol (d
0ef0: 63 68 61 72 20 63 29 20 7b 20 72 65 74 75 72 6e char c) { return
0f00: 20 21 66 69 6e 64 28 22 28 29 5b 5d 7b 7d 3b 22 !find("()[]{};"
0f10: 2c 20 63 29 2e 65 6d 70 74 79 3b 20 7d 0d 0a 09 , c).empty; }...
0f20: 09 62 6f 6f 6c 20 69 73 4d 53 79 6d 62 6f 6c 20 .bool isMSymbol
0f30: 28 64 63 68 61 72 20 63 29 20 7b 20 72 65 74 75 (dchar c) { retu
0f40: 72 6e 20 69 73 53 79 6d 62 6f 6c 28 63 29 20 26 rn isSymbol(c) &
0f50: 26 20 21 69 73 53 53 79 6d 62 6f 6c 28 63 29 3b & !isSSymbol(c);
0f60: 20 7d 0d 0a 09 09 62 6f 6f 6c 20 69 73 4c 65 74 }....bool isLet
0f70: 74 65 72 20 20 28 64 63 68 61 72 20 63 29 20 7b ter (dchar c) {
0f80: 20 72 65 74 75 72 6e 20 21 69 73 53 70 61 63 65 return !isSpace
0f90: 28 63 29 20 26 26 20 21 69 73 53 79 6d 62 6f 6c (c) && !isSymbol
0fa0: 28 63 29 3b 20 7d 0d 0a 09 7d 0d 0a 0d 0a 09 73 (c); }...}.....s
0fb0: 74 72 69 6e 67 20 72 65 61 64 51 75 6f 74 65 64 tring readQuoted
0fc0: 28 63 6f 6e 73 74 20 4c 65 78 50 6f 73 69 74 69 (const LexPositi
0fd0: 6f 6e 20 70 6f 73 29 7b 63 68 61 72 5b 5d 20 62 on pos){char[] b
0fe0: 75 66 3b 20 72 65 74 75 72 6e 20 72 65 61 64 51 uf; return readQ
0ff0: 75 6f 74 65 64 28 70 6f 73 2c 62 75 66 29 3b 7d uoted(pos,buf);}
1000: 0d 0a 09 73 74 72 69 6e 67 20 72 65 61 64 51 75 ...string readQu
1010: 6f 74 65 64 28 63 6f 6e 73 74 20 4c 65 78 50 6f oted(const LexPo
1020: 73 69 74 69 6f 6e 20 70 6f 73 2c 20 72 65 66 20 sition pos, ref
1030: 63 68 61 72 5b 5d 20 62 75 66 29 0d 0a 09 7b 0d char[] buf)...{.
1040: 0a 09 09 69 66 28 20 72 65 61 64 65 72 2e 65 6d ...if( reader.em
1050: 70 74 79 20 29 0d 0a 09 09 09 74 68 72 6f 77 20 pty ).....throw
1060: 6e 65 77 20 4c 65 78 45 78 63 65 70 74 69 6f 6e new LexException
1070: 28 70 6f 73 2c 20 22 45 4f 46 20 66 6f 75 6e 64 (pos, "EOF found
1080: 20 77 68 69 6c 65 20 6c 65 78 69 6e 67 20 61 20 while lexing a
1090: 71 75 6f 74 65 64 2d 73 74 72 69 6e 67 22 29 3b quoted-string");
10a0: 0d 0a 09 09 64 63 68 61 72 20 63 20 3d 20 72 65 ....dchar c = re
10b0: 61 64 65 72 2e 66 72 6f 6e 74 3b 0d 0a 09 09 72 ader.front;....r
10c0: 65 61 64 65 72 2e 70 6f 70 46 72 6f 6e 74 3b 0d eader.popFront;.
10d0: 0a 09 09 69 66 28 20 63 20 3d 3d 20 27 22 27 20 ...if( c == '"'
10e0: 29 0d 0a 09 09 09 72 65 74 75 72 6e 20 61 73 73 ).....return ass
10f0: 75 6d 65 55 6e 69 71 75 65 28 62 75 66 29 3b 0d umeUnique(buf);.
1100: 0a 09 09 69 66 28 20 63 20 3d 3d 20 27 5c 5c 27 ...if( c == '\\'
1110: 20 26 26 20 21 72 65 61 64 65 72 2e 65 6d 70 74 && !reader.empt
1120: 79 20 29 20 7b 0d 0a 09 09 09 69 66 28 20 72 65 y ) {.....if( re
1130: 61 64 65 72 2e 66 72 6f 6e 74 3d 3d 27 22 27 20 ader.front=='"'
1140: 29 20 7b 0d 0a 09 09 09 09 72 65 61 64 65 72 2e ) {......reader.
1150: 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 09 09 09 72 popFront;......r
1160: 65 74 75 72 6e 20 72 65 61 64 51 75 6f 74 65 64 eturn readQuoted
1170: 28 70 6f 73 2c 62 75 66 20 7e 3d 20 27 5c 22 27 (pos,buf ~= '\"'
1180: 29 3b 0d 0a 09 09 09 7d 0d 0a 09 09 09 69 66 28 );.....}.....if(
1190: 20 72 65 61 64 65 72 2e 66 72 6f 6e 74 3d 3d 27 reader.front=='
11a0: 5c 5c 27 20 29 20 7b 0d 0a 09 09 09 09 72 65 61 \\' ) {......rea
11b0: 64 65 72 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 der.popFront;...
11c0: 09 09 09 72 65 74 75 72 6e 20 72 65 61 64 51 75 ...return readQu
11d0: 6f 74 65 64 28 70 6f 73 2c 62 75 66 20 7e 3d 20 oted(pos,buf ~=
11e0: 27 5c 5c 27 29 3b 0d 0a 09 09 09 7d 0d 0a 09 09 '\\');.....}....
11f0: 7d 0d 0a 09 09 72 65 74 75 72 6e 20 72 65 61 64 }....return read
1200: 51 75 6f 74 65 64 28 70 6f 73 2c 62 75 66 20 7e Quoted(pos,buf ~
1210: 3d 20 63 29 3b 0d 0a 09 7d 0d 0a 0d 0a 09 73 74 = c);...}.....st
1220: 72 69 6e 67 20 72 65 61 64 57 68 69 6c 65 28 61 ring readWhile(a
1230: 6c 69 61 73 20 66 6e 29 28 29 0d 0a 09 7b 0d 0a lias fn)()...{..
1240: 09 09 63 68 61 72 5b 5d 20 62 75 66 3b 0d 0a 09 ..char[] buf;...
1250: 09 66 6f 72 28 3b 20 21 72 65 61 64 65 72 2e 65 .for(; !reader.e
1260: 6d 70 74 79 20 26 26 20 66 6e 28 72 65 61 64 65 mpty && fn(reade
1270: 72 2e 66 72 6f 6e 74 29 3b 20 72 65 61 64 65 72 r.front); reader
1280: 2e 70 6f 70 46 72 6f 6e 74 29 0d 0a 09 09 09 62 .popFront).....b
1290: 75 66 20 7e 3d 20 72 65 61 64 65 72 2e 66 72 6f uf ~= reader.fro
12a0: 6e 74 3b 0d 0a 09 09 72 65 74 75 72 6e 20 61 73 nt;....return as
12b0: 73 75 6d 65 55 6e 69 71 75 65 28 62 75 66 29 3b sumeUnique(buf);
12c0: 0d 0a 09 7d 0a 0a 09 54 6f 6b 65 6e 20 72 65 61 ...}...Token rea
12d0: 64 4e 65 78 74 28 29 0a 09 7b 0a 09 09 69 66 28 dNext()..{...if(
12e0: 20 72 65 61 64 65 72 2e 65 6d 70 74 79 20 29 0a reader.empty ).
12f0: 09 09 09 72 65 74 75 72 6e 20 6e 75 6c 6c 3b 0d ...return null;.
1300: 0a 09 09 73 63 6f 70 65 28 73 75 63 63 65 73 73 ...scope(success
1310: 29 0d 0a 09 09 09 72 65 61 64 57 68 69 6c 65 21 ).....readWhile!
1320: 69 73 53 70 61 63 65 28 29 3b 0d 0a 09 09 69 66 isSpace();....if
1330: 28 20 72 65 61 64 65 72 2e 66 72 6f 6e 74 20 3d ( reader.front =
1340: 3d 20 27 23 27 20 29 20 2f 2f 20 63 6f 6d 6d 65 = '#' ) // comme
1350: 6e 74 0d 0a 09 09 7b 0d 0a 09 09 09 72 65 61 64 nt....{.....read
1360: 65 72 20 3d 20 66 69 6e 64 28 72 65 61 64 65 72 er = find(reader
1370: 2c 20 27 5c 6e 27 29 3b 0d 0a 09 09 09 72 65 61 , '\n');.....rea
1380: 64 57 68 69 6c 65 21 69 73 53 70 61 63 65 28 29 dWhile!isSpace()
1390: 3b 0d 0a 09 09 09 72 65 74 75 72 6e 20 72 65 61 ;.....return rea
13a0: 64 4e 65 78 74 28 29 3b 0d 0a 09 09 7d 0a 09 09 dNext();....}...
13b0: 65 6c 73 65 20 69 66 28 20 72 65 61 64 65 72 2e else if( reader.
13c0: 66 72 6f 6e 74 20 3d 3d 20 27 22 27 20 29 20 2f front == '"' ) /
13d0: 2f 20 71 75 6f 74 65 64 0d 0a 09 09 7b 0d 0a 09 / quoted....{...
13e0: 09 09 61 75 74 6f 20 70 6f 73 20 3d 20 72 65 61 ..auto pos = rea
13f0: 64 65 72 2e 63 75 72 72 65 6e 74 50 6f 73 69 74 der.currentPosit
1400: 69 6f 6e 28 29 3b 0d 0a 09 09 09 72 65 61 64 65 ion();.....reade
1410: 72 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 09 09 r.popFront;.....
1420: 72 65 74 75 72 6e 20 6e 65 77 20 54 6f 6b 65 6e return new Token
1430: 28 70 6f 73 2c 20 72 65 61 64 51 75 6f 74 65 64 (pos, readQuoted
1440: 28 70 6f 73 29 2c 20 74 72 75 65 29 3b 0d 0a 09 (pos), true);...
1450: 09 7d 0d 0a 09 09 65 6c 73 65 20 69 66 28 20 69 .}....else if( i
1460: 73 53 53 79 6d 62 6f 6c 28 72 65 61 64 65 72 2e sSSymbol(reader.
1470: 66 72 6f 6e 74 29 20 29 20 2f 2f 20 70 61 72 65 front) ) // pare
1480: 6e 0d 0a 09 09 7b 0d 0a 09 09 09 61 75 74 6f 20 n....{.....auto
1490: 70 6f 73 20 3d 20 72 65 61 64 65 72 2e 63 75 72 pos = reader.cur
14a0: 72 65 6e 74 50 6f 73 69 74 69 6f 6e 28 29 3b 0d rentPosition();.
14b0: 0a 09 09 09 73 74 72 69 6e 67 20 73 3b 20 73 7e ....string s; s~
14c0: 3d 72 65 61 64 65 72 2e 66 72 6f 6e 74 3b 20 72 =reader.front; r
14d0: 65 61 64 65 72 2e 70 6f 70 46 72 6f 6e 74 3b 0d eader.popFront;.
14e0: 0a 09 09 09 72 65 74 75 72 6e 20 6e 65 77 20 54 ....return new T
14f0: 6f 6b 65 6e 28 70 6f 73 2c 20 73 2c 20 66 61 6c oken(pos, s, fal
1500: 73 65 29 3b 0d 0a 09 09 7d 0d 0a 09 09 65 6c 73 se);....}....els
1510: 65 20 69 66 28 20 69 73 4d 53 79 6d 62 6f 6c 28 e if( isMSymbol(
1520: 72 65 61 64 65 72 2e 66 72 6f 6e 74 29 20 29 20 reader.front) )
1530: 2f 2f 20 73 79 6d 62 6f 6c 0d 0a 09 09 7b 0a 09 // symbol....{..
1540: 09 09 61 75 74 6f 20 70 6f 73 20 3d 20 72 65 61 ..auto pos = rea
1550: 64 65 72 2e 63 75 72 72 65 6e 74 50 6f 73 69 74 der.currentPosit
1560: 69 6f 6e 28 29 3b 0a 09 09 09 72 65 74 75 72 6e ion();....return
1570: 20 6e 65 77 20 54 6f 6b 65 6e 28 70 6f 73 2c 20 new Token(pos,
1580: 72 65 61 64 57 68 69 6c 65 21 69 73 4d 53 79 6d readWhile!isMSym
1590: 62 6f 6c 28 29 2c 20 66 61 6c 73 65 29 3b 0a 09 bol(), false);..
15a0: 09 7d 0a 09 09 65 6c 73 65 0a 09 09 7b 0a 09 09 .}...else...{...
15b0: 09 61 75 74 6f 20 70 6f 73 20 3d 20 72 65 61 64 .auto pos = read
15c0: 65 72 2e 63 75 72 72 65 6e 74 50 6f 73 69 74 69 er.currentPositi
15d0: 6f 6e 28 29 3b 0d 0a 09 09 09 72 65 74 75 72 6e on();.....return
15e0: 20 6e 65 77 20 54 6f 6b 65 6e 28 70 6f 73 2c 20 new Token(pos,
15f0: 72 65 61 64 57 68 69 6c 65 21 69 73 4c 65 74 74 readWhile!isLett
1600: 65 72 28 29 2c 20 66 61 6c 73 65 29 3b 0d 0a 09 er(), false);...
1610: 09 7d 0a 09 7d 0a 7d 0a 0a 75 6e 69 74 74 65 73 .}..}.}..unittes
1620: 74 0a 7b 0a 09 61 73 73 65 72 74 28 20 73 74 64 t.{..assert( std
1630: 2e 72 61 6e 67 65 2e 69 73 46 6f 72 77 61 72 64 .range.isForward
1640: 52 61 6e 67 65 21 28 4c 65 78 65 72 29 20 29 3b Range!(Lexer) );
1650: 0a 7d 0a 0a 75 6e 69 74 74 65 73 74 0a 7b 0a 09 .}..unittest.{..
1660: 61 75 74 6f 20 6c 65 78 20 3d 20 6c 65 78 65 72 auto lex = lexer
1670: 46 72 6f 6d 53 74 72 69 6e 67 28 22 74 68 69 73 FromString("this
1680: 09 69 73 20 61 20 5c 74 5c 72 5c 6e 20 70 65 6e .is a \t\r\n pen
1690: 20 3a 2d 28 20 40 40 3b 20 20 22 29 3b 0a 09 54 :-( @@; ");..T
16a0: 6f 6b 65 6e 5b 5d 20 74 73 20 3d 20 73 74 64 2e oken[] ts = std.
16b0: 61 72 72 61 79 2e 61 72 72 61 79 28 6c 65 78 29 array.array(lex)
16c0: 3b 0a 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 ;...assert_eq( t
16d0: 73 5b 30 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c s[0].pos.lineno,
16e0: 20 31 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 1 );..assert_eq
16f0: 28 20 74 73 5b 30 5d 2e 70 6f 73 2e 63 6f 6c 75 ( ts[0].pos.colu
1700: 6d 6e 2c 20 31 20 29 3b 0a 09 61 73 73 65 72 74 mn, 1 );..assert
1710: 28 20 20 20 21 74 73 5b 30 5d 2e 71 75 6f 74 65 ( !ts[0].quote
1720: 64 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 d );..assert_eq(
1730: 20 74 73 5b 30 5d 2e 73 74 72 2c 20 22 74 68 69 ts[0].str, "thi
1740: 73 22 20 29 3b 0a 0a 09 61 73 73 65 72 74 5f 65 s" );...assert_e
1750: 71 28 20 74 73 5b 31 5d 2e 70 6f 73 2e 6c 69 6e q( ts[1].pos.lin
1760: 65 6e 6f 2c 20 31 20 29 3b 0a 09 61 73 73 65 72 eno, 1 );..asser
1770: 74 5f 65 71 28 20 74 73 5b 31 5d 2e 70 6f 73 2e t_eq( ts[1].pos.
1780: 63 6f 6c 75 6d 6e 2c 20 36 20 29 3b 0a 09 61 73 column, 6 );..as
1790: 73 65 72 74 28 20 20 20 21 74 73 5b 31 5d 2e 71 sert( !ts[1].q
17a0: 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 uoted );..assert
17b0: 5f 65 71 28 20 74 73 5b 31 5d 2e 73 74 72 2c 20 _eq( ts[1].str,
17c0: 22 69 73 22 20 29 3b 0a 0a 09 61 73 73 65 72 74 "is" );...assert
17d0: 5f 65 71 28 20 74 73 5b 32 5d 2e 70 6f 73 2e 6c _eq( ts[2].pos.l
17e0: 69 6e 65 6e 6f 2c 20 31 20 29 3b 0a 09 61 73 73 ineno, 1 );..ass
17f0: 65 72 74 5f 65 71 28 20 74 73 5b 32 5d 2e 70 6f ert_eq( ts[2].po
1800: 73 2e 63 6f 6c 75 6d 6e 2c 20 39 20 29 3b 0a 09 s.column, 9 );..
1810: 61 73 73 65 72 74 28 20 20 20 21 74 73 5b 32 5d assert( !ts[2]
1820: 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 .quoted );..asse
1830: 72 74 5f 65 71 28 20 74 73 5b 32 5d 2e 73 74 72 rt_eq( ts[2].str
1840: 2c 20 22 61 22 20 29 3b 0a 0a 09 61 73 73 65 72 , "a" );...asser
1850: 74 5f 65 71 28 20 74 73 5b 33 5d 2e 70 6f 73 2e t_eq( ts[3].pos.
1860: 6c 69 6e 65 6e 6f 2c 20 32 20 29 3b 0a 09 61 73 lineno, 2 );..as
1870: 73 65 72 74 5f 65 71 28 20 74 73 5b 33 5d 2e 70 sert_eq( ts[3].p
1880: 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 32 20 29 3b 0a os.column, 2 );.
1890: 09 61 73 73 65 72 74 28 20 20 20 21 74 73 5b 33 .assert( !ts[3
18a0: 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 ].quoted );..ass
18b0: 65 72 74 5f 65 71 28 20 74 73 5b 33 5d 2e 73 74 ert_eq( ts[3].st
18c0: 72 2c 20 22 70 65 6e 22 20 29 3b 0a 0a 09 61 73 r, "pen" );...as
18d0: 73 65 72 74 5f 65 71 28 20 74 73 5b 34 5d 2e 70 sert_eq( ts[4].p
18e0: 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 32 20 29 3b 0a os.lineno, 2 );.
18f0: 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 34 .assert_eq( ts[4
1900: 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 36 20 ].pos.column, 6
1910: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 );..assert_eq( t
1920: 73 5b 34 5d 2e 73 74 72 2c 20 22 3a 2d 22 20 29 s[4].str, ":-" )
1930: 3b 0a 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 ;...assert_eq( t
1940: 73 5b 35 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c s[5].pos.lineno,
1950: 20 32 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 2 );...assert_e
1960: 71 28 20 74 73 5b 35 5d 2e 70 6f 73 2e 63 6f 6c q( ts[5].pos.col
1970: 75 6d 6e 2c 20 38 20 29 3b 0d 0a 09 61 73 73 65 umn, 8 );...asse
1980: 72 74 5f 65 71 28 20 74 73 5b 35 5d 2e 73 74 72 rt_eq( ts[5].str
1990: 2c 20 22 28 22 20 29 3b 0d 0a 09 61 73 73 65 72 , "(" );...asser
19a0: 74 5f 65 71 28 20 74 73 5b 36 5d 2e 73 74 72 2c t_eq( ts[6].str,
19b0: 20 22 40 40 22 20 29 3b 0d 0a 09 61 73 73 65 72 "@@" );...asser
19c0: 74 5f 65 71 28 20 74 73 5b 37 5d 2e 73 74 72 2c t_eq( ts[7].str,
19d0: 20 22 3b 22 20 29 3b 20 2f 2f 20 70 61 72 65 6e ";" ); // paren
19e0: 20 61 6e 64 20 73 69 6d 69 63 6f 6c 6f 6e 73 20 and simicolons
19f0: 61 72 65 20 73 70 6c 69 74 0d 0a 0d 0a 09 61 73 are split.....as
1a00: 73 65 72 74 5f 65 71 28 20 74 73 2e 6c 65 6e 67 sert_eq( ts.leng
1a10: 74 68 2c 20 38 20 29 3b 0a 7d 0a 0a 75 6e 69 74 th, 8 );.}..unit
1a20: 74 65 73 74 0a 7b 0a 09 2f 2f 20 21 21 20 62 65 test.{..// !! be
1a30: 20 73 75 72 65 20 74 6f 20 72 75 6e 20 74 68 65 sure to run the
1a40: 20 75 6e 69 74 74 65 73 74 20 6f 6e 20 74 68 65 unittest on the
1a50: 20 72 6f 6f 74 20 6f 66 20 74 68 65 20 73 6f 75 root of the sou
1a60: 72 63 65 20 64 69 72 65 63 74 6f 72 79 0a 09 61 rce directory..a
1a70: 75 74 6f 20 6c 65 78 66 20 3d 20 6c 65 78 65 72 uto lexf = lexer
1a80: 46 72 6f 6d 46 69 6c 65 28 22 70 6f 6c 65 6d 79 FromFile("polemy
1a90: 2f 6c 65 78 2e 64 22 29 3b 09 0a 09 6c 65 78 66 /lex.d");...lexf
1aa0: 20 3d 20 66 69 6e 64 21 60 61 2e 73 74 72 20 3d = find!`a.str =
1ab0: 3d 20 22 6d 6f 64 75 6c 65 22 60 28 6c 65 78 66 = "module"`(lexf
1ac0: 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c );..assert_eq( l
1ad0: 65 78 66 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 exf.front.str, "
1ae0: 6d 6f 64 75 6c 65 22 20 29 3b 0a 09 61 73 73 65 module" );..asse
1af0: 72 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e rt_eq( lexf.fron
1b00: 74 2e 70 6f 73 2e 66 69 6c 65 6e 61 6d 65 2c 20 t.pos.filename,
1b10: 22 70 6f 6c 65 6d 79 2f 6c 65 78 2e 64 22 20 29 "polemy/lex.d" )
1b20: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 ;..assert_eq( le
1b30: 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e 6c 69 6e xf.front.pos.lin
1b40: 65 6e 6f 2c 20 37 20 29 3b 0a 09 61 73 73 65 72 eno, 7 );..asser
1b50: 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 t_eq( lexf.front
1b60: 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 31 20 29 .pos.column, 1 )
1b70: 3b 0a 09 6c 65 78 66 2e 70 6f 70 46 72 6f 6e 74 ;..lexf.popFront
1b80: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 ;..assert_eq( le
1b90: 78 66 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 70 xf.front.str, "p
1ba0: 6f 6c 65 6d 79 22 20 29 3b 0a 09 61 73 73 65 72 olemy" );..asser
1bb0: 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 t_eq( lexf.front
1bc0: 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 37 20 29 .pos.lineno, 7 )
1bd0: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 ;..assert_eq( le
1be0: 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e 63 6f 6c xf.front.pos.col
1bf0: 75 6d 6e 2c 20 38 20 29 3b 0a 09 6c 65 78 66 2e umn, 8 );..lexf.
1c00: 70 6f 70 46 72 6f 6e 74 3b 0a 09 6c 65 78 66 2e popFront;..lexf.
1c10: 70 6f 70 46 72 6f 6e 74 3b 0a 09 6c 65 78 66 2e popFront;..lexf.
1c20: 70 6f 70 46 72 6f 6e 74 3b 0a 09 6c 65 78 66 2e popFront;..lexf.
1c30: 70 6f 70 46 72 6f 6e 74 3b 0a 09 61 73 73 65 72 popFront;..asser
1c40: 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 t_eq( lexf.front
1c50: 2e 73 74 72 2c 20 22 69 6d 70 6f 72 74 22 20 29 .str, "import" )
1c60: 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 ;..assert_eq( le
1c70: 78 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e 6c 69 6e xf.front.pos.lin
1c80: 65 6e 6f 2c 20 38 20 29 3b 0a 09 61 73 73 65 72 eno, 8 );..asser
1c90: 74 5f 65 71 28 20 6c 65 78 66 2e 66 72 6f 6e 74 t_eq( lexf.front
1ca0: 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 2c 20 31 20 29 .pos.column, 1 )
1cb0: 3b 0a 7d 0a 0d 0a 75 6e 69 74 74 65 73 74 0d 0a ;.}...unittest..
1cc0: 7b 0d 0a 09 61 73 73 65 72 74 5f 74 68 72 6f 77 {...assert_throw
1cd0: 21 4c 65 78 45 78 63 65 70 74 69 6f 6e 28 20 6c !LexException( l
1ce0: 65 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 60 exerFromString(`
1cf0: 22 60 29 20 29 3b 0d 0a 7d 0d 0a 0a 75 6e 69 74 "`) );..}...unit
1d00: 74 65 73 74 0a 7b 0a 09 61 75 74 6f 20 6c 65 78 test.{..auto lex
1d10: 20 3d 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 = lexerFromStri
1d20: 6e 67 28 60 6d 79 20 23 20 63 6f 6d 6d 65 6e 74 ng(`my # comment
1d30: 20 73 68 6f 75 6c 64 60 7e 22 5c 72 5c 6e 22 7e should`~"\r\n"~
1d40: 60 23 20 68 65 79 21 21 0a 62 65 20 69 67 6e 6f `# hey!!.be igno
1d50: 72 65 64 2e 0a 68 61 68 61 68 61 22 68 69 68 69 red..hahaha"hihi
1d60: 68 69 22 22 68 75 5c 5c 5c 22 68 75 68 75 22 23 hi""hu\\\"huhu"#
1d70: 31 32 33 20 61 61 0a 31 32 33 20 61 61 20 22 61 123 aa.123 aa "a
1d80: 61 61 60 7e 22 5c 6e 22 7e 60 62 62 62 20 23 20 aa`~"\n"~`bbb #
1d90: 31 32 33 60 7e 22 5c 72 5c 6e 22 7e 60 65 65 65 123`~"\r\n"~`eee
1da0: 22 0a 7a 7a 7a 0a 60 29 3b 0a 09 54 6f 6b 65 6e ".zzz.`);..Token
1db0: 5b 5d 20 74 73 20 3d 20 73 74 64 2e 61 72 72 61 [] ts = std.arra
1dc0: 79 2e 61 72 72 61 79 28 6c 65 78 29 3b 0a 09 61 y.array(lex);..a
1dd0: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 30 5d 2e ssert_eq( ts[0].
1de0: 73 74 72 2c 20 22 6d 79 22 20 29 3b 0a 09 61 73 str, "my" );..as
1df0: 73 65 72 74 5f 65 71 28 20 74 73 5b 30 5d 2e 70 sert_eq( ts[0].p
1e00: 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 31 20 29 3b 0a os.lineno, 1 );.
1e10: 09 61 73 73 65 72 74 28 20 20 20 21 74 73 5b 30 .assert( !ts[0
1e20: 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 ].quoted );..ass
1e30: 65 72 74 5f 65 71 28 20 74 73 5b 31 5d 2e 73 74 ert_eq( ts[1].st
1e40: 72 2c 20 22 62 65 22 20 29 3b 0a 09 61 73 73 65 r, "be" );..asse
1e50: 72 74 5f 65 71 28 20 74 73 5b 31 5d 2e 70 6f 73 rt_eq( ts[1].pos
1e60: 2e 6c 69 6e 65 6e 6f 2c 20 33 20 29 3b 0a 09 61 .lineno, 3 );..a
1e70: 73 73 65 72 74 28 20 20 20 21 74 73 5b 31 5d 2e ssert( !ts[1].
1e80: 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 quoted );..asser
1e90: 74 5f 65 71 28 20 74 73 5b 32 5d 2e 73 74 72 2c t_eq( ts[2].str,
1ea0: 20 22 69 67 6e 6f 72 65 64 22 20 29 3b 0a 09 61 "ignored" );..a
1eb0: 73 73 65 72 74 28 20 20 20 21 74 73 5b 32 5d 2e ssert( !ts[2].
1ec0: 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 quoted );..asser
1ed0: 74 5f 65 71 28 20 74 73 5b 33 5d 2e 73 74 72 2c t_eq( ts[3].str,
1ee0: 20 22 2e 22 20 29 3b 0a 09 61 73 73 65 72 74 28 "." );..assert(
1ef0: 20 20 20 21 74 73 5b 33 5d 2e 71 75 6f 74 65 64 !ts[3].quoted
1f00: 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 28 20 );..assert_eq(
1f10: 74 73 5b 34 5d 2e 73 74 72 2c 20 22 68 61 68 61 ts[4].str, "haha
1f20: 68 61 22 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 ha" );..assert_e
1f30: 71 28 20 74 73 5b 34 5d 2e 70 6f 73 2e 6c 69 6e q( ts[4].pos.lin
1f40: 65 6e 6f 2c 20 34 20 29 3b 0a 09 61 73 73 65 72 eno, 4 );..asser
1f50: 74 28 20 20 20 21 74 73 5b 34 5d 2e 71 75 6f 74 t( !ts[4].quot
1f60: 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f 65 71 ed );..assert_eq
1f70: 28 20 74 73 5b 35 5d 2e 73 74 72 2c 20 22 68 69 ( ts[5].str, "hi
1f80: 68 69 68 69 22 20 29 3b 0a 09 61 73 73 65 72 74 hihi" );..assert
1f90: 5f 65 71 28 20 74 73 5b 35 5d 2e 70 6f 73 2e 6c _eq( ts[5].pos.l
1fa0: 69 6e 65 6e 6f 2c 20 34 20 29 3b 0a 09 61 73 73 ineno, 4 );..ass
1fb0: 65 72 74 28 20 20 20 20 74 73 5b 35 5d 2e 71 75 ert( ts[5].qu
1fc0: 6f 74 65 64 20 29 3b 0a 09 61 73 73 65 72 74 5f oted );..assert_
1fd0: 65 71 28 20 74 73 5b 36 5d 2e 73 74 72 2c 20 60 eq( ts[6].str, `
1fe0: 68 75 5c 22 68 75 68 75 60 20 29 3b 0a 09 61 73 hu\"huhu` );..as
1ff0: 73 65 72 74 5f 65 71 28 20 74 73 5b 36 5d 2e 70 sert_eq( ts[6].p
2000: 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 34 20 29 3b 0a os.lineno, 4 );.
2010: 09 61 73 73 65 72 74 28 20 20 20 20 74 73 5b 36 .assert( ts[6
2020: 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 73 ].quoted );..ass
2030: 65 72 74 5f 65 71 28 20 74 73 5b 37 5d 2e 73 74 ert_eq( ts[7].st
2040: 72 2c 20 22 31 32 33 22 20 29 3b 0a 09 61 73 73 r, "123" );..ass
2050: 65 72 74 5f 65 71 28 20 74 73 5b 37 5d 2e 70 6f ert_eq( ts[7].po
2060: 73 2e 6c 69 6e 65 6e 6f 2c 20 35 20 29 3b 0a 09 s.lineno, 5 );..
2070: 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b 38 5d assert_eq( ts[8]
2080: 2e 73 74 72 2c 20 22 61 61 22 20 29 3b 0a 09 61 .str, "aa" );..a
2090: 73 73 65 72 74 5f 65 71 28 20 74 73 5b 39 5d 2e ssert_eq( ts[9].
20a0: 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 35 20 29 3b pos.lineno, 5 );
20b0: 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 73 5b ..assert_eq( ts[
20c0: 39 5d 2e 73 74 72 2c 20 22 61 61 61 5c 6e 62 62 9].str, "aaa\nbb
20d0: 62 20 23 20 31 32 33 5c 6e 65 65 65 22 20 29 3b b # 123\neee" );
20e0: 0a 09 61 73 73 65 72 74 28 20 20 20 20 74 73 5b ..assert( ts[
20f0: 39 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 73 9].quoted );..as
2100: 73 65 72 74 5f 65 71 28 20 74 73 5b 31 30 5d 2e sert_eq( ts[10].
2110: 70 6f 73 2e 6c 69 6e 65 6e 6f 2c 20 38 20 29 3b pos.lineno, 8 );
2120: 0a 09 61 73 73 65 72 74 28 20 20 20 21 74 73 5b ..assert( !ts[
2130: 31 30 5d 2e 71 75 6f 74 65 64 20 29 3b 0a 09 61 10].quoted );..a
2140: 73 73 65 72 74 5f 65 71 28 20 74 73 2e 6c 65 6e ssert_eq( ts.len
2150: 67 74 68 2c 20 31 31 20 29 3b 0a 7d 0a 0d 0a 75 gth, 11 );.}...u
2160: 6e 69 74 74 65 73 74 0d 0a 7b 0d 0a 09 61 75 74 nittest..{...aut
2170: 6f 20 6c 65 78 32 20 3d 20 6c 65 78 65 72 46 72 o lex2 = lexerFr
2180: 6f 6d 53 74 72 69 6e 67 28 22 20 61 31 32 5c 6e omString(" a12\n
2190: 33 61 20 35 20 22 29 3b 0d 0a 09 61 73 73 65 72 3a 5 ");...asser
21a0: 74 5f 65 71 28 20 6c 65 78 32 2e 66 72 6f 6e 74 t_eq( lex2.front
21b0: 2e 73 74 72 2c 20 22 61 31 32 22 20 29 3b 0d 0a .str, "a12" );..
21c0: 09 6c 65 78 32 2e 70 6f 70 46 72 6f 6e 74 3b 0d .lex2.popFront;.
21d0: 0a 09 61 75 74 6f 20 6c 65 78 33 20 3d 20 6c 65 ..auto lex3 = le
21e0: 78 32 2e 73 61 76 65 3b 0d 0a 09 61 73 73 65 72 x2.save;...asser
21f0: 74 5f 65 71 28 20 6c 65 78 32 2e 66 72 6f 6e 74 t_eq( lex2.front
2200: 2e 73 74 72 2c 20 22 33 61 22 20 29 3b 0d 0a 09 .str, "3a" );...
2210: 6c 65 78 32 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a lex2.popFront;..
2220: 09 61 73 73 65 72 74 5f 65 71 28 20 6c 65 78 33 .assert_eq( lex3
2230: 2e 66 72 6f 6e 74 2e 73 74 72 2c 20 22 33 61 22 .front.str, "3a"
2240: 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 );...assert_eq(
2250: 20 6c 65 78 32 2e 66 72 6f 6e 74 2e 73 74 72 2c lex2.front.str,
2260: 20 22 35 22 20 29 3b 0d 0a 09 6c 65 78 32 2e 70 "5" );...lex2.p
2270: 6f 70 46 72 6f 6e 74 3b 0d 0a 09 6c 65 78 33 2e opFront;...lex3.
2280: 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 61 73 73 65 popFront;...asse
2290: 72 74 28 20 6c 65 78 32 2e 65 6d 70 74 79 20 29 rt( lex2.empty )
22a0: 3b 0d 0a 09 61 73 73 65 72 74 28 20 21 6c 65 78 ;...assert( !lex
22b0: 33 2e 65 6d 70 74 79 20 29 3b 0d 0a 09 61 73 73 3.empty );...ass
22c0: 65 72 74 5f 65 71 28 20 6c 65 78 33 2e 66 72 6f ert_eq( lex3.fro
22d0: 6e 74 2e 73 74 72 2c 20 22 35 22 20 29 3b 0d 0a nt.str, "5" );..
22e0: 7d 0d 0a 0d 0a 2f 2f 2f 20 46 6f 72 77 61 72 64 }..../// Forward
22f0: 20 72 61 6e 67 65 20 66 6f 72 20 72 65 61 64 65 range for reade
2300: 72 20 63 68 61 72 61 63 74 65 72 20 62 79 20 63 r character by c
2310: 68 61 72 61 63 74 65 72 2c 0d 0a 2f 2f 2f 20 6b haracter,../// k
2320: 65 65 70 69 6e 67 20 74 72 61 63 6b 20 6f 66 20 eeping track of
2330: 70 6f 73 69 74 69 6f 6e 20 69 6e 66 6f 72 6d 61 position informa
2340: 74 69 6f 6e 20 61 6e 64 20 63 61 72 69 6e 67 20 tion and caring
2350: 5c 72 5c 6e 20 2d 3e 20 5c 6e 20 63 6f 6e 76 65 \r\n -> \n conve
2360: 72 73 69 6f 6e 2e 0d 0a 0d 0a 70 72 69 76 61 74 rsion.....privat
2370: 65 0d 0a 73 74 72 75 63 74 20 50 6f 73 69 74 69 e..struct Positi
2380: 6f 6e 65 64 52 65 61 64 65 72 28 43 68 61 72 53 onedReader(CharS
2390: 65 71 29 0d 0a 09 69 66 28 20 69 73 46 6f 72 77 eq)...if( isForw
23a0: 61 72 64 52 61 6e 67 65 21 28 43 68 61 72 53 65 ardRange!(CharSe
23b0: 71 29 20 26 26 20 69 73 28 45 6c 65 6d 65 6e 74 q) && is(Element
23c0: 54 79 70 65 21 28 43 68 61 72 53 65 71 29 20 3d Type!(CharSeq) =
23d0: 3d 20 64 63 68 61 72 29 20 29 0d 0a 7b 0d 0a 09 = dchar) )..{...
23e0: 43 68 61 72 53 65 71 20 62 75 66 66 65 72 3b 0d CharSeq buffer;.
23f0: 0a 09 73 74 72 69 6e 67 20 20 66 69 6c 65 6e 61 ..string filena
2400: 6d 65 3b 0d 0a 09 69 6e 74 20 20 20 20 20 6c 69 me;...int li
2410: 6e 65 6e 6f 3b 0d 0a 09 69 6e 74 20 20 20 20 20 neno;...int
2420: 63 6f 6c 75 6d 6e 3b 0d 0a 0d 0a 09 2f 2f 2f 20 column;.....///
2430: 52 61 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0d Range primitive.
2440: 0a 09 62 6f 6f 6c 20 65 6d 70 74 79 28 29 20 2f ..bool empty() /
2450: 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0d 0a 09 7b *@property*/...{
2460: 0d 0a 09 09 72 65 74 75 72 6e 20 62 75 66 66 65 ....return buffe
2470: 72 2e 65 6d 70 74 79 3b 0d 0a 09 7d 0d 0a 0d 0a r.empty;...}....
2480: 09 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 6d 69 ./// Range primi
2490: 74 69 76 65 0d 0a 09 64 63 68 61 72 20 66 72 6f tive...dchar fro
24a0: 6e 74 28 29 20 2f 2a 40 70 72 6f 70 65 72 74 79 nt() /*@property
24b0: 2a 2f 0d 0a 09 7b 0d 0a 09 09 64 63 68 61 72 20 */...{....dchar
24c0: 63 20 3d 20 62 75 66 66 65 72 2e 66 72 6f 6e 74 c = buffer.front
24d0: 3b 0d 0a 09 09 72 65 74 75 72 6e 20 28 63 3d 3d ;....return (c==
24e0: 27 5c 72 27 20 3f 20 27 5c 6e 27 20 3a 20 63 29 '\r' ? '\n' : c)
24f0: 3b 0d 0a 09 7d 0d 0a 0d 0a 09 2f 2f 2f 20 52 61 ;...}...../// Ra
2500: 6e 67 65 20 70 72 69 6d 69 74 69 76 65 0d 0a 09 nge primitive...
2510: 76 6f 69 64 20 70 6f 70 46 72 6f 6e 74 28 29 20 void popFront()
2520: 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0d 0a 09 /*@property*/...
2530: 7b 0d 0a 09 09 64 63 68 61 72 20 63 20 3d 20 62 {....dchar c = b
2540: 75 66 66 65 72 2e 66 72 6f 6e 74 3b 0d 0a 09 09 uffer.front;....
2550: 62 75 66 66 65 72 2e 70 6f 70 46 72 6f 6e 74 3b buffer.popFront;
2560: 0d 0a 09 09 69 66 28 20 63 3d 3d 27 5c 72 27 20 ....if( c=='\r'
2570: 29 0d 0a 09 09 7b 0d 0a 09 09 09 69 66 28 20 21 )....{.....if( !
2580: 62 75 66 66 65 72 2e 65 6d 70 74 79 20 26 26 20 buffer.empty &&
2590: 62 75 66 66 65 72 2e 66 72 6f 6e 74 3d 3d 27 5c buffer.front=='\
25a0: 6e 27 20 29 0d 0a 09 09 09 09 62 75 66 66 65 72 n' )......buffer
25b0: 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 09 09 63 .popFront;.....c
25c0: 20 3d 20 27 5c 6e 27 3b 0d 0a 09 09 7d 0d 0a 09 = '\n';....}...
25d0: 09 69 66 28 20 63 3d 3d 27 5c 6e 27 20 29 0d 0a .if( c=='\n' )..
25e0: 09 09 7b 0d 0a 09 09 09 6c 69 6e 65 6e 6f 20 2b ..{.....lineno +
25f0: 2b 3b 0d 0a 09 09 09 63 6f 6c 75 6d 6e 20 3d 20 +;.....column =
2600: 31 3b 0d 0a 09 09 7d 0d 0a 09 09 65 6c 73 65 0d 1;....}....else.
2610: 0a 09 09 09 63 6f 6c 75 6d 6e 20 2b 2b 3b 0d 0a ....column ++;..
2620: 09 7d 0d 0a 0d 0a 09 2f 2f 2f 20 52 61 6e 67 65 .}...../// Range
2630: 20 70 72 69 6d 69 74 69 76 65 0d 0a 09 74 79 70 primitive...typ
2640: 65 6f 66 28 74 68 69 73 29 20 73 61 76 65 28 29 eof(this) save()
2650: 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0d 0a /*@property*/..
2660: 09 7b 0d 0a 09 09 72 65 74 75 72 6e 20 74 68 69 .{....return thi
2670: 73 3b 0d 0a 09 7d 0d 0a 0d 0a 09 2f 2f 2f 20 47 s;...}...../// G
2680: 65 74 20 74 68 65 20 63 75 72 72 65 6e 74 20 70 et the current p
2690: 6f 73 69 74 69 6f 6e 0d 0a 09 69 6d 6d 75 74 61 osition...immuta
26a0: 62 6c 65 28 4c 65 78 50 6f 73 69 74 69 6f 6e 29 ble(LexPosition)
26b0: 20 63 75 72 72 65 6e 74 50 6f 73 69 74 69 6f 6e currentPosition
26c0: 28 29 20 63 6f 6e 73 74 0d 0a 09 7b 0d 0a 09 09 () const...{....
26d0: 72 65 74 75 72 6e 20 6e 65 77 20 69 6d 6d 75 74 return new immut
26e0: 61 62 6c 65 28 4c 65 78 50 6f 73 69 74 69 6f 6e able(LexPosition
26f0: 29 28 66 69 6c 65 6e 61 6d 65 2c 20 6c 69 6e 65 )(filename, line
2700: 6e 6f 2c 20 63 6f 6c 75 6d 6e 29 3b 0d 0a 09 7d no, column);...}
2710: 0d 0a 7d 0d 0a 0d 0a 75 6e 69 74 74 65 73 74 0d ..}....unittest.
2720: 0a 7b 0d 0a 09 61 73 73 65 72 74 28 20 69 73 46 .{...assert( isF
2730: 6f 72 77 61 72 64 52 61 6e 67 65 21 28 50 6f 73 orwardRange!(Pos
2740: 69 74 69 6f 6e 65 64 52 65 61 64 65 72 21 73 74 itionedReader!st
2750: 72 69 6e 67 29 20 29 3b 0d 0a 09 61 73 73 65 72 ring) );...asser
2760: 74 28 20 69 73 28 45 6c 65 6d 65 6e 74 54 79 70 t( is(ElementTyp
2770: 65 21 28 50 6f 73 69 74 69 6f 6e 65 64 52 65 61 e!(PositionedRea
2780: 64 65 72 21 73 74 72 69 6e 67 29 20 3d 3d 20 64 der!string) == d
2790: 63 68 61 72 29 20 29 3b 0d 0a 7d 0d 0a char) );..}..