0000: 2f 2a 2a 0d 0a 20 2a 20 41 75 74 68 6f 72 73 3a /**.. * Authors:
0010: 20 6b 2e 69 6e 61 62 61 0d 0a 20 2a 20 4c 69 63 k.inaba.. * Lic
0020: 65 6e 73 65 3a 20 4e 59 53 4c 20 30 2e 39 39 38 ense: NYSL 0.998
0030: 32 20 68 74 74 70 3a 2f 2f 77 77 77 2e 6b 6d 6f 2 http://www.kmo
0040: 6e 6f 73 2e 6e 65 74 2f 6e 79 73 6c 2f 0d 0a 20 nos.net/nysl/..
0050: 2a 0d 0a 20 2a 20 4c 65 78 65 72 20 66 6f 72 20 *.. * Lexer for
0060: 50 6f 6c 65 6d 79 20 70 72 6f 67 72 61 6d 6d 69 Polemy programmi
0070: 6e 67 20 6c 61 6e 67 75 61 67 65 2e 0d 0a 20 2a ng language... *
0080: 2f 0d 0a 6d 6f 64 75 6c 65 20 70 6f 6c 65 6d 79 /..module polemy
0090: 2e 6c 65 78 3b 0a 69 6d 70 6f 72 74 20 70 6f 6c .lex;.import pol
00a0: 65 6d 79 2e 5f 63 6f 6d 6d 6f 6e 3b 0a 0d 0a 69 emy._common;...i
00b0: 6d 70 6f 72 74 20 73 74 64 2e 66 69 6c 65 20 3a mport std.file :
00c0: 20 72 65 61 64 54 65 78 74 3b 0a 69 6d 70 6f 72 readText;.impor
00d0: 74 20 73 74 64 2e 73 74 72 69 6e 67 20 3a 20 6d t std.string : m
00e0: 75 6e 63 68 3b 0a 69 6d 70 6f 72 74 20 73 74 64 unch;.import std
00f0: 2e 63 74 79 70 65 3b 0d 0a 0d 0a 2f 2f 2f 20 52 .ctype;..../// R
0100: 65 70 72 65 73 65 6e 74 73 20 61 20 70 6f 73 69 epresents a posi
0110: 74 69 6f 6e 20 69 6e 20 61 20 73 6f 75 72 63 65 tion in a source
0120: 20 63 6f 64 65 0a 0d 0a 63 6c 61 73 73 20 4c 65 code...class Le
0130: 78 50 6f 73 69 74 69 6f 6e 0a 7b 0a 09 69 6d 6d xPosition.{..imm
0140: 75 74 61 62 6c 65 20 73 74 72 69 6e 67 20 66 69 utable string fi
0150: 6c 65 6e 61 6d 65 3b 20 2f 2f 2f 20 6e 61 6d 65 lename; /// name
0160: 20 6f 66 20 74 68 65 20 73 6f 75 72 63 65 20 66 of the source f
0170: 69 6c 65 0a 09 69 6d 6d 75 74 61 62 6c 65 20 69 ile..immutable i
0180: 6e 74 20 20 20 20 6c 69 6e 65 6e 6f 3b 20 20 20 nt lineno;
0190: 2f 2f 2f 20 6c 69 6e 65 20 6e 75 6d 62 65 72 2c /// line number,
01a0: 20 31 2c 20 32 2c 20 2e 2e 2e 0a 09 69 6d 6d 75 1, 2, .....immu
01b0: 74 61 62 6c 65 20 69 6e 74 20 20 20 20 63 6f 6c table int col
01c0: 75 6d 6e 3b 20 20 20 2f 2f 2f 20 63 6f 6c 75 6d umn; /// colum
01d0: 6e 2c 20 31 2c 20 32 2c 20 2e 2e 2e 0d 0a 0d 0a n, 1, 2, .......
01e0: 09 6f 76 65 72 72 69 64 65 20 73 74 72 69 6e 67 .override string
01f0: 20 74 6f 53 74 72 69 6e 67 28 29 20 63 6f 6e 73 toString() cons
0200: 74 0d 0a 09 09 7b 20 72 65 74 75 72 6e 20 73 70 t....{ return sp
0210: 72 69 6e 74 66 21 22 25 73 3a 25 64 3a 25 64 22 rintf!"%s:%d:%d"
0220: 28 66 69 6c 65 6e 61 6d 65 2c 20 6c 69 6e 65 6e (filename, linen
0230: 6f 2c 20 63 6f 6c 75 6d 6e 29 3b 20 7d 0d 0a 0a o, column); }...
0240: 09 6d 69 78 69 6e 20 53 69 6d 70 6c 65 43 6f 6e .mixin SimpleCon
0250: 73 74 72 75 63 74 6f 72 3b 0d 0a 09 6d 69 78 69 structor;...mixi
0260: 6e 20 53 69 6d 70 6c 65 43 6f 6d 70 61 72 65 3b n SimpleCompare;
0270: 0a 7d 0a 0a 75 6e 69 74 74 65 73 74 0a 7b 0a 09 .}..unittest.{..
0280: 61 75 74 6f 20 70 20 3d 20 6e 65 77 20 4c 65 78 auto p = new Lex
0290: 50 6f 73 69 74 69 6f 6e 28 22 68 65 6c 6c 6f 2e Position("hello.
02a0: 63 70 70 22 2c 20 31 32 33 2c 20 34 35 29 3b 0d cpp", 123, 45);.
02b0: 0a 09 61 75 74 6f 20 71 20 3d 20 6e 65 77 20 4c ..auto q = new L
02c0: 65 78 50 6f 73 69 74 69 6f 6e 28 22 68 65 6c 6c exPosition("hell
02d0: 6f 2e 63 70 70 22 2c 20 31 32 33 2c 20 34 36 29 o.cpp", 123, 46)
02e0: 3b 0d 0a 0a 09 61 73 73 65 72 74 5f 65 71 28 20 ;....assert_eq(
02f0: 70 2e 66 69 6c 65 6e 61 6d 65 2c 20 22 68 65 6c p.filename, "hel
0300: 6c 6f 2e 63 70 70 22 20 29 3b 0a 09 61 73 73 65 lo.cpp" );..asse
0310: 72 74 5f 65 71 28 20 70 2e 6c 69 6e 65 6e 6f 2c rt_eq( p.lineno,
0320: 20 31 32 33 20 29 3b 0a 09 61 73 73 65 72 74 5f 123 );..assert_
0330: 65 71 28 20 70 2e 63 6f 6c 75 6d 6e 2c 20 34 35 eq( p.column, 45
0340: 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 65 71 28 );...assert_eq(
0350: 20 74 6f 21 73 74 72 69 6e 67 28 70 29 2c 20 22 to!string(p), "
0360: 68 65 6c 6c 6f 2e 63 70 70 3a 31 32 33 3a 34 35 hello.cpp:123:45
0370: 22 20 29 3b 0d 0a 09 61 73 73 65 72 74 5f 6c 74 " );...assert_lt
0380: 28 20 70 2c 20 71 20 29 3b 0d 0a 09 61 73 73 65 ( p, q );...asse
0390: 72 74 5f 6e 65 28 20 70 2c 20 71 20 29 3b 0d 0a rt_ne( p, q );..
03a0: 0a 09 61 73 73 65 72 74 28 20 21 5f 5f 74 72 61 ..assert( !__tra
03b0: 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 6e 65 its(compiles, ne
03c0: 77 20 4c 65 78 50 6f 73 69 74 69 6f 6e 29 20 29 w LexPosition) )
03d0: 3b 0a 09 61 73 73 65 72 74 28 20 21 5f 5f 74 72 ;..assert( !__tr
03e0: 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 70 aits(compiles, p
03f0: 2e 66 69 6c 65 6e 61 6d 65 3d 22 66 6f 6f 22 29 .filename="foo")
0400: 20 29 3b 0a 09 61 73 73 65 72 74 28 20 21 5f 5f );..assert( !__
0410: 74 72 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c traits(compiles,
0420: 20 70 2e 6c 69 6e 65 6e 6f 20 20 3d 37 38 39 29 p.lineno =789)
0430: 20 29 3b 0a 09 61 73 73 65 72 74 28 20 21 5f 5f );..assert( !__
0440: 74 72 61 69 74 73 28 63 6f 6d 70 69 6c 65 73 2c traits(compiles,
0450: 20 70 2e 63 6f 6c 75 6d 6e 20 20 3d 32 32 32 29 p.column =222)
0460: 20 29 3b 0a 7d 0a 0d 0a 2f 2f 2f 20 52 65 70 72 );.}.../// Repr
0470: 65 73 65 6e 74 73 20 61 20 6c 65 78 65 72 20 74 esents a lexer t
0480: 6f 6b 65 6e 0a 0d 0a 63 6c 61 73 73 20 54 6f 6b oken...class Tok
0490: 65 6e 0a 7b 0d 0a 09 2f 2f 2f 20 63 75 72 72 65 en.{.../// curre
04a0: 6e 74 6c 79 20 77 65 20 68 61 76 65 20 74 68 72 ntly we have thr
04b0: 65 65 20 6b 69 6e 64 73 20 6f 66 20 74 6f 6b 65 ee kinds of toke
04c0: 6e 0a 09 65 6e 75 6d 20 4b 69 6e 64 20 7b 0d 0a n..enum Kind {..
04d0: 09 09 69 64 65 6e 74 69 66 69 65 72 2c 20 2f 2f ..identifier, //
04e0: 2f 20 61 6e 79 74 68 69 6e 67 20 6f 74 68 65 72 / anything other
04f0: 20 74 68 61 6e 20 6f 74 68 65 72 73 0d 0a 09 09 than others....
0500: 73 74 72 69 6e 67 4c 69 74 65 72 61 6c 2c 20 2f stringLiteral, /
0510: 2f 2f 20 22 73 74 72 69 6e 67 20 6c 69 74 65 72 // "string liter
0520: 61 6c 22 0d 0a 09 09 6e 75 6d 62 65 72 20 2f 2f al"....number //
0530: 2f 20 34 32 0d 0a 09 7d 3b 0d 0a 09 69 6d 6d 75 / 42...};...immu
0540: 74 61 62 6c 65 20 4c 65 78 50 6f 73 69 74 69 6f table LexPositio
0550: 6e 20 70 6f 73 3b 20 20 2f 2f 2f 20 70 6f 73 69 n pos; /// posi
0560: 74 69 6f 6e 20 77 68 65 72 65 20 74 68 65 20 74 tion where the t
0570: 6f 6b 65 6e 20 6f 63 63 75 72 72 65 64 20 69 6e oken occurred in
0580: 20 74 68 65 20 73 6f 75 72 63 65 0a 09 69 6d 6d the source..imm
0590: 75 74 61 62 6c 65 20 73 74 72 69 6e 67 20 20 20 utable string
05a0: 20 20 20 73 74 72 3b 20 20 2f 2f 2f 20 74 68 65 str; /// the
05b0: 20 74 6f 6b 65 6e 20 73 74 72 69 6e 67 20 69 74 token string it
05c0: 73 65 6c 66 0d 0a 09 69 6d 6d 75 74 61 62 6c 65 self...immutable
05d0: 20 4b 69 6e 64 20 20 20 20 20 20 20 20 6b 69 6e Kind kin
05e0: 64 3b 20 2f 2f 2f 20 77 68 69 63 68 20 6b 69 6e d; /// which kin
05f0: 64 20 6f 66 20 74 6f 6b 65 6e 3f 0d 0a 0d 0a 09 d of token?.....
0600: 6d 69 78 69 6e 20 53 69 6d 70 6c 65 43 6f 6e 73 mixin SimpleCons
0610: 74 72 75 63 74 6f 72 3b 0d 0a 09 6d 69 78 69 6e tructor;...mixin
0620: 20 53 69 6d 70 6c 65 43 6f 6d 70 61 72 65 3b 0a SimpleCompare;.
0630: 7d 0a 0a 75 6e 69 74 74 65 73 74 0a 7b 0a 09 61 }..unittest.{..a
0640: 75 74 6f 20 70 20 3d 20 6e 65 77 20 69 6d 6d 75 uto p = new immu
0650: 74 61 62 6c 65 28 4c 65 78 50 6f 73 69 74 69 6f table(LexPositio
0660: 6e 29 28 22 68 65 6c 6c 6f 2e 63 70 70 22 2c 20 n)("hello.cpp",
0670: 31 32 33 2c 20 34 35 29 3b 0a 09 61 75 74 6f 20 123, 45);..auto
0680: 74 20 3d 20 6e 65 77 20 54 6f 6b 65 6e 28 70 2c t = new Token(p,
0690: 20 22 63 6c 61 73 73 22 2c 20 54 6f 6b 65 6e 2e "class", Token.
06a0: 4b 69 6e 64 2e 69 64 65 6e 74 69 66 69 65 72 29 Kind.identifier)
06b0: 3b 0a 0a 09 61 73 73 65 72 74 5f 65 71 28 20 74 ;...assert_eq( t
06c0: 2e 70 6f 73 2c 20 70 20 29 3b 0a 09 61 73 73 65 .pos, p );..asse
06d0: 72 74 5f 65 71 28 20 74 2e 73 74 72 2c 20 22 63 rt_eq( t.str, "c
06e0: 6c 61 73 73 22 20 29 3b 0d 0a 09 61 73 73 65 72 lass" );...asser
06f0: 74 5f 65 71 28 20 74 2c 20 6e 65 77 20 54 6f 6b t_eq( t, new Tok
0700: 65 6e 28 70 2c 20 22 63 6c 61 73 73 22 2c 20 54 en(p, "class", T
0710: 6f 6b 65 6e 2e 4b 69 6e 64 2e 69 64 65 6e 74 69 oken.Kind.identi
0720: 66 69 65 72 29 20 29 3b 0d 0a 09 61 73 73 65 72 fier) );...asser
0730: 74 5f 6c 74 28 20 74 2c 20 6e 65 77 20 54 6f 6b t_lt( t, new Tok
0740: 65 6e 28 70 2c 20 22 73 74 72 75 63 74 22 2c 20 en(p, "struct",
0750: 54 6f 6b 65 6e 2e 4b 69 6e 64 2e 69 64 65 6e 74 Token.Kind.ident
0760: 69 66 69 65 72 29 20 29 3b 0d 0a 0a 09 61 73 73 ifier) );....ass
0770: 65 72 74 28 20 21 5f 5f 74 72 61 69 74 73 28 63 ert( !__traits(c
0780: 6f 6d 70 69 6c 65 73 2c 20 6e 65 77 20 54 6f 6b ompiles, new Tok
0790: 65 6e 29 20 29 3b 0a 09 61 73 73 65 72 74 28 20 en) );..assert(
07a0: 21 5f 5f 74 72 61 69 74 73 28 63 6f 6d 70 69 6c !__traits(compil
07b0: 65 73 2c 20 74 2e 70 6f 73 3d 70 29 20 29 3b 0a es, t.pos=p) );.
07c0: 09 61 73 73 65 72 74 28 20 21 5f 5f 74 72 61 69 .assert( !__trai
07d0: 74 73 28 63 6f 6d 70 69 6c 65 73 2c 20 74 2e 73 ts(compiles, t.s
07e0: 74 72 3d 37 38 39 29 20 29 3b 0a 7d 0a 0d 0a 2f tr=789) );.}.../
07f0: 2f 2f 20 4e 61 6d 65 64 20 43 6f 6e 73 74 72 75 // Named Constru
0800: 74 6f 72 20 66 6f 72 20 4c 65 78 65 72 0d 0a 0d tor for Lexer...
0810: 0a 4c 65 78 65 72 20 6c 65 78 65 72 46 72 6f 6d .Lexer lexerFrom
0820: 46 69 6c 65 28 54 2e 2e 2e 29 28 20 73 74 72 69 File(T...)( stri
0830: 6e 67 20 66 69 6c 65 6e 61 6d 65 2c 20 54 20 72 ng filename, T r
0840: 65 73 74 20 29 0d 0a 7b 0d 0a 09 72 65 74 75 72 est )..{...retur
0850: 6e 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 6e n lexerFromStrin
0860: 67 28 20 73 74 64 2e 66 69 6c 65 2e 72 65 61 64 g( std.file.read
0870: 54 65 78 74 28 66 69 6c 65 6e 61 6d 65 29 2c 20 Text(filename),
0880: 66 69 6c 65 6e 61 6d 65 2c 20 72 65 73 74 20 29 filename, rest )
0890: 3b 0d 0a 7d 0d 0a 09 0d 0a 2f 2f 2f 20 4e 61 6d ;..}...../// Nam
08a0: 65 64 20 43 6f 6e 73 74 72 75 74 6f 72 20 66 6f ed Construtor fo
08b0: 72 20 4c 65 78 65 72 0d 0a 0d 0a 4c 65 78 65 72 r Lexer....Lexer
08c0: 20 6c 65 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 lexerFromString
08d0: 28 20 73 74 72 69 6e 67 20 73 74 72 2c 20 73 74 ( string str, st
08e0: 72 69 6e 67 20 66 69 6c 65 6e 61 6d 65 3d 22 3c ring filename="<
08f0: 75 6e 6e 61 6d 65 64 3e 22 2c 20 69 6e 74 20 6c unnamed>", int l
0900: 69 6e 65 6e 6f 3d 31 2c 20 69 6e 74 20 63 6f 6c ineno=1, int col
0910: 75 6d 6e 3d 31 20 29 0d 0a 7b 0d 0a 09 72 65 74 umn=1 )..{...ret
0920: 75 72 6e 20 6e 65 77 20 4c 65 78 65 72 28 73 74 urn new Lexer(st
0930: 72 2c 20 66 69 6c 65 6e 61 6d 65 2c 20 6c 69 6e r, filename, lin
0940: 65 6e 6f 2c 20 63 6f 6c 75 6d 6e 29 3b 0d 0a 7d eno, column);..}
0950: 0d 0a 0d 0a 2f 2f 2f 20 4c 65 78 65 72 20 69 73 ..../// Lexer is
0960: 20 61 20 66 6f 72 77 61 72 64 20 72 61 6e 67 65 a forward range
0970: 20 6f 66 20 54 6f 6b 65 6e 73 0d 0a 0d 0a 63 6c of Tokens....cl
0980: 61 73 73 20 4c 65 78 65 72 0a 7b 0d 0a 09 2f 2f ass Lexer.{...//
0990: 2f 20 52 61 6e 67 65 20 70 72 69 6d 69 74 69 76 / Range primitiv
09a0: 65 0a 09 62 6f 6f 6c 20 65 6d 70 74 79 28 29 20 e..bool empty()
09b0: 2f 2a 40 70 72 6f 70 65 72 74 79 2a 2f 0a 09 7b /*@property*/..{
09c0: 0a 09 09 72 65 74 75 72 6e 20 63 75 72 72 65 6e ...return curren
09d0: 74 20 69 73 20 6e 75 6c 6c 3b 0a 09 7d 0a 0a 09 t is null;..}...
09e0: 2f 2f 2f 20 52 61 6e 67 65 20 70 72 69 6d 69 74 /// Range primit
09f0: 69 76 65 0d 0a 09 54 6f 6b 65 6e 20 66 72 6f 6e ive...Token fron
0a00: 74 28 29 20 2f 2a 40 70 72 6f 70 65 72 74 79 2a t() /*@property*
0a10: 2f 0a 09 7b 0a 09 09 72 65 74 75 72 6e 20 73 74 /..{...return st
0a20: 64 2e 65 78 63 65 70 74 69 6f 6e 2e 65 6e 66 6f d.exception.enfo
0a30: 72 63 65 28 63 75 72 72 65 6e 74 2c 20 22 4c 65 rce(current, "Le
0a40: 78 65 72 20 68 61 73 20 61 6c 72 65 61 64 79 20 xer has already
0a50: 72 65 61 63 68 65 64 20 74 68 65 20 65 6e 64 22 reached the end"
0a60: 29 3b 0a 09 7d 0a 0a 09 2f 2f 2f 20 52 61 6e 67 );..}.../// Rang
0a70: 65 20 70 72 69 6d 69 74 69 76 65 0d 0a 09 76 6f e primitive...vo
0a80: 69 64 20 70 6f 70 46 72 6f 6e 74 28 29 20 2f 2a id popFront() /*
0a90: 40 70 72 6f 70 65 72 74 79 2a 2f 0a 09 7b 0a 09 @property*/..{..
0aa0: 09 73 74 64 2e 65 78 63 65 70 74 69 6f 6e 2e 65 .std.exception.e
0ab0: 6e 66 6f 72 63 65 28 63 75 72 72 65 6e 74 2c 20 nforce(current,
0ac0: 22 4c 65 78 65 72 20 68 61 73 20 61 6c 72 65 61 "Lexer has alrea
0ad0: 64 79 20 72 65 61 63 68 65 64 20 74 68 65 20 65 dy reached the e
0ae0: 6e 64 22 29 3b 0d 0a 09 09 63 75 72 72 65 6e 74 nd");....current
0af0: 20 3d 20 72 65 61 64 4e 65 78 74 28 29 3b 0a 09 = readNext();..
0b00: 7d 0a 0a 09 2f 2f 2f 20 52 61 6e 67 65 20 70 72 }.../// Range pr
0b10: 69 6d 69 74 69 76 65 0d 0a 09 4c 65 78 65 72 20 imitive...Lexer
0b20: 73 61 76 65 28 29 20 2f 2a 40 70 72 6f 70 65 72 save() /*@proper
0b30: 74 79 2a 2f 0a 09 7b 0a 09 09 72 65 74 75 72 6e ty*/..{...return
0b40: 20 6e 65 77 20 4c 65 78 65 72 28 62 75 66 66 65 new Lexer(buffe
0b50: 72 2c 20 66 69 6c 65 6e 61 6d 65 2c 20 6c 69 6e r, filename, lin
0b60: 65 6e 6f 2c 20 63 6f 6c 75 6d 6e 2c 20 63 75 72 eno, column, cur
0b70: 72 65 6e 74 29 3b 0a 09 7d 0a 0a 70 72 69 76 61 rent);..}..priva
0b80: 74 65 3a 20 2f 2f 20 69 6d 70 6c 65 6d 65 6e 74 te: // implement
0b90: 61 74 69 6f 6e 0a 0d 0a 09 73 74 72 69 6e 67 20 ation....string
0ba0: 62 75 66 66 65 72 3b 0a 09 73 74 72 69 6e 67 20 buffer;..string
0bb0: 66 69 6c 65 6e 61 6d 65 3b 0a 09 69 6e 74 20 20 filename;..int
0bc0: 20 20 6c 69 6e 65 6e 6f 3b 0a 09 69 6e 74 20 20 lineno;..int
0bd0: 20 20 63 6f 6c 75 6d 6e 3b 0a 09 54 6f 6b 65 6e column;..Token
0be0: 20 20 63 75 72 72 65 6e 74 3b 0a 0a 09 69 6e 76 current;...inv
0bf0: 61 72 69 61 6e 74 28 29 0a 09 7b 0d 0a 09 09 61 ariant()..{....a
0c00: 73 73 65 72 74 28 20 62 75 66 66 65 72 2e 65 6d ssert( buffer.em
0c10: 70 74 79 20 7c 7c 20 21 73 74 64 2e 63 74 79 70 pty || !std.ctyp
0c20: 65 2e 69 73 73 70 61 63 65 28 62 75 66 66 65 72 e.isspace(buffer
0c30: 5b 30 5d 29 20 29 3b 0a 09 7d 0a 0a 09 74 68 69 [0]) );..}...thi
0c40: 73 28 20 73 74 72 69 6e 67 20 62 75 66 66 65 72 s( string buffer
0c50: 2c 20 73 74 72 69 6e 67 20 66 69 6c 65 6e 61 6d , string filenam
0c60: 65 2c 20 69 6e 74 20 6c 69 6e 65 6e 6f 2c 20 69 e, int lineno, i
0c70: 6e 74 20 63 6f 6c 75 6d 6e 2c 20 54 6f 6b 65 6e nt column, Token
0c80: 20 63 75 72 72 65 6e 74 3d 6e 75 6c 6c 20 29 0a current=null ).
0c90: 09 7b 0a 09 09 74 68 69 73 2e 62 75 66 66 65 72 .{...this.buffer
0ca0: 20 20 20 3d 20 62 75 66 66 65 72 3b 0a 09 09 74 = buffer;...t
0cb0: 68 69 73 2e 66 69 6c 65 6e 61 6d 65 20 3d 20 66 his.filename = f
0cc0: 69 6c 65 6e 61 6d 65 3b 0a 09 09 74 68 69 73 2e ilename;...this.
0cd0: 6c 69 6e 65 6e 6f 20 20 20 3d 20 6c 69 6e 65 6e lineno = linen
0ce0: 6f 3b 0a 09 09 74 68 69 73 2e 63 6f 6c 75 6d 6e o;...this.column
0cf0: 20 20 20 3d 20 63 6f 6c 75 6d 6e 3b 0a 09 09 73 = column;...s
0d00: 6b 69 70 77 73 28 29 3b 0a 09 09 74 68 69 73 2e kipws();...this.
0d10: 63 75 72 72 65 6e 74 20 20 3d 20 28 63 75 72 72 current = (curr
0d20: 65 6e 74 20 69 73 20 6e 75 6c 6c 20 3f 20 72 65 ent is null ? re
0d30: 61 64 4e 65 78 74 28 29 20 3a 20 63 75 72 72 65 adNext() : curre
0d40: 6e 74 29 3b 0a 09 7d 0a 0a 09 76 6f 69 64 20 73 nt);..}...void s
0d50: 6b 69 70 77 73 28 29 0a 09 7b 0d 0a 09 09 62 6f kipws()..{....bo
0d60: 6f 6c 20 70 72 6f 67 72 65 73 73 20 3d 20 66 61 ol progress = fa
0d70: 6c 73 65 3b 0d 0a 09 09 64 6f 0a 09 09 7b 0a 09 lse;....do...{..
0d80: 09 09 73 74 72 69 6e 67 20 77 73 20 3d 20 62 75 ..string ws = bu
0d90: 66 66 65 72 2e 6d 75 6e 63 68 28 22 20 5c 74 22 ffer.munch(" \t"
0da0: 29 3b 0a 09 09 09 63 6f 6c 75 6d 6e 20 2b 3d 20 );....column +=
0db0: 77 73 2e 6c 65 6e 67 74 68 3b 0d 0a 09 09 09 70 ws.length;.....p
0dc0: 72 6f 67 72 65 73 73 20 3d 20 21 77 73 2e 65 6d rogress = !ws.em
0dd0: 70 74 79 3b 0d 0a 09 09 09 77 68 69 6c 65 28 20 pty;.....while(
0de0: 21 62 75 66 66 65 72 2e 65 6d 70 74 79 20 26 26 !buffer.empty &&
0df0: 20 28 62 75 66 66 65 72 5b 30 5d 3d 3d 27 5c 72 (buffer[0]=='\r
0e00: 27 20 7c 7c 20 62 75 66 66 65 72 5b 30 5d 3d 3d ' || buffer[0]==
0e10: 27 5c 6e 27 29 20 29 0a 09 09 09 7b 0d 0a 09 09 '\n') )....{....
0e20: 09 09 70 72 6f 67 72 65 73 73 20 3d 20 74 72 75 ..progress = tru
0e30: 65 3b 0a 09 09 09 09 69 66 28 20 62 75 66 66 65 e;.....if( buffe
0e40: 72 5b 30 5d 20 3d 3d 20 27 5c 6e 27 20 29 0a 09 r[0] == '\n' )..
0e50: 09 09 09 09 62 75 66 66 65 72 20 3d 20 62 75 66 ....buffer = buf
0e60: 66 65 72 5b 31 2e 2e 24 5d 3b 0a 09 09 09 09 65 fer[1..$];.....e
0e70: 6c 73 65 20 2f 2f 20 69 66 28 20 62 75 66 66 65 lse // if( buffe
0e80: 72 2e 66 72 6f 6e 74 20 3d 3d 20 27 5c 72 27 20 r.front == '\r'
0e90: 29 0a 09 09 09 09 7b 0a 09 09 09 09 09 62 75 66 ).....{......buf
0ea0: 66 65 72 20 3d 20 62 75 66 66 65 72 5b 31 2e 2e fer = buffer[1..
0eb0: 24 5d 3b 0a 09 09 09 09 09 69 66 28 20 21 62 75 $];......if( !bu
0ec0: 66 66 65 72 2e 65 6d 70 74 79 20 26 26 20 62 75 ffer.empty && bu
0ed0: 66 66 65 72 5b 30 5d 3d 3d 27 5c 6e 27 20 29 0a ffer[0]=='\n' ).
0ee0: 09 09 09 09 09 09 62 75 66 66 65 72 20 3d 20 62 ......buffer = b
0ef0: 75 66 66 65 72 5b 31 2e 2e 24 5d 3b 0a 09 09 09 uffer[1..$];....
0f00: 09 7d 0a 09 09 09 09 6c 69 6e 65 6e 6f 20 2b 2b .}.....lineno ++
0f10: 3b 0a 09 09 09 09 63 6f 6c 75 6d 6e 20 3d 20 31 ;.....column = 1
0f20: 3b 0a 09 09 09 7d 0a 09 09 7d 77 68 69 6c 65 28 ;....}...}while(
0f30: 20 70 72 6f 67 72 65 73 73 20 29 3b 0a 09 7d 0a progress );..}.
0f40: 0d 0a 09 63 68 61 72 20 72 65 61 64 43 68 61 72 ...char readChar
0f50: 28 29 0d 0a 09 7b 0d 0a 09 09 73 63 6f 70 65 28 ()...{....scope(
0f60: 65 78 69 74 29 20 7b 0d 0a 09 09 09 62 75 66 66 exit) {.....buff
0f70: 65 72 20 3d 20 62 75 66 66 65 72 5b 31 2e 2e 24 er = buffer[1..$
0f80: 5d 3b 0d 0a 09 09 09 63 6f 6c 75 6d 6e 20 2b 2b ];.....column ++
0f90: 3b 0d 0a 09 09 7d 0d 0a 09 09 72 65 74 75 72 6e ;....}....return
0fa0: 20 62 75 66 66 65 72 5b 30 5d 3b 0d 0a 09 7d 0d buffer[0];...}.
0fb0: 0a 0d 0a 09 2f 2f 2f 20 54 68 69 73 20 69 73 20 ..../// This is
0fc0: 74 68 65 20 6d 61 69 6e 20 6c 65 78 69 6e 67 20 the main lexing
0fd0: 72 6f 75 74 69 6e 65 0a 09 54 6f 6b 65 6e 20 72 routine..Token r
0fe0: 65 61 64 4e 65 78 74 28 29 0a 09 7b 0d 0a 09 09 eadNext()..{....
0ff0: 69 66 28 20 62 75 66 66 65 72 2e 65 6d 70 74 79 if( buffer.empty
1000: 20 29 0a 09 09 09 72 65 74 75 72 6e 20 6e 75 6c )....return nul
1010: 6c 3b 0a 09 09 73 63 6f 70 65 28 65 78 69 74 29 l;...scope(exit)
1020: 0a 09 09 09 73 6b 69 70 77 73 28 29 3b 0a 0a 09 ....skipws();...
1030: 09 69 66 28 20 69 73 53 79 6d 62 6f 6c 28 62 75 .if( isSymbol(bu
1040: 66 66 65 72 5b 30 5d 29 20 29 0a 09 09 7b 0d 0a ffer[0]) )...{..
1050: 09 09 09 69 66 28 20 62 75 66 66 65 72 5b 30 5d ...if( buffer[0]
1060: 20 3d 3d 20 27 23 27 20 29 0d 0a 09 09 09 7b 0d == '#' ).....{.
1070: 0a 09 09 09 09 2f 2f 20 73 6b 69 70 20 63 6f 6d .....// skip com
1080: 6d 65 6e 74 0d 0a 09 09 09 09 77 68 69 6c 65 28 ment......while(
1090: 20 21 62 75 66 66 65 72 2e 65 6d 70 74 79 20 26 !buffer.empty &
10a0: 26 20 28 62 75 66 66 65 72 5b 30 5d 21 3d 27 5c & (buffer[0]!='\
10b0: 6e 27 20 26 26 20 62 75 66 66 65 72 5b 30 5d 21 n' && buffer[0]!
10c0: 3d 27 5c 72 27 29 20 29 0d 0a 09 09 09 09 09 72 ='\r') ).......r
10d0: 65 61 64 43 68 61 72 28 29 3b 0d 0a 09 09 09 09 eadChar();......
10e0: 73 6b 69 70 77 73 28 29 3b 0d 0a 09 09 09 09 72 skipws();......r
10f0: 65 74 75 72 6e 20 72 65 61 64 4e 65 78 74 28 29 eturn readNext()
1100: 3b 0d 0a 09 09 09 7d 0d 0a 09 09 09 65 6c 73 65 ;.....}.....else
1110: 20 69 66 28 20 62 75 66 66 65 72 5b 30 5d 20 3d if( buffer[0] =
1120: 3d 20 27 22 27 20 29 0d 0a 09 09 09 7b 0d 0a 09 = '"' ).....{...
1130: 09 09 09 2f 2f 20 73 74 72 69 6e 67 20 6c 69 74 ...// string lit
1140: 65 72 61 6c 0d 0a 09 09 09 09 61 75 74 6f 20 70 eral......auto p
1150: 6f 73 20 3d 20 63 75 72 72 65 6e 74 50 6f 73 69 os = currentPosi
1160: 74 69 6f 6e 28 29 3b 0d 0a 09 09 09 09 73 74 72 tion();......str
1170: 69 6e 67 20 6c 69 74 3b 0d 0a 09 09 09 09 72 65 ing lit;......re
1180: 61 64 43 68 61 72 28 29 3b 0d 0a 09 09 09 09 77 adChar();......w
1190: 68 69 6c 65 28 20 21 62 75 66 66 65 72 2e 65 6d hile( !buffer.em
11a0: 70 74 79 20 26 26 20 62 75 66 66 65 72 5b 30 5d pty && buffer[0]
11b0: 21 3d 27 22 27 20 29 0d 0a 09 09 09 09 7b 0d 0a !='"' )......{..
11c0: 09 09 09 09 09 2f 2f 20 72 65 61 64 20 6f 6e 65 .....// read one
11d0: 20 63 68 61 72 0d 0a 09 09 09 09 09 63 68 61 72 char.......char
11e0: 20 63 20 3d 20 72 65 61 64 43 68 61 72 28 29 3b c = readChar();
11f0: 0d 0a 09 09 09 09 09 69 66 28 20 63 20 3d 3d 20 .......if( c ==
1200: 27 5c 5c 27 20 29 0d 0a 09 09 09 09 09 7b 0d 0a '\\' ).......{..
1210: 09 09 09 09 09 09 69 66 28 20 21 62 75 66 66 65 ......if( !buffe
1220: 72 2e 65 6d 70 74 79 20 26 26 20 28 62 75 66 66 r.empty && (buff
1230: 65 72 5b 30 5d 3d 3d 27 5c 5c 27 20 7c 7c 20 62 er[0]=='\\' || b
1240: 75 66 66 65 72 5b 30 5d 3d 3d 27 22 27 29 20 29 uffer[0]=='"') )
1250: 0d 0a 09 09 09 09 09 09 09 6c 69 74 20 7e 3d 20 .........lit ~=
1260: 72 65 61 64 43 68 61 72 28 29 3b 0d 0a 09 09 09 readChar();.....
1270: 09 09 09 65 6c 73 65 0d 0a 09 09 09 09 09 09 09 ...else.........
1280: 6c 69 74 20 7e 3d 20 63 3b 0d 0a 09 09 09 09 09 lit ~= c;.......
1290: 7d 0d 0a 09 09 09 09 09 65 6c 73 65 20 69 66 28 }.......else if(
12a0: 20 63 20 3d 3d 20 27 5c 6e 27 20 29 0d 0a 09 09 c == '\n' )....
12b0: 09 09 09 7b 0d 0a 09 09 09 09 09 09 6c 69 74 20 ...{........lit
12c0: 7e 3d 20 63 3b 0d 0a 09 09 09 09 09 09 6c 69 6e ~= c;........lin
12d0: 65 6e 6f 2b 2b 3b 0d 0a 09 09 09 09 09 09 63 6f eno++;........co
12e0: 6c 75 6d 6e 20 3d 20 31 3b 0d 0a 09 09 09 09 09 lumn = 1;.......
12f0: 7d 0d 0a 09 09 09 09 09 65 6c 73 65 20 69 66 28 }.......else if(
1300: 20 63 20 3d 3d 20 27 5c 72 27 20 29 0d 0a 09 09 c == '\r' )....
1310: 09 09 09 7b 0d 0a 09 09 09 09 09 09 69 66 28 20 ...{........if(
1320: 21 62 75 66 66 65 72 2e 65 6d 70 74 79 20 26 26 !buffer.empty &&
1330: 20 62 75 66 66 65 72 5b 30 5d 3d 3d 27 5c 6e 27 buffer[0]=='\n'
1340: 20 29 0d 0a 09 09 09 09 09 09 09 72 65 61 64 43 ).........readC
1350: 68 61 72 28 29 3b 0d 0a 09 09 09 09 09 09 6c 69 har();........li
1360: 74 20 7e 3d 20 27 5c 6e 27 3b 0d 0a 09 09 09 09 t ~= '\n';......
1370: 09 09 6c 69 6e 65 6e 6f 2b 2b 3b 0d 0a 09 09 09 ..lineno++;.....
1380: 09 09 09 63 6f 6c 75 6d 6e 20 3d 20 31 3b 0d 0a ...column = 1;..
1390: 09 09 09 09 09 7d 0d 0a 09 09 09 09 09 65 6c 73 .....}.......els
13a0: 65 0d 0a 09 09 09 09 09 09 6c 69 74 20 7e 3d 20 e........lit ~=
13b0: 63 3b 0d 0a 09 09 09 09 7d 0d 0a 09 09 09 09 69 c;......}......i
13c0: 66 28 20 21 62 75 66 66 65 72 2e 65 6d 70 74 79 f( !buffer.empty
13d0: 20 29 0d 0a 09 09 09 09 09 72 65 61 64 43 68 61 ).......readCha
13e0: 72 28 29 3b 0d 0a 09 09 09 09 72 65 74 75 72 6e r();......return
13f0: 20 6e 65 77 20 54 6f 6b 65 6e 28 70 6f 73 2c 20 new Token(pos,
1400: 6c 69 74 2c 20 54 6f 6b 65 6e 2e 4b 69 6e 64 2e lit, Token.Kind.
1410: 73 74 72 69 6e 67 4c 69 74 65 72 61 6c 29 3b 0d stringLiteral);.
1420: 0a 09 09 09 7d 0d 0a 09 09 09 65 6c 73 65 0d 0a ....}.....else..
1430: 09 09 09 7b 0d 0a 09 09 09 09 2f 2f 20 6e 6f 72 ...{......// nor
1440: 6d 61 6c 20 73 79 6d 62 6f 6c 0a 09 09 09 09 61 mal symbol.....a
1450: 75 74 6f 20 70 6f 73 20 3d 20 63 75 72 72 65 6e uto pos = curren
1460: 74 50 6f 73 69 74 69 6f 6e 28 29 3b 0d 0a 09 09 tPosition();....
1470: 09 09 61 75 74 6f 20 73 74 72 20 3d 20 22 22 7e ..auto str = ""~
1480: 72 65 61 64 43 68 61 72 28 29 3b 0a 09 09 09 09 readChar();.....
1490: 72 65 74 75 72 6e 20 6e 65 77 20 54 6f 6b 65 6e return new Token
14a0: 28 70 6f 73 2c 20 73 74 72 2c 20 54 6f 6b 65 6e (pos, str, Token
14b0: 2e 4b 69 6e 64 2e 69 64 65 6e 74 69 66 69 65 72 .Kind.identifier
14c0: 29 3b 0d 0a 09 09 09 7d 0a 09 09 7d 0a 09 09 65 );.....}...}...e
14d0: 6c 73 65 0a 09 09 7b 0a 09 09 09 61 75 74 6f 20 lse...{....auto
14e0: 70 6f 73 20 3d 20 63 75 72 72 65 6e 74 50 6f 73 pos = currentPos
14f0: 69 74 69 6f 6e 28 29 3b 0a 09 09 09 69 6e 74 20 ition();....int
1500: 69 20 3d 20 30 3b 0a 09 09 09 77 68 69 6c 65 28 i = 0;....while(
1510: 20 69 3c 62 75 66 66 65 72 2e 6c 65 6e 67 74 68 i<buffer.length
1520: 20 26 26 20 21 73 74 64 2e 63 74 79 70 65 2e 69 && !std.ctype.i
1530: 73 73 70 61 63 65 28 62 75 66 66 65 72 5b 69 5d sspace(buffer[i]
1540: 29 20 26 26 20 21 69 73 53 79 6d 62 6f 6c 28 62 ) && !isSymbol(b
1550: 75 66 66 65 72 5b 69 5d 29 20 29 0a 09 09 09 09 uffer[i]) ).....
1560: 2b 2b 69 3b 0a 09 09 09 61 75 74 6f 20 73 74 72 ++i;....auto str
1570: 20 3d 20 62 75 66 66 65 72 5b 30 20 2e 2e 20 69 = buffer[0 .. i
1580: 5d 3b 0a 09 09 09 62 75 66 66 65 72 20 20 20 3d ];....buffer =
1590: 20 62 75 66 66 65 72 5b 69 20 2e 2e 20 24 5d 3b buffer[i .. $];
15a0: 0a 09 09 09 63 6f 6c 75 6d 6e 20 20 2b 3d 20 69 ....column += i
15b0: 3b 0d 0a 09 09 09 62 6f 6f 6c 20 69 73 4e 75 6d ;.....bool isNum
15c0: 62 65 72 20 3d 20 66 69 6e 64 21 28 60 61 3c 27 ber = find!(`a<'
15d0: 30 27 20 7c 7c 20 27 39 27 3c 61 60 29 28 73 74 0' || '9'<a`)(st
15e0: 72 29 2e 65 6d 70 74 79 3b 0a 09 09 09 72 65 74 r).empty;....ret
15f0: 75 72 6e 20 6e 65 77 20 54 6f 6b 65 6e 28 70 6f urn new Token(po
1600: 73 2c 20 73 74 72 2c 20 69 73 4e 75 6d 62 65 72 s, str, isNumber
1610: 20 3f 20 54 6f 6b 65 6e 2e 4b 69 6e 64 2e 6e 75 ? Token.Kind.nu
1620: 6d 62 65 72 20 3a 20 54 6f 6b 65 6e 2e 4b 69 6e mber : Token.Kin
1630: 64 2e 69 64 65 6e 74 69 66 69 65 72 29 3b 0a 09 d.identifier);..
1640: 09 7d 0a 09 7d 0a 0a 09 62 6f 6f 6c 20 69 73 53 .}..}...bool isS
1650: 79 6d 62 6f 6c 28 63 68 61 72 20 63 29 0a 09 7b ymbol(char c)..{
1660: 0a 09 09 72 65 74 75 72 6e 20 28 30 78 32 31 3c ...return (0x21<
1670: 3d 63 20 26 26 20 63 3c 3d 30 78 37 66 20 26 26 =c && c<=0x7f &&
1680: 20 21 73 74 64 2e 63 74 79 70 65 2e 69 73 61 6c !std.ctype.isal
1690: 6e 75 6d 28 63 29 20 26 26 20 63 21 3d 27 5f 27 num(c) && c!='_'
16a0: 29 3b 0a 09 7d 0a 0a 09 69 6d 6d 75 74 61 62 6c );..}...immutabl
16b0: 65 28 4c 65 78 50 6f 73 69 74 69 6f 6e 29 20 63 e(LexPosition) c
16c0: 75 72 72 65 6e 74 50 6f 73 69 74 69 6f 6e 28 29 urrentPosition()
16d0: 0a 09 7b 0a 09 09 72 65 74 75 72 6e 20 6e 65 77 ..{...return new
16e0: 20 69 6d 6d 75 74 61 62 6c 65 28 4c 65 78 50 6f immutable(LexPo
16f0: 73 69 74 69 6f 6e 29 28 66 69 6c 65 6e 61 6d 65 sition)(filename
1700: 2c 20 6c 69 6e 65 6e 6f 2c 20 63 6f 6c 75 6d 6e , lineno, column
1710: 29 3b 0a 09 7d 0a 7d 0a 0a 75 6e 69 74 74 65 73 );..}.}..unittes
1720: 74 0a 7b 0a 09 61 73 73 65 72 74 28 20 73 74 64 t.{..assert( std
1730: 2e 72 61 6e 67 65 2e 69 73 46 6f 72 77 61 72 64 .range.isForward
1740: 52 61 6e 67 65 21 28 4c 65 78 65 72 29 20 29 3b Range!(Lexer) );
1750: 0a 7d 0d 0a 0d 0a 75 6e 69 74 74 65 73 74 0d 0a .}....unittest..
1760: 7b 0a 09 61 75 74 6f 20 6c 65 78 20 3d 20 6c 65 {..auto lex = le
1770: 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 22 74 xerFromString("t
1780: 68 69 73 09 69 73 20 61 20 5c 74 5c 6e 20 70 65 his.is a \t\n pe
1790: 6e 20 3a 2d 28 20 20 20 22 29 3b 0a 09 54 6f 6b n :-( ");..Tok
17a0: 65 6e 5b 5d 20 74 73 20 3d 20 73 74 64 2e 61 72 en[] ts = std.ar
17b0: 72 61 79 2e 61 72 72 61 79 28 6c 65 78 29 3b 0a ray.array(lex);.
17c0: 0a 09 61 73 73 65 72 74 28 20 74 73 5b 30 5d 2e ..assert( ts[0].
17d0: 70 6f 73 2e 6c 69 6e 65 6e 6f 20 3d 3d 20 31 20 pos.lineno == 1
17e0: 29 3b 0a 09 61 73 73 65 72 74 28 20 74 73 5b 30 );..assert( ts[0
17f0: 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 20 3d 3d 20 ].pos.column ==
1800: 31 20 29 3b 0a 09 61 73 73 65 72 74 28 20 74 73 1 );..assert( ts
1810: 5b 30 5d 2e 6b 69 6e 64 20 3d 3d 20 54 6f 6b 65 [0].kind == Toke
1820: 6e 2e 4b 69 6e 64 2e 69 64 65 6e 74 69 66 69 65 n.Kind.identifie
1830: 72 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 74 r );...assert( t
1840: 73 5b 30 5d 2e 73 74 72 20 3d 3d 20 22 74 68 69 s[0].str == "thi
1850: 73 22 20 29 3b 0a 0d 0a 09 61 73 73 65 72 74 28 s" );....assert(
1860: 20 74 73 5b 31 5d 2e 70 6f 73 2e 6c 69 6e 65 6e ts[1].pos.linen
1870: 6f 20 3d 3d 20 31 20 29 3b 0a 09 61 73 73 65 72 o == 1 );..asser
1880: 74 28 20 74 73 5b 31 5d 2e 70 6f 73 2e 63 6f 6c t( ts[1].pos.col
1890: 75 6d 6e 20 3d 3d 20 36 20 29 3b 0a 09 61 73 73 umn == 6 );..ass
18a0: 65 72 74 28 20 74 73 5b 31 5d 2e 6b 69 6e 64 20 ert( ts[1].kind
18b0: 3d 3d 20 54 6f 6b 65 6e 2e 4b 69 6e 64 2e 69 64 == Token.Kind.id
18c0: 65 6e 74 69 66 69 65 72 20 29 3b 0d 0a 09 61 73 entifier );...as
18d0: 73 65 72 74 28 20 74 73 5b 31 5d 2e 73 74 72 20 sert( ts[1].str
18e0: 3d 3d 20 22 69 73 22 20 29 3b 0a 0d 0a 09 61 73 == "is" );....as
18f0: 73 65 72 74 28 20 74 73 5b 32 5d 2e 70 6f 73 2e sert( ts[2].pos.
1900: 6c 69 6e 65 6e 6f 20 3d 3d 20 31 20 29 3b 0a 09 lineno == 1 );..
1910: 61 73 73 65 72 74 28 20 74 73 5b 32 5d 2e 70 6f assert( ts[2].po
1920: 73 2e 63 6f 6c 75 6d 6e 20 3d 3d 20 39 20 29 3b s.column == 9 );
1930: 0a 09 61 73 73 65 72 74 28 20 74 73 5b 32 5d 2e ..assert( ts[2].
1940: 6b 69 6e 64 20 3d 3d 20 54 6f 6b 65 6e 2e 4b 69 kind == Token.Ki
1950: 6e 64 2e 69 64 65 6e 74 69 66 69 65 72 20 29 3b nd.identifier );
1960: 0d 0a 09 61 73 73 65 72 74 28 20 74 73 5b 32 5d ...assert( ts[2]
1970: 2e 73 74 72 20 3d 3d 20 22 61 22 20 29 3b 0a 0d .str == "a" );..
1980: 0a 09 61 73 73 65 72 74 28 20 74 73 5b 33 5d 2e ..assert( ts[3].
1990: 70 6f 73 2e 6c 69 6e 65 6e 6f 20 3d 3d 20 32 20 pos.lineno == 2
19a0: 29 3b 0a 09 61 73 73 65 72 74 28 20 74 73 5b 33 );..assert( ts[3
19b0: 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 20 3d 3d 20 ].pos.column ==
19c0: 32 20 29 3b 0a 09 61 73 73 65 72 74 28 20 74 73 2 );..assert( ts
19d0: 5b 33 5d 2e 6b 69 6e 64 20 3d 3d 20 54 6f 6b 65 [3].kind == Toke
19e0: 6e 2e 4b 69 6e 64 2e 69 64 65 6e 74 69 66 69 65 n.Kind.identifie
19f0: 72 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 74 r );...assert( t
1a00: 73 5b 33 5d 2e 73 74 72 20 3d 3d 20 22 70 65 6e s[3].str == "pen
1a10: 22 20 29 3b 0a 0d 0a 09 2f 2f 20 63 6f 6e 73 65 " );....// conse
1a20: 63 75 74 69 76 65 20 73 79 6d 62 6f 6c 73 20 61 cutive symbols a
1a30: 72 65 20 61 6c 77 61 79 73 20 73 65 70 61 72 61 re always separa
1a40: 74 65 64 0d 0a 09 2f 2f 20 68 65 6e 63 65 2c 20 ted...// hence,
1a50: 6e 6f 20 22 2b 2b 22 20 6f 72 20 22 3c 3c 22 20 no "++" or "<<"
1a60: 6f 72 20 2e 2e 2e 0d 0a 09 09 0d 0a 09 61 73 73 or ..........ass
1a70: 65 72 74 28 20 74 73 5b 34 5d 2e 70 6f 73 2e 6c ert( ts[4].pos.l
1a80: 69 6e 65 6e 6f 20 3d 3d 20 32 20 29 3b 0a 09 61 ineno == 2 );..a
1a90: 73 73 65 72 74 28 20 74 73 5b 34 5d 2e 70 6f 73 ssert( ts[4].pos
1aa0: 2e 63 6f 6c 75 6d 6e 20 3d 3d 20 36 20 29 3b 0a .column == 6 );.
1ab0: 09 61 73 73 65 72 74 28 20 74 73 5b 34 5d 2e 73 .assert( ts[4].s
1ac0: 74 72 20 3d 3d 20 22 3a 22 20 29 3b 0a 0d 0a 09 tr == ":" );....
1ad0: 61 73 73 65 72 74 28 20 74 73 5b 35 5d 2e 70 6f assert( ts[5].po
1ae0: 73 2e 6c 69 6e 65 6e 6f 20 3d 3d 20 32 20 29 3b s.lineno == 2 );
1af0: 0a 09 61 73 73 65 72 74 28 20 74 73 5b 35 5d 2e ..assert( ts[5].
1b00: 70 6f 73 2e 63 6f 6c 75 6d 6e 20 3d 3d 20 37 20 pos.column == 7
1b10: 29 3b 0a 09 61 73 73 65 72 74 28 20 74 73 5b 35 );..assert( ts[5
1b20: 5d 2e 73 74 72 20 3d 3d 20 22 2d 22 20 29 3b 20 ].str == "-" );
1b30: 0a 0d 0a 09 61 73 73 65 72 74 28 20 74 73 5b 36 ....assert( ts[6
1b40: 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 20 3d 3d 20 ].pos.lineno ==
1b50: 32 20 29 3b 0a 09 61 73 73 65 72 74 28 20 74 73 2 );..assert( ts
1b60: 5b 36 5d 2e 70 6f 73 2e 63 6f 6c 75 6d 6e 20 3d [6].pos.column =
1b70: 3d 20 38 20 29 3b 0a 09 61 73 73 65 72 74 28 20 = 8 );..assert(
1b80: 74 73 5b 36 5d 2e 73 74 72 20 3d 3d 20 22 28 22 ts[6].str == "("
1b90: 20 29 3b 0a 0d 0a 09 61 73 73 65 72 74 28 20 74 );....assert( t
1ba0: 73 2e 6c 65 6e 67 74 68 20 3d 3d 20 37 20 29 3b s.length == 7 );
1bb0: 0a 7d 0d 0a 0d 0a 75 6e 69 74 74 65 73 74 0d 0a .}....unittest..
1bc0: 7b 0a 09 61 75 74 6f 20 6c 65 78 32 20 3d 20 6c {..auto lex2 = l
1bd0: 65 78 65 72 46 72 6f 6d 53 74 72 69 6e 67 28 22 exerFromString("
1be0: 20 61 31 32 5c 6e 33 61 20 35 20 22 29 3b 0a 09 a12\n3a 5 ");..
1bf0: 61 73 73 65 72 74 28 20 6c 65 78 32 2e 66 72 6f assert( lex2.fro
1c00: 6e 74 2e 73 74 72 20 3d 3d 20 22 61 31 32 22 20 nt.str == "a12"
1c10: 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 6c 65 78 );...assert( lex
1c20: 32 2e 66 72 6f 6e 74 2e 6b 69 6e 64 20 3d 3d 20 2.front.kind ==
1c30: 54 6f 6b 65 6e 2e 4b 69 6e 64 2e 69 64 65 6e 74 Token.Kind.ident
1c40: 69 66 69 65 72 20 29 3b 0d 0a 09 6c 65 78 32 2e ifier );...lex2.
1c50: 70 6f 70 46 72 6f 6e 74 3b 0a 09 61 75 74 6f 20 popFront;..auto
1c60: 6c 65 78 33 20 3d 20 6c 65 78 32 2e 73 61 76 65 lex3 = lex2.save
1c70: 3b 0a 09 61 73 73 65 72 74 28 20 6c 65 78 32 2e ;..assert( lex2.
1c80: 66 72 6f 6e 74 2e 73 74 72 20 3d 3d 20 22 33 61 front.str == "3a
1c90: 22 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 6c " );...assert( l
1ca0: 65 78 32 2e 66 72 6f 6e 74 2e 6b 69 6e 64 20 3d ex2.front.kind =
1cb0: 3d 20 54 6f 6b 65 6e 2e 4b 69 6e 64 2e 69 64 65 = Token.Kind.ide
1cc0: 6e 74 69 66 69 65 72 20 29 3b 0d 0a 09 6c 65 78 ntifier );...lex
1cd0: 32 2e 70 6f 70 46 72 6f 6e 74 3b 0a 09 61 73 73 2.popFront;..ass
1ce0: 65 72 74 28 20 6c 65 78 33 2e 66 72 6f 6e 74 2e ert( lex3.front.
1cf0: 73 74 72 20 3d 3d 20 22 33 61 22 20 29 3b 0a 09 str == "3a" );..
1d00: 61 73 73 65 72 74 28 20 6c 65 78 33 2e 66 72 6f assert( lex3.fro
1d10: 6e 74 2e 6b 69 6e 64 20 3d 3d 20 54 6f 6b 65 6e nt.kind == Token
1d20: 2e 4b 69 6e 64 2e 69 64 65 6e 74 69 66 69 65 72 .Kind.identifier
1d30: 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 6c 65 );...assert( le
1d40: 78 32 2e 66 72 6f 6e 74 2e 73 74 72 20 3d 3d 20 x2.front.str ==
1d50: 22 35 22 20 29 3b 0a 09 61 73 73 65 72 74 28 20 "5" );..assert(
1d60: 6c 65 78 32 2e 66 72 6f 6e 74 2e 6b 69 6e 64 20 lex2.front.kind
1d70: 3d 3d 20 54 6f 6b 65 6e 2e 4b 69 6e 64 2e 6e 75 == Token.Kind.nu
1d80: 6d 62 65 72 20 29 3b 0d 0a 09 6c 65 78 32 2e 70 mber );...lex2.p
1d90: 6f 70 46 72 6f 6e 74 3b 0a 09 6c 65 78 33 2e 70 opFront;..lex3.p
1da0: 6f 70 46 72 6f 6e 74 3b 0a 09 61 73 73 65 72 74 opFront;..assert
1db0: 28 20 6c 65 78 32 2e 65 6d 70 74 79 20 29 3b 0a ( lex2.empty );.
1dc0: 09 61 73 73 65 72 74 28 20 21 6c 65 78 33 2e 65 .assert( !lex3.e
1dd0: 6d 70 74 79 20 29 3b 0a 09 61 73 73 65 72 74 28 mpty );..assert(
1de0: 20 6c 65 78 33 2e 66 72 6f 6e 74 2e 73 74 72 20 lex3.front.str
1df0: 3d 3d 20 22 35 22 20 29 3b 0d 0a 09 61 73 73 65 == "5" );...asse
1e00: 72 74 28 20 6c 65 78 33 2e 66 72 6f 6e 74 2e 6b rt( lex3.front.k
1e10: 69 6e 64 20 3d 3d 20 54 6f 6b 65 6e 2e 4b 69 6e ind == Token.Kin
1e20: 64 2e 6e 75 6d 62 65 72 20 29 3b 0d 0a 7d 0d 0a d.number );..}..
1e30: 0d 0a 75 6e 69 74 74 65 73 74 0d 0a 7b 0d 0a 2f ..unittest..{../
1e40: 2f 21 21 20 62 65 20 73 75 72 65 20 74 6f 20 72 /!! be sure to r
1e50: 75 6e 20 74 68 65 20 75 6e 69 74 74 65 73 74 20 un the unittest
1e60: 6f 6e 20 74 68 65 20 72 6f 6f 74 20 6f 66 20 74 on the root of t
1e70: 68 65 20 73 6f 75 72 63 65 20 64 69 72 65 63 74 he source direct
1e80: 6f 72 79 0d 0a 09 61 75 74 6f 20 6c 65 78 66 20 ory...auto lexf
1e90: 3d 20 6c 65 78 65 72 46 72 6f 6d 46 69 6c 65 28 = lexerFromFile(
1ea0: 22 70 6f 6c 65 6d 79 2f 6c 65 78 2e 64 22 29 3b "polemy/lex.d");
1eb0: 09 0d 0a 09 6c 65 78 66 20 3d 20 66 69 6e 64 21 ....lexf = find!
1ec0: 60 61 2e 73 74 72 20 3d 3d 20 22 6d 6f 64 75 6c `a.str == "modul
1ed0: 65 22 60 28 6c 65 78 66 29 3b 0d 0a 09 61 73 73 e"`(lexf);...ass
1ee0: 65 72 74 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e ert( lexf.front.
1ef0: 73 74 72 20 3d 3d 20 22 6d 6f 64 75 6c 65 22 2c str == "module",
1f00: 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 73 74 72 20 lexf.front.str
1f10: 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 6c 65 78 );...assert( lex
1f20: 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e 66 69 6c 65 f.front.pos.file
1f30: 6e 61 6d 65 20 3d 3d 20 22 70 6f 6c 65 6d 79 2f name == "polemy/
1f40: 6c 65 78 2e 64 22 20 29 3b 0d 0a 09 61 73 73 65 lex.d" );...asse
1f50: 72 74 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 rt( lexf.front.p
1f60: 6f 73 2e 6c 69 6e 65 6e 6f 20 3d 3d 20 37 20 29 os.lineno == 7 )
1f70: 3b 0d 0a 09 61 73 73 65 72 74 28 20 6c 65 78 66 ;...assert( lexf
1f80: 2e 66 72 6f 6e 74 2e 70 6f 73 2e 63 6f 6c 75 6d .front.pos.colum
1f90: 6e 20 3d 3d 20 31 20 29 3b 0d 0a 09 6c 65 78 66 n == 1 );...lexf
1fa0: 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 61 73 73 .popFront;...ass
1fb0: 65 72 74 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e ert( lexf.front.
1fc0: 73 74 72 20 3d 3d 20 22 70 6f 6c 65 6d 79 22 20 str == "polemy"
1fd0: 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 6c 65 78 );...assert( lex
1fe0: 66 2e 66 72 6f 6e 74 2e 70 6f 73 2e 6c 69 6e 65 f.front.pos.line
1ff0: 6e 6f 20 3d 3d 20 37 20 29 3b 0d 0a 09 61 73 73 no == 7 );...ass
2000: 65 72 74 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e ert( lexf.front.
2010: 70 6f 73 2e 63 6f 6c 75 6d 6e 20 3d 3d 20 38 20 pos.column == 8
2020: 29 3b 0d 0a 09 6c 65 78 66 2e 70 6f 70 46 72 6f );...lexf.popFro
2030: 6e 74 3b 0d 0a 09 61 73 73 65 72 74 28 20 6c 65 nt;...assert( le
2040: 78 66 2e 66 72 6f 6e 74 2e 73 74 72 20 3d 3d 20 xf.front.str ==
2050: 22 2e 22 20 29 3b 0d 0a 09 6c 65 78 66 2e 70 6f "." );...lexf.po
2060: 70 46 72 6f 6e 74 3b 0d 0a 09 61 73 73 65 72 74 pFront;...assert
2070: 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 73 74 72 ( lexf.front.str
2080: 20 3d 3d 20 22 6c 65 78 22 20 29 3b 0d 0a 09 6c == "lex" );...l
2090: 65 78 66 2e 70 6f 70 46 72 6f 6e 74 3b 0d 0a 09 exf.popFront;...
20a0: 61 73 73 65 72 74 28 20 6c 65 78 66 2e 66 72 6f assert( lexf.fro
20b0: 6e 74 2e 73 74 72 20 3d 3d 20 22 3b 22 20 29 3b nt.str == ";" );
20c0: 0d 0a 09 6c 65 78 66 2e 70 6f 70 46 72 6f 6e 74 ...lexf.popFront
20d0: 3b 0d 0a 09 61 73 73 65 72 74 28 20 6c 65 78 66 ;...assert( lexf
20e0: 2e 66 72 6f 6e 74 2e 73 74 72 20 3d 3d 20 22 69 .front.str == "i
20f0: 6d 70 6f 72 74 22 20 29 3b 0d 0a 09 61 73 73 65 mport" );...asse
2100: 72 74 28 20 6c 65 78 66 2e 66 72 6f 6e 74 2e 70 rt( lexf.front.p
2110: 6f 73 2e 6c 69 6e 65 6e 6f 20 3d 3d 20 38 20 29 os.lineno == 8 )
2120: 3b 0d 0a 09 61 73 73 65 72 74 28 20 6c 65 78 66 ;...assert( lexf
2130: 2e 66 72 6f 6e 74 2e 70 6f 73 2e 63 6f 6c 75 6d .front.pos.colum
2140: 6e 20 3d 3d 20 31 20 29 3b 0d 0a 7d 0d 0a 0d 0a n == 1 );..}....
2150: 75 6e 69 74 74 65 73 74 0d 0a 7b 0d 0a 09 61 75 unittest..{...au
2160: 74 6f 20 6c 65 78 20 3d 20 6c 65 78 65 72 46 72 to lex = lexerFr
2170: 6f 6d 53 74 72 69 6e 67 28 60 6d 79 20 23 20 63 omString(`my # c
2180: 6f 6d 6d 65 6e 74 20 73 68 6f 75 6c 64 0d 0a 23 omment should..#
2190: 20 68 65 79 21 21 0d 0a 62 65 20 69 67 6e 6f 72 hey!!..be ignor
21a0: 65 64 2e 0d 0a 68 61 68 61 68 61 22 68 69 68 69 ed...hahaha"hihi
21b0: 68 69 22 22 68 75 5c 5c 5c 22 68 75 68 75 22 23 hi""hu\\\"huhu"#
21c0: 31 32 33 20 61 61 0d 0a 31 32 33 20 61 61 20 22 123 aa..123 aa "
21d0: 61 61 61 0d 0a 62 62 62 20 23 20 31 32 33 0d 0a aaa..bbb # 123..
21e0: 65 65 65 22 0d 0a 7a 7a 7a 0d 0a 60 29 3b 0d 0a eee"..zzz..`);..
21f0: 09 54 6f 6b 65 6e 5b 5d 20 74 73 20 3d 20 73 74 .Token[] ts = st
2200: 64 2e 61 72 72 61 79 2e 61 72 72 61 79 28 6c 65 d.array.array(le
2210: 78 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 74 73 x);...assert( ts
2220: 5b 30 5d 2e 73 74 72 20 3d 3d 20 22 6d 79 22 20 [0].str == "my"
2230: 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 74 73 5b );...assert( ts[
2240: 30 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 20 3d 3d 0].pos.lineno ==
2250: 20 31 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 1 );...assert(
2260: 74 73 5b 31 5d 2e 73 74 72 20 3d 3d 20 22 62 65 ts[1].str == "be
2270: 22 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 74 " );...assert( t
2280: 73 5b 31 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 20 s[1].pos.lineno
2290: 3d 3d 20 33 20 29 3b 0d 0a 09 61 73 73 65 72 74 == 3 );...assert
22a0: 28 20 74 73 5b 32 5d 2e 73 74 72 20 3d 3d 20 22 ( ts[2].str == "
22b0: 69 67 6e 6f 72 65 64 22 20 29 3b 0d 0a 09 61 73 ignored" );...as
22c0: 73 65 72 74 28 20 74 73 5b 33 5d 2e 73 74 72 20 sert( ts[3].str
22d0: 3d 3d 20 22 2e 22 20 29 3b 0d 0a 09 61 73 73 65 == "." );...asse
22e0: 72 74 28 20 74 73 5b 34 5d 2e 73 74 72 20 3d 3d rt( ts[4].str ==
22f0: 20 22 68 61 68 61 68 61 22 20 29 3b 0d 0a 09 61 "hahaha" );...a
2300: 73 73 65 72 74 28 20 74 73 5b 34 5d 2e 70 6f 73 ssert( ts[4].pos
2310: 2e 6c 69 6e 65 6e 6f 20 3d 3d 20 34 20 29 3b 0d .lineno == 4 );.
2320: 0a 09 61 73 73 65 72 74 28 20 74 73 5b 34 5d 2e ..assert( ts[4].
2330: 6b 69 6e 64 20 3d 3d 20 54 6f 6b 65 6e 2e 4b 69 kind == Token.Ki
2340: 6e 64 2e 69 64 65 6e 74 69 66 69 65 72 20 29 3b nd.identifier );
2350: 0d 0a 09 61 73 73 65 72 74 28 20 74 73 5b 35 5d ...assert( ts[5]
2360: 2e 73 74 72 20 3d 3d 20 22 68 69 68 69 68 69 22 .str == "hihihi"
2370: 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 74 73 );...assert( ts
2380: 5b 35 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 20 3d [5].pos.lineno =
2390: 3d 20 34 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 = 4 );...assert(
23a0: 20 74 73 5b 35 5d 2e 6b 69 6e 64 20 3d 3d 20 54 ts[5].kind == T
23b0: 6f 6b 65 6e 2e 4b 69 6e 64 2e 73 74 72 69 6e 67 oken.Kind.string
23c0: 4c 69 74 65 72 61 6c 20 29 3b 0d 0a 09 61 73 73 Literal );...ass
23d0: 65 72 74 28 20 74 73 5b 36 5d 2e 73 74 72 20 3d ert( ts[6].str =
23e0: 3d 20 60 68 75 5c 22 68 75 68 75 60 20 29 3b 0d = `hu\"huhu` );.
23f0: 0a 09 61 73 73 65 72 74 28 20 74 73 5b 36 5d 2e ..assert( ts[6].
2400: 6b 69 6e 64 20 3d 3d 20 54 6f 6b 65 6e 2e 4b 69 kind == Token.Ki
2410: 6e 64 2e 73 74 72 69 6e 67 4c 69 74 65 72 61 6c nd.stringLiteral
2420: 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 74 73 );...assert( ts
2430: 5b 36 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f 20 3d [6].pos.lineno =
2440: 3d 20 34 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 = 4 );...assert(
2450: 20 74 73 5b 37 5d 2e 73 74 72 20 3d 3d 20 22 31 ts[7].str == "1
2460: 32 33 22 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 23" );...assert(
2470: 20 74 73 5b 37 5d 2e 70 6f 73 2e 6c 69 6e 65 6e ts[7].pos.linen
2480: 6f 20 3d 3d 20 35 20 29 3b 0d 0a 09 61 73 73 65 o == 5 );...asse
2490: 72 74 28 20 74 73 5b 37 5d 2e 6b 69 6e 64 20 3d rt( ts[7].kind =
24a0: 3d 20 54 6f 6b 65 6e 2e 4b 69 6e 64 2e 6e 75 6d = Token.Kind.num
24b0: 62 65 72 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 ber );...assert(
24c0: 20 74 73 5b 38 5d 2e 73 74 72 20 3d 3d 20 22 61 ts[8].str == "a
24d0: 61 22 20 29 3b 0d 0a 09 61 73 73 65 72 74 28 20 a" );...assert(
24e0: 74 73 5b 39 5d 2e 70 6f 73 2e 6c 69 6e 65 6e 6f ts[9].pos.lineno
24f0: 20 3d 3d 20 35 20 29 3b 0d 0a 09 61 73 73 65 72 == 5 );...asser
2500: 74 28 20 74 73 5b 39 5d 2e 73 74 72 20 3d 3d 20 t( ts[9].str ==
2510: 22 61 61 61 5c 6e 62 62 62 20 23 20 31 32 33 5c "aaa\nbbb # 123\
2520: 6e 65 65 65 22 20 29 3b 0d 0a 09 61 73 73 65 72 neee" );...asser
2530: 74 28 20 74 73 5b 39 5d 2e 6b 69 6e 64 20 3d 3d t( ts[9].kind ==
2540: 20 54 6f 6b 65 6e 2e 4b 69 6e 64 2e 73 74 72 69 Token.Kind.stri
2550: 6e 67 4c 69 74 65 72 61 6c 20 29 3b 0d 0a 09 61 ngLiteral );...a
2560: 73 73 65 72 74 28 20 74 73 5b 31 30 5d 2e 70 6f ssert( ts[10].po
2570: 73 2e 6c 69 6e 65 6e 6f 20 3d 3d 20 38 20 29 3b s.lineno == 8 );
2580: 0d 0a 09 61 73 73 65 72 74 28 20 74 73 2e 6c 65 ...assert( ts.le
2590: 6e 67 74 68 20 3d 3d 20 31 31 20 29 3b 0d 0a 7d ngth == 11 );..}
25a0: 0d 0a ..