]> git.lizzy.rs Git - rust.git/commit
syntax: don't parse numeric literals in the lexer
authorCorey Richardson <corey@octayn.net>
Wed, 18 Jun 2014 17:44:20 +0000 (10:44 -0700)
committerCorey Richardson <corey@octayn.net>
Wed, 9 Jul 2014 07:06:29 +0000 (00:06 -0700)
commitcc4213418e3ab225867d8e3911f592481b1bbffc
treec66b1d206a18a456a81f1ee3d859fec9fbd1e010
parent9f5e21da4ef95e5d2914a76b09848ebc2504c53d
syntax: don't parse numeric literals in the lexer

This removes a bunch of token types. Tokens now store the original, unaltered
numeric literal (that is still checked for correctness), which is parsed into
an actual number later, as needed, when creating the AST.

This can change how syntax extensions work, but otherwise poses no visible
changes.

[breaking-change]
src/librustc/middle/trans/consts.rs
src/librustdoc/html/highlight.rs
src/libsyntax/ast.rs
src/libsyntax/codemap.rs
src/libsyntax/ext/quote.rs
src/libsyntax/parse/lexer/mod.rs
src/libsyntax/parse/mod.rs
src/libsyntax/parse/parser.rs
src/libsyntax/parse/token.rs