]> git.lizzy.rs Git - rust.git/commitdiff
Auto merge of #79338 - Aaron1011:fix/token-reparse-cache, r=petrochenkov
authorbors <bors@rust-lang.org>
Thu, 26 Nov 2020 22:02:45 +0000 (22:02 +0000)
committerbors <bors@rust-lang.org>
Thu, 26 Nov 2020 22:02:45 +0000 (22:02 +0000)
Cache pretty-print/retokenize result to avoid compile time blowup

Fixes #79242

If a `macro_rules!` recursively builds up a nested nonterminal
(passing it to a proc-macro at each step), we will end up repeatedly
pretty-printing/retokenizing the same nonterminals. Unfortunately, the
'probable equality' check we do has a non-trivial cost, which leads to a
blowup in compilation time.

As a workaround, we cache the result of the 'probable equality' check,
which eliminates the compilation time blowup for the linked issue. This
commit only touches a single file (other than adding tests), so it
should be easy to backport.

The proper solution is to remove the pretty-print/retokenize hack
entirely. However, this will almost certainly break a large number of
crates that were relying on hygiene bugs created by using the reparsed
`TokenStream`. As a result, we will definitely not want to backport
such a change.

1  2 
compiler/rustc_parse/src/lib.rs

Simple merge