compiler/rustc_expand/src/proc_macro_server.rs

   1 use crate::base::ExtCtxt;
   2
   3 use rustc_ast as ast;
   4 use rustc_ast::token::{self, Nonterminal, NtIdent};
   5 use rustc_ast::tokenstream::{self, CanSynthesizeMissingTokens};
   6 use rustc_ast::tokenstream::{DelimSpan, Spacing::*, TokenStream, TreeAndSpacing};
   7 use rustc_ast_pretty::pprust;
   8 use rustc_data_structures::fx::FxHashMap;
   9 use rustc_data_structures::sync::Lrc;
  10 use rustc_errors::{Diagnostic, PResult};
  11 use rustc_lint_defs::builtin::PROC_MACRO_BACK_COMPAT;
  12 use rustc_lint_defs::BuiltinLintDiagnostics;
  13 use rustc_parse::lexer::nfc_normalize;
  14 use rustc_parse::{nt_to_tokenstream, parse_stream_from_source_str};
  15 use rustc_session::parse::ParseSess;
  16 use rustc_span::def_id::CrateNum;
  17 use rustc_span::hygiene::ExpnKind;
  18 use rustc_span::symbol::{self, kw, sym, Symbol};
  19 use rustc_span::{BytePos, FileName, MultiSpan, Pos, RealFileName, SourceFile, Span};
  20
  21 use pm::bridge::{server, TokenTree};
  22 use pm::{Delimiter, Level, LineColumn, Spacing};
  23 use std::ops::Bound;
  24 use std::{ascii, panic};
  25
  26 trait FromInternal<T> {
  27     fn from_internal(x: T) -> Self;
  28 }
  29
  30 trait ToInternal<T> {
  31     fn to_internal(self) -> T;
  32 }
  33
  34 impl FromInternal<token::DelimToken> for Delimiter {
  35     fn from_internal(delim: token::DelimToken) -> Delimiter {
  36         match delim {
  37             token::Paren => Delimiter::Parenthesis,
  38             token::Brace => Delimiter::Brace,
  39             token::Bracket => Delimiter::Bracket,
  40             token::NoDelim => Delimiter::None,
  41         }
  42     }
  43 }
  44
  45 impl ToInternal<token::DelimToken> for Delimiter {
  46     fn to_internal(self) -> token::DelimToken {
  47         match self {
  48             Delimiter::Parenthesis => token::Paren,
  49             Delimiter::Brace => token::Brace,
  50             Delimiter::Bracket => token::Bracket,
  51             Delimiter::None => token::NoDelim,
  52         }
  53     }
  54 }
  55
  56 impl FromInternal<(TreeAndSpacing, &'_ mut Vec<Self>, &mut Rustc<'_, '_>)>
  57     for TokenTree<Group, Punct, Ident, Literal>
  58 {
  59     fn from_internal(
  60         ((tree, spacing), stack, rustc): (TreeAndSpacing, &mut Vec<Self>, &mut Rustc<'_, '_>),
  61     ) -> Self {
  62         use rustc_ast::token::*;
  63
  64         let joint = spacing == Joint;
  65         let Token { kind, span } = match tree {
  66             tokenstream::TokenTree::Delimited(span, delim, tts) => {
  67                 let delimiter = Delimiter::from_internal(delim);
  68                 return TokenTree::Group(Group { delimiter, stream: tts, span, flatten: false });
  69             }
  70             tokenstream::TokenTree::Token(token) => token,
  71         };
  72
  73         macro_rules! tt {
  74             ($ty:ident { $($field:ident $(: $value:expr)*),+ $(,)? }) => (
  75                 TokenTree::$ty(self::$ty {
  76                     $($field $(: $value)*,)+
  77                     span,
  78                 })
  79             );
  80             ($ty:ident::$method:ident($($value:expr),*)) => (
  81                 TokenTree::$ty(self::$ty::$method($($value,)* span))
  82             );
  83         }
  84         macro_rules! op {
  85             ($a:expr) => {
  86                 tt!(Punct::new($a, joint))
  87             };
  88             ($a:expr, $b:expr) => {{
  89                 stack.push(tt!(Punct::new($b, joint)));
  90                 tt!(Punct::new($a, true))
  91             }};
  92             ($a:expr, $b:expr, $c:expr) => {{
  93                 stack.push(tt!(Punct::new($c, joint)));
  94                 stack.push(tt!(Punct::new($b, true)));
  95                 tt!(Punct::new($a, true))
  96             }};
  97         }
  98
  99         match kind {
 100             Eq => op!('='),
 101             Lt => op!('<'),
 102             Le => op!('<', '='),
 103             EqEq => op!('=', '='),
 104             Ne => op!('!', '='),
 105             Ge => op!('>', '='),
 106             Gt => op!('>'),
 107             AndAnd => op!('&', '&'),
 108             OrOr => op!('|', '|'),
 109             Not => op!('!'),
 110             Tilde => op!('~'),
 111             BinOp(Plus) => op!('+'),
 112             BinOp(Minus) => op!('-'),
 113             BinOp(Star) => op!('*'),
 114             BinOp(Slash) => op!('/'),
 115             BinOp(Percent) => op!('%'),
 116             BinOp(Caret) => op!('^'),
 117             BinOp(And) => op!('&'),
 118             BinOp(Or) => op!('|'),
 119             BinOp(Shl) => op!('<', '<'),
 120             BinOp(Shr) => op!('>', '>'),
 121             BinOpEq(Plus) => op!('+', '='),
 122             BinOpEq(Minus) => op!('-', '='),
 123             BinOpEq(Star) => op!('*', '='),
 124             BinOpEq(Slash) => op!('/', '='),
 125             BinOpEq(Percent) => op!('%', '='),
 126             BinOpEq(Caret) => op!('^', '='),
 127             BinOpEq(And) => op!('&', '='),
 128             BinOpEq(Or) => op!('|', '='),
 129             BinOpEq(Shl) => op!('<', '<', '='),
 130             BinOpEq(Shr) => op!('>', '>', '='),
 131             At => op!('@'),
 132             Dot => op!('.'),
 133             DotDot => op!('.', '.'),
 134             DotDotDot => op!('.', '.', '.'),
 135             DotDotEq => op!('.', '.', '='),
 136             Comma => op!(','),
 137             Semi => op!(';'),
 138             Colon => op!(':'),
 139             ModSep => op!(':', ':'),
 140             RArrow => op!('-', '>'),
 141             LArrow => op!('<', '-'),
 142             FatArrow => op!('=', '>'),
 143             Pound => op!('#'),
 144             Dollar => op!('$'),
 145             Question => op!('?'),
 146             SingleQuote => op!('\''),
 147
 148             Ident(name, false) if name == kw::DollarCrate => tt!(Ident::dollar_crate()),
 149             Ident(name, is_raw) => tt!(Ident::new(rustc.sess(), name, is_raw)),
 150             Lifetime(name) => {
 151                 let ident = symbol::Ident::new(name, span).without_first_quote();
 152                 stack.push(tt!(Ident::new(rustc.sess(), ident.name, false)));
 153                 tt!(Punct::new('\'', true))
 154             }
 155             Literal(lit) => tt!(Literal { lit }),
 156             DocComment(_, attr_style, data) => {
 157                 let mut escaped = String::new();
 158                 for ch in data.as_str().chars() {
 159                     escaped.extend(ch.escape_debug());
 160                 }
 161                 let stream = vec![
 162                     Ident(sym::doc, false),
 163                     Eq,
 164                     TokenKind::lit(token::Str, Symbol::intern(&escaped), None),
 165                 ]
 166                 .into_iter()
 167                 .map(|kind| tokenstream::TokenTree::token(kind, span))
 168                 .collect();
 169                 stack.push(TokenTree::Group(Group {
 170                     delimiter: Delimiter::Bracket,
 171                     stream,
 172                     span: DelimSpan::from_single(span),
 173                     flatten: false,
 174                 }));
 175                 if attr_style == ast::AttrStyle::Inner {
 176                     stack.push(tt!(Punct::new('!', false)));
 177                 }
 178                 tt!(Punct::new('#', false))
 179             }
 180
 181             Interpolated(nt)
 182                 if let Some((name, is_raw)) = ident_name_compatibility_hack(&nt, span, rustc) =>
 183             {
 184                 TokenTree::Ident(Ident::new(rustc.sess(), name.name, is_raw, name.span))
 185             }
 186             Interpolated(nt) => {
 187                 let stream = nt_to_tokenstream(&nt, rustc.sess(), CanSynthesizeMissingTokens::No);
 188                 TokenTree::Group(Group {
 189                     delimiter: Delimiter::None,
 190                     stream,
 191                     span: DelimSpan::from_single(span),
 192                     flatten: crate::base::pretty_printing_compatibility_hack(&nt, rustc.sess()),
 193                 })
 194             }
 195
 196             OpenDelim(..) | CloseDelim(..) => unreachable!(),
 197             Eof => unreachable!(),
 198         }
 199     }
 200 }
 201
 202 impl ToInternal<TokenStream> for TokenTree<Group, Punct, Ident, Literal> {
 203     fn to_internal(self) -> TokenStream {
 204         use rustc_ast::token::*;
 205
 206         let (ch, joint, span) = match self {
 207             TokenTree::Punct(Punct { ch, joint, span }) => (ch, joint, span),
 208             TokenTree::Group(Group { delimiter, stream, span, .. }) => {
 209                 return tokenstream::TokenTree::Delimited(span, delimiter.to_internal(), stream)
 210                     .into();
 211             }
 212             TokenTree::Ident(self::Ident { sym, is_raw, span }) => {
 213                 return tokenstream::TokenTree::token(Ident(sym, is_raw), span).into();
 214             }
 215             TokenTree::Literal(self::Literal {
 216                 lit: token::Lit { kind: token::Integer, symbol, suffix },
 217                 span,
 218             }) if symbol.as_str().starts_with('-') => {
 219                 let minus = BinOp(BinOpToken::Minus);
 220                 let symbol = Symbol::intern(&symbol.as_str()[1..]);
 221                 let integer = TokenKind::lit(token::Integer, symbol, suffix);
 222                 let a = tokenstream::TokenTree::token(minus, span);
 223                 let b = tokenstream::TokenTree::token(integer, span);
 224                 return vec![a, b].into_iter().collect();
 225             }
 226             TokenTree::Literal(self::Literal {
 227                 lit: token::Lit { kind: token::Float, symbol, suffix },
 228                 span,
 229             }) if symbol.as_str().starts_with('-') => {
 230                 let minus = BinOp(BinOpToken::Minus);
 231                 let symbol = Symbol::intern(&symbol.as_str()[1..]);
 232                 let float = TokenKind::lit(token::Float, symbol, suffix);
 233                 let a = tokenstream::TokenTree::token(minus, span);
 234                 let b = tokenstream::TokenTree::token(float, span);
 235                 return vec![a, b].into_iter().collect();
 236             }
 237             TokenTree::Literal(self::Literal { lit, span }) => {
 238                 return tokenstream::TokenTree::token(Literal(lit), span).into();
 239             }
 240         };
 241
 242         let kind = match ch {
 243             '=' => Eq,
 244             '<' => Lt,
 245             '>' => Gt,
 246             '!' => Not,
 247             '~' => Tilde,
 248             '+' => BinOp(Plus),
 249             '-' => BinOp(Minus),
 250             '*' => BinOp(Star),
 251             '/' => BinOp(Slash),
 252             '%' => BinOp(Percent),
 253             '^' => BinOp(Caret),
 254             '&' => BinOp(And),
 255             '|' => BinOp(Or),
 256             '@' => At,
 257             '.' => Dot,
 258             ',' => Comma,
 259             ';' => Semi,
 260             ':' => Colon,
 261             '#' => Pound,
 262             '$' => Dollar,
 263             '?' => Question,
 264             '\'' => SingleQuote,
 265             _ => unreachable!(),
 266         };
 267
 268         let tree = tokenstream::TokenTree::token(kind, span);
 269         TokenStream::new(vec![(tree, if joint { Joint } else { Alone })])
 270     }
 271 }
 272
 273 impl ToInternal<rustc_errors::Level> for Level {
 274     fn to_internal(self) -> rustc_errors::Level {
 275         match self {
 276             Level::Error => rustc_errors::Level::Error { lint: false },
 277             Level::Warning => rustc_errors::Level::Warning,
 278             Level::Note => rustc_errors::Level::Note,
 279             Level::Help => rustc_errors::Level::Help,
 280             _ => unreachable!("unknown proc_macro::Level variant: {:?}", self),
 281         }
 282     }
 283 }
 284
 285 pub struct FreeFunctions;
 286
 287 #[derive(Clone)]
 288 pub struct TokenStreamIter {
 289     cursor: tokenstream::Cursor,
 290     stack: Vec<TokenTree<Group, Punct, Ident, Literal>>,
 291 }
 292
 293 #[derive(Clone)]
 294 pub struct Group {
 295     delimiter: Delimiter,
 296     stream: TokenStream,
 297     span: DelimSpan,
 298     /// A hack used to pass AST fragments to attribute and derive macros
 299     /// as a single nonterminal token instead of a token stream.
 300     /// FIXME: It needs to be removed, but there are some compatibility issues (see #73345).
 301     flatten: bool,
 302 }
 303
 304 #[derive(Copy, Clone, PartialEq, Eq, Hash)]
 305 pub struct Punct {
 306     ch: char,
 307     // NB. not using `Spacing` here because it doesn't implement `Hash`.
 308     joint: bool,
 309     span: Span,
 310 }
 311
 312 impl Punct {
 313     fn new(ch: char, joint: bool, span: Span) -> Punct {
 314         const LEGAL_CHARS: &[char] = &[
 315             '=', '<', '>', '!', '~', '+', '-', '*', '/', '%', '^', '&', '|', '@', '.', ',', ';',
 316             ':', '#', '$', '?', '\'',
 317         ];
 318         if !LEGAL_CHARS.contains(&ch) {
 319             panic!("unsupported character `{:?}`", ch)
 320         }
 321         Punct { ch, joint, span }
 322     }
 323 }
 324
 325 #[derive(Copy, Clone, PartialEq, Eq, Hash)]
 326 pub struct Ident {
 327     sym: Symbol,
 328     is_raw: bool,
 329     span: Span,
 330 }
 331
 332 impl Ident {
 333     fn new(sess: &ParseSess, sym: Symbol, is_raw: bool, span: Span) -> Ident {
 334         let sym = nfc_normalize(&sym.as_str());
 335         let string = sym.as_str();
 336         if !rustc_lexer::is_ident(&string) {
 337             panic!("`{:?}` is not a valid identifier", string)
 338         }
 339         if is_raw && !sym.can_be_raw() {
 340             panic!("`{}` cannot be a raw identifier", string);
 341         }
 342         sess.symbol_gallery.insert(sym, span);
 343         Ident { sym, is_raw, span }
 344     }
 345     fn dollar_crate(span: Span) -> Ident {
 346         // `$crate` is accepted as an ident only if it comes from the compiler.
 347         Ident { sym: kw::DollarCrate, is_raw: false, span }
 348     }
 349 }
 350
 351 // FIXME(eddyb) `Literal` should not expose internal `Debug` impls.
 352 #[derive(Clone, Debug)]
 353 pub struct Literal {
 354     lit: token::Lit,
 355     span: Span,
 356 }
 357
 358 pub(crate) struct Rustc<'a, 'b> {
 359     ecx: &'a mut ExtCtxt<'b>,
 360     def_site: Span,
 361     call_site: Span,
 362     mixed_site: Span,
 363     krate: CrateNum,
 364     rebased_spans: FxHashMap<usize, Span>,
 365 }
 366
 367 impl<'a, 'b> Rustc<'a, 'b> {
 368     pub fn new(ecx: &'a mut ExtCtxt<'b>) -> Self {
 369         let expn_data = ecx.current_expansion.id.expn_data();
 370         Rustc {
 371             def_site: ecx.with_def_site_ctxt(expn_data.def_site),
 372             call_site: ecx.with_call_site_ctxt(expn_data.call_site),
 373             mixed_site: ecx.with_mixed_site_ctxt(expn_data.call_site),
 374             krate: expn_data.macro_def_id.unwrap().krate,
 375             rebased_spans: FxHashMap::default(),
 376             ecx,
 377         }
 378     }
 379
 380     fn sess(&self) -> &ParseSess {
 381         self.ecx.parse_sess()
 382     }
 383
 384     fn lit(&mut self, kind: token::LitKind, symbol: Symbol, suffix: Option<Symbol>) -> Literal {
 385         Literal { lit: token::Lit::new(kind, symbol, suffix), span: server::Span::call_site(self) }
 386     }
 387 }
 388
 389 impl server::Types for Rustc<'_, '_> {
 390     type FreeFunctions = FreeFunctions;
 391     type TokenStream = TokenStream;
 392     type TokenStreamBuilder = tokenstream::TokenStreamBuilder;
 393     type TokenStreamIter = TokenStreamIter;
 394     type Group = Group;
 395     type Punct = Punct;
 396     type Ident = Ident;
 397     type Literal = Literal;
 398     type SourceFile = Lrc<SourceFile>;
 399     type MultiSpan = Vec<Span>;
 400     type Diagnostic = Diagnostic;
 401     type Span = Span;
 402 }
 403
 404 impl server::FreeFunctions for Rustc<'_, '_> {
 405     fn track_env_var(&mut self, var: &str, value: Option<&str>) {
 406         self.sess()
 407             .env_depinfo
 408             .borrow_mut()
 409             .insert((Symbol::intern(var), value.map(Symbol::intern)));
 410     }
 411
 412     fn track_path(&mut self, path: &str) {
 413         self.sess().file_depinfo.borrow_mut().insert(Symbol::intern(path));
 414     }
 415 }
 416
 417 impl server::TokenStream for Rustc<'_, '_> {
 418     fn new(&mut self) -> Self::TokenStream {
 419         TokenStream::default()
 420     }
 421     fn is_empty(&mut self, stream: &Self::TokenStream) -> bool {
 422         stream.is_empty()
 423     }
 424     fn from_str(&mut self, src: &str) -> Self::TokenStream {
 425         parse_stream_from_source_str(
 426             FileName::proc_macro_source_code(src),
 427             src.to_string(),
 428             self.sess(),
 429             Some(self.call_site),
 430         )
 431     }
 432     fn to_string(&mut self, stream: &Self::TokenStream) -> String {
 433         pprust::tts_to_string(stream)
 434     }
 435     fn expand_expr(&mut self, stream: &Self::TokenStream) -> Result<Self::TokenStream, ()> {
 436         // Parse the expression from our tokenstream.
 437         let expr: PResult<'_, _> = try {
 438             let mut p = rustc_parse::stream_to_parser(
 439                 self.sess(),
 440                 stream.clone(),
 441                 Some("proc_macro expand expr"),
 442             );
 443             let expr = p.parse_expr()?;
 444             if p.token != token::Eof {
 445                 p.unexpected()?;
 446             }
 447             expr
 448         };
 449         let expr = expr.map_err(|mut err| err.emit())?;
 450
 451         // Perform eager expansion on the expression.
 452         let expr = self
 453             .ecx
 454             .expander()
 455             .fully_expand_fragment(crate::expand::AstFragment::Expr(expr))
 456             .make_expr();
 457
 458         // NOTE: For now, limit `expand_expr` to exclusively expand to literals.
 459         // This may be relaxed in the future.
 460         // We don't use `nt_to_tokenstream` as the tokenstream currently cannot
 461         // be recovered in the general case.
 462         match &expr.kind {
 463             ast::ExprKind::Lit(l) => {
 464                 Ok(tokenstream::TokenTree::token(token::Literal(l.token), l.span).into())
 465             }
 466             ast::ExprKind::Unary(ast::UnOp::Neg, e) => match &e.kind {
 467                 ast::ExprKind::Lit(l) => match l.token {
 468                     token::Lit { kind: token::Integer | token::Float, .. } => {
 469                         Ok(std::array::IntoIter::new([
 470                             // FIXME: The span of the `-` token is lost when
 471                             // parsing, so we cannot faithfully recover it here.
 472                             tokenstream::TokenTree::token(token::BinOp(token::Minus), e.span),
 473                             tokenstream::TokenTree::token(token::Literal(l.token), l.span),
 474                         ])
 475                         .collect())
 476                     }
 477                     _ => Err(()),
 478                 },
 479                 _ => Err(()),
 480             },
 481             _ => Err(()),
 482         }
 483     }
 484     fn from_token_tree(
 485         &mut self,
 486         tree: TokenTree<Self::Group, Self::Punct, Self::Ident, Self::Literal>,
 487     ) -> Self::TokenStream {
 488         tree.to_internal()
 489     }
 490     fn into_iter(&mut self, stream: Self::TokenStream) -> Self::TokenStreamIter {
 491         TokenStreamIter { cursor: stream.trees(), stack: vec![] }
 492     }
 493 }
 494
 495 impl server::TokenStreamBuilder for Rustc<'_, '_> {
 496     fn new(&mut self) -> Self::TokenStreamBuilder {
 497         tokenstream::TokenStreamBuilder::new()
 498     }
 499     fn push(&mut self, builder: &mut Self::TokenStreamBuilder, stream: Self::TokenStream) {
 500         builder.push(stream);
 501     }
 502     fn build(&mut self, builder: Self::TokenStreamBuilder) -> Self::TokenStream {
 503         builder.build()
 504     }
 505 }
 506
 507 impl server::TokenStreamIter for Rustc<'_, '_> {
 508     fn next(
 509         &mut self,
 510         iter: &mut Self::TokenStreamIter,
 511     ) -> Option<TokenTree<Self::Group, Self::Punct, Self::Ident, Self::Literal>> {
 512         loop {
 513             let tree = iter.stack.pop().or_else(|| {
 514                 let next = iter.cursor.next_with_spacing()?;
 515                 Some(TokenTree::from_internal((next, &mut iter.stack, self)))
 516             })?;
 517             // A hack used to pass AST fragments to attribute and derive macros
 518             // as a single nonterminal token instead of a token stream.
 519             // Such token needs to be "unwrapped" and not represented as a delimited group.
 520             // FIXME: It needs to be removed, but there are some compatibility issues (see #73345).
 521             if let TokenTree::Group(ref group) = tree {
 522                 if group.flatten {
 523                     iter.cursor.append(group.stream.clone());
 524                     continue;
 525                 }
 526             }
 527             return Some(tree);
 528         }
 529     }
 530 }
 531
 532 impl server::Group for Rustc<'_, '_> {
 533     fn new(&mut self, delimiter: Delimiter, stream: Self::TokenStream) -> Self::Group {
 534         Group {
 535             delimiter,
 536             stream,
 537             span: DelimSpan::from_single(server::Span::call_site(self)),
 538             flatten: false,
 539         }
 540     }
 541     fn delimiter(&mut self, group: &Self::Group) -> Delimiter {
 542         group.delimiter
 543     }
 544     fn stream(&mut self, group: &Self::Group) -> Self::TokenStream {
 545         group.stream.clone()
 546     }
 547     fn span(&mut self, group: &Self::Group) -> Self::Span {
 548         group.span.entire()
 549     }
 550     fn span_open(&mut self, group: &Self::Group) -> Self::Span {
 551         group.span.open
 552     }
 553     fn span_close(&mut self, group: &Self::Group) -> Self::Span {
 554         group.span.close
 555     }
 556     fn set_span(&mut self, group: &mut Self::Group, span: Self::Span) {
 557         group.span = DelimSpan::from_single(span);
 558     }
 559 }
 560
 561 impl server::Punct for Rustc<'_, '_> {
 562     fn new(&mut self, ch: char, spacing: Spacing) -> Self::Punct {
 563         Punct::new(ch, spacing == Spacing::Joint, server::Span::call_site(self))
 564     }
 565     fn as_char(&mut self, punct: Self::Punct) -> char {
 566         punct.ch
 567     }
 568     fn spacing(&mut self, punct: Self::Punct) -> Spacing {
 569         if punct.joint { Spacing::Joint } else { Spacing::Alone }
 570     }
 571     fn span(&mut self, punct: Self::Punct) -> Self::Span {
 572         punct.span
 573     }
 574     fn with_span(&mut self, punct: Self::Punct, span: Self::Span) -> Self::Punct {
 575         Punct { span, ..punct }
 576     }
 577 }
 578
 579 impl server::Ident for Rustc<'_, '_> {
 580     fn new(&mut self, string: &str, span: Self::Span, is_raw: bool) -> Self::Ident {
 581         Ident::new(self.sess(), Symbol::intern(string), is_raw, span)
 582     }
 583     fn span(&mut self, ident: Self::Ident) -> Self::Span {
 584         ident.span
 585     }
 586     fn with_span(&mut self, ident: Self::Ident, span: Self::Span) -> Self::Ident {
 587         Ident { span, ..ident }
 588     }
 589 }
 590
 591 impl server::Literal for Rustc<'_, '_> {
 592     fn from_str(&mut self, s: &str) -> Result<Self::Literal, ()> {
 593         let name = FileName::proc_macro_source_code(s);
 594         let mut parser = rustc_parse::new_parser_from_source_str(self.sess(), name, s.to_owned());
 595
 596         let first_span = parser.token.span.data();
 597         let minus_present = parser.eat(&token::BinOp(token::Minus));
 598
 599         let lit_span = parser.token.span.data();
 600         let mut lit = match parser.token.kind {
 601             token::Literal(lit) => lit,
 602             _ => return Err(()),
 603         };
 604
 605         // Check no comment or whitespace surrounding the (possibly negative)
 606         // literal, or more tokens after it.
 607         if (lit_span.hi.0 - first_span.lo.0) as usize != s.len() {
 608             return Err(());
 609         }
 610
 611         if minus_present {
 612             // If minus is present, check no comment or whitespace in between it
 613             // and the literal token.
 614             if first_span.hi.0 != lit_span.lo.0 {
 615                 return Err(());
 616             }
 617
 618             // Check literal is a kind we allow to be negated in a proc macro token.
 619             match lit.kind {
 620                 token::LitKind::Bool
 621                 | token::LitKind::Byte
 622                 | token::LitKind::Char
 623                 | token::LitKind::Str
 624                 | token::LitKind::StrRaw(_)
 625                 | token::LitKind::ByteStr
 626                 | token::LitKind::ByteStrRaw(_)
 627                 | token::LitKind::Err => return Err(()),
 628                 token::LitKind::Integer | token::LitKind::Float => {}
 629             }
 630
 631             // Synthesize a new symbol that includes the minus sign.
 632             let symbol = Symbol::intern(&s[..1 + lit.symbol.as_str().len()]);
 633             lit = token::Lit::new(lit.kind, symbol, lit.suffix);
 634         }
 635
 636         Ok(Literal { lit, span: self.call_site })
 637     }
 638     fn to_string(&mut self, literal: &Self::Literal) -> String {
 639         literal.lit.to_string()
 640     }
 641     fn debug_kind(&mut self, literal: &Self::Literal) -> String {
 642         format!("{:?}", literal.lit.kind)
 643     }
 644     fn symbol(&mut self, literal: &Self::Literal) -> String {
 645         literal.lit.symbol.to_string()
 646     }
 647     fn suffix(&mut self, literal: &Self::Literal) -> Option<String> {
 648         literal.lit.suffix.as_ref().map(Symbol::to_string)
 649     }
 650     fn integer(&mut self, n: &str) -> Self::Literal {
 651         self.lit(token::Integer, Symbol::intern(n), None)
 652     }
 653     fn typed_integer(&mut self, n: &str, kind: &str) -> Self::Literal {
 654         self.lit(token::Integer, Symbol::intern(n), Some(Symbol::intern(kind)))
 655     }
 656     fn float(&mut self, n: &str) -> Self::Literal {
 657         self.lit(token::Float, Symbol::intern(n), None)
 658     }
 659     fn f32(&mut self, n: &str) -> Self::Literal {
 660         self.lit(token::Float, Symbol::intern(n), Some(sym::f32))
 661     }
 662     fn f64(&mut self, n: &str) -> Self::Literal {
 663         self.lit(token::Float, Symbol::intern(n), Some(sym::f64))
 664     }
 665     fn string(&mut self, string: &str) -> Self::Literal {
 666         let mut escaped = String::new();
 667         for ch in string.chars() {
 668             escaped.extend(ch.escape_debug());
 669         }
 670         self.lit(token::Str, Symbol::intern(&escaped), None)
 671     }
 672     fn character(&mut self, ch: char) -> Self::Literal {
 673         let mut escaped = String::new();
 674         escaped.extend(ch.escape_unicode());
 675         self.lit(token::Char, Symbol::intern(&escaped), None)
 676     }
 677     fn byte_string(&mut self, bytes: &[u8]) -> Self::Literal {
 678         let string = bytes
 679             .iter()
 680             .cloned()
 681             .flat_map(ascii::escape_default)
 682             .map(Into::<char>::into)
 683             .collect::<String>();
 684         self.lit(token::ByteStr, Symbol::intern(&string), None)
 685     }
 686     fn span(&mut self, literal: &Self::Literal) -> Self::Span {
 687         literal.span
 688     }
 689     fn set_span(&mut self, literal: &mut Self::Literal, span: Self::Span) {
 690         literal.span = span;
 691     }
 692     fn subspan(
 693         &mut self,
 694         literal: &Self::Literal,
 695         start: Bound<usize>,
 696         end: Bound<usize>,
 697     ) -> Option<Self::Span> {
 698         let span = literal.span;
 699         let length = span.hi().to_usize() - span.lo().to_usize();
 700
 701         let start = match start {
 702             Bound::Included(lo) => lo,
 703             Bound::Excluded(lo) => lo.checked_add(1)?,
 704             Bound::Unbounded => 0,
 705         };
 706
 707         let end = match end {
 708             Bound::Included(hi) => hi.checked_add(1)?,
 709             Bound::Excluded(hi) => hi,
 710             Bound::Unbounded => length,
 711         };
 712
 713         // Bounds check the values, preventing addition overflow and OOB spans.
 714         if start > u32::MAX as usize
 715             || end > u32::MAX as usize
 716             || (u32::MAX - start as u32) < span.lo().to_u32()
 717             || (u32::MAX - end as u32) < span.lo().to_u32()
 718             || start >= end
 719             || end > length
 720         {
 721             return None;
 722         }
 723
 724         let new_lo = span.lo() + BytePos::from_usize(start);
 725         let new_hi = span.lo() + BytePos::from_usize(end);
 726         Some(span.with_lo(new_lo).with_hi(new_hi))
 727     }
 728 }
 729
 730 impl server::SourceFile for Rustc<'_, '_> {
 731     fn eq(&mut self, file1: &Self::SourceFile, file2: &Self::SourceFile) -> bool {
 732         Lrc::ptr_eq(file1, file2)
 733     }
 734     fn path(&mut self, file: &Self::SourceFile) -> String {
 735         match file.name {
 736             FileName::Real(ref name) => name
 737                 .local_path()
 738                 .expect("attempting to get a file path in an imported file in `proc_macro::SourceFile::path`")
 739                 .to_str()
 740                 .expect("non-UTF8 file path in `proc_macro::SourceFile::path`")
 741                 .to_string(),
 742             _ => file.name.prefer_local().to_string(),
 743         }
 744     }
 745     fn is_real(&mut self, file: &Self::SourceFile) -> bool {
 746         file.is_real_file()
 747     }
 748 }
 749
 750 impl server::MultiSpan for Rustc<'_, '_> {
 751     fn new(&mut self) -> Self::MultiSpan {
 752         vec![]
 753     }
 754     fn push(&mut self, spans: &mut Self::MultiSpan, span: Self::Span) {
 755         spans.push(span)
 756     }
 757 }
 758
 759 impl server::Diagnostic for Rustc<'_, '_> {
 760     fn new(&mut self, level: Level, msg: &str, spans: Self::MultiSpan) -> Self::Diagnostic {
 761         let mut diag = Diagnostic::new(level.to_internal(), msg);
 762         diag.set_span(MultiSpan::from_spans(spans));
 763         diag
 764     }
 765     fn sub(
 766         &mut self,
 767         diag: &mut Self::Diagnostic,
 768         level: Level,
 769         msg: &str,
 770         spans: Self::MultiSpan,
 771     ) {
 772         diag.sub(level.to_internal(), msg, MultiSpan::from_spans(spans), None);
 773     }
 774     fn emit(&mut self, diag: Self::Diagnostic) {
 775         self.sess().span_diagnostic.emit_diagnostic(&diag);
 776     }
 777 }
 778
 779 impl server::Span for Rustc<'_, '_> {
 780     fn debug(&mut self, span: Self::Span) -> String {
 781         if self.ecx.ecfg.span_debug {
 782             format!("{:?}", span)
 783         } else {
 784             format!("{:?} bytes({}..{})", span.ctxt(), span.lo().0, span.hi().0)
 785         }
 786     }
 787     fn def_site(&mut self) -> Self::Span {
 788         self.def_site
 789     }
 790     fn call_site(&mut self) -> Self::Span {
 791         self.call_site
 792     }
 793     fn mixed_site(&mut self) -> Self::Span {
 794         self.mixed_site
 795     }
 796     fn source_file(&mut self, span: Self::Span) -> Self::SourceFile {
 797         self.sess().source_map().lookup_char_pos(span.lo()).file
 798     }
 799     fn parent(&mut self, span: Self::Span) -> Option<Self::Span> {
 800         span.parent_callsite()
 801     }
 802     fn source(&mut self, span: Self::Span) -> Self::Span {
 803         span.source_callsite()
 804     }
 805     fn start(&mut self, span: Self::Span) -> LineColumn {
 806         let loc = self.sess().source_map().lookup_char_pos(span.lo());
 807         LineColumn { line: loc.line, column: loc.col.to_usize() }
 808     }
 809     fn end(&mut self, span: Self::Span) -> LineColumn {
 810         let loc = self.sess().source_map().lookup_char_pos(span.hi());
 811         LineColumn { line: loc.line, column: loc.col.to_usize() }
 812     }
 813     fn before(&mut self, span: Self::Span) -> Self::Span {
 814         span.shrink_to_lo()
 815     }
 816     fn after(&mut self, span: Self::Span) -> Self::Span {
 817         span.shrink_to_hi()
 818     }
 819     fn join(&mut self, first: Self::Span, second: Self::Span) -> Option<Self::Span> {
 820         let self_loc = self.sess().source_map().lookup_char_pos(first.lo());
 821         let other_loc = self.sess().source_map().lookup_char_pos(second.lo());
 822
 823         if self_loc.file.name != other_loc.file.name {
 824             return None;
 825         }
 826
 827         Some(first.to(second))
 828     }
 829     fn resolved_at(&mut self, span: Self::Span, at: Self::Span) -> Self::Span {
 830         span.with_ctxt(at.ctxt())
 831     }
 832     fn source_text(&mut self, span: Self::Span) -> Option<String> {
 833         self.sess().source_map().span_to_snippet(span).ok()
 834     }
 835     /// Saves the provided span into the metadata of
 836     /// *the crate we are currently compiling*, which must
 837     /// be a proc-macro crate. This id can be passed to
 838     /// `recover_proc_macro_span` when our current crate
 839     /// is *run* as a proc-macro.
 840     ///
 841     /// Let's suppose that we have two crates - `my_client`
 842     /// and `my_proc_macro`. The `my_proc_macro` crate
 843     /// contains a procedural macro `my_macro`, which
 844     /// is implemented as: `quote! { "hello" }`
 845     ///
 846     /// When we *compile* `my_proc_macro`, we will execute
 847     /// the `quote` proc-macro. This will save the span of
 848     /// "hello" into the metadata of `my_proc_macro`. As a result,
 849     /// the body of `my_proc_macro` (after expansion) will end
 850     /// up containg a call that looks like this:
 851     /// `proc_macro::Ident::new("hello", proc_macro::Span::recover_proc_macro_span(0))`
 852     ///
 853     /// where `0` is the id returned by this function.
 854     /// When `my_proc_macro` *executes* (during the compilation of `my_client`),
 855     /// the call to `recover_proc_macro_span` will load the corresponding
 856     /// span from the metadata of `my_proc_macro` (which we have access to,
 857     /// since we've loaded `my_proc_macro` from disk in order to execute it).
 858     /// In this way, we have obtained a span pointing into `my_proc_macro`
 859     fn save_span(&mut self, span: Self::Span) -> usize {
 860         self.sess().save_proc_macro_span(span)
 861     }
 862     fn recover_proc_macro_span(&mut self, id: usize) -> Self::Span {
 863         let (resolver, krate, def_site) = (&*self.ecx.resolver, self.krate, self.def_site);
 864         *self.rebased_spans.entry(id).or_insert_with(|| {
 865             // FIXME: `SyntaxContext` for spans from proc macro crates is lost during encoding,
 866             // replace it with a def-site context until we are encoding it properly.
 867             resolver.get_proc_macro_quoted_span(krate, id).with_ctxt(def_site.ctxt())
 868         })
 869     }
 870 }
 871
 872 // See issue #74616 for details
 873 fn ident_name_compatibility_hack(
 874     nt: &Nonterminal,
 875     orig_span: Span,
 876     rustc: &mut Rustc<'_, '_>,
 877 ) -> Option<(rustc_span::symbol::Ident, bool)> {
 878     if let NtIdent(ident, is_raw) = nt {
 879         if let ExpnKind::Macro(_, macro_name) = orig_span.ctxt().outer_expn_data().kind {
 880             let source_map = rustc.sess().source_map();
 881             let filename = source_map.span_to_filename(orig_span);
 882             if let FileName::Real(RealFileName::LocalPath(path)) = filename {
 883                 let matches_prefix = |prefix, filename| {
 884                     // Check for a path that ends with 'prefix*/src/<filename>'
 885                     let mut iter = path.components().rev();
 886                     iter.next().and_then(|p| p.as_os_str().to_str()) == Some(filename)
 887                         && iter.next().and_then(|p| p.as_os_str().to_str()) == Some("src")
 888                         && iter
 889                             .next()
 890                             .and_then(|p| p.as_os_str().to_str())
 891                             .map_or(false, |p| p.starts_with(prefix))
 892                 };
 893
 894                 let time_macros_impl =
 895                     macro_name == sym::impl_macros && matches_prefix("time-macros-impl", "lib.rs");
 896                 let js_sys = macro_name == sym::arrays && matches_prefix("js-sys", "lib.rs");
 897                 if time_macros_impl || js_sys {
 898                     let snippet = source_map.span_to_snippet(orig_span);
 899                     if snippet.as_deref() == Ok("$name") {
 900                         if time_macros_impl {
 901                             rustc.sess().buffer_lint_with_diagnostic(
 902                                 &PROC_MACRO_BACK_COMPAT,
 903                                 orig_span,
 904                                 ast::CRATE_NODE_ID,
 905                                 "using an old version of `time-macros-impl`",
 906                                 BuiltinLintDiagnostics::ProcMacroBackCompat(
 907                                 "the `time-macros-impl` crate will stop compiling in futures version of Rust. \
 908                                 Please update to the latest version of the `time` crate to avoid breakage".to_string())
 909                             );
 910                             return Some((*ident, *is_raw));
 911                         }
 912                         if js_sys {
 913                             if let Some(c) = path
 914                                 .components()
 915                                 .flat_map(|c| c.as_os_str().to_str())
 916                                 .find(|c| c.starts_with("js-sys"))
 917                             {
 918                                 let mut version = c.trim_start_matches("js-sys-").split('.');
 919                                 if version.next() == Some("0")
 920                                     && version.next() == Some("3")
 921                                     && version
 922                                         .next()
 923                                         .and_then(|c| c.parse::<u32>().ok())
 924                                         .map_or(false, |v| v < 40)
 925                                 {
 926                                     rustc.sess().buffer_lint_with_diagnostic(
 927                                         &PROC_MACRO_BACK_COMPAT,
 928                                         orig_span,
 929                                         ast::CRATE_NODE_ID,
 930                                         "using an old version of `js-sys`",
 931                                         BuiltinLintDiagnostics::ProcMacroBackCompat(
 932                                         "older versions of the `js-sys` crate will stop compiling in future versions of Rust; \
 933                                         please update to `js-sys` v0.3.40 or above".to_string())
 934                                     );
 935                                     return Some((*ident, *is_raw));
 936                                 }
 937                             }
 938                         }
 939                     }
 940                 }
 941
 942                 if macro_name == sym::tuple_from_req && matches_prefix("actix-web", "extract.rs") {
 943                     let snippet = source_map.span_to_snippet(orig_span);
 944                     if snippet.as_deref() == Ok("$T") {
 945                         if let FileName::Real(RealFileName::LocalPath(macro_path)) =
 946                             source_map.span_to_filename(rustc.def_site)
 947                         {
 948                             if macro_path.to_string_lossy().contains("pin-project-internal-0.") {
 949                                 rustc.sess().buffer_lint_with_diagnostic(
 950                                     &PROC_MACRO_BACK_COMPAT,
 951                                     orig_span,
 952                                     ast::CRATE_NODE_ID,
 953                                     "using an old version of `actix-web`",
 954                                     BuiltinLintDiagnostics::ProcMacroBackCompat(
 955                                     "the version of `actix-web` you are using might stop compiling in future versions of Rust; \
 956                                     please update to the latest version of the `actix-web` crate to avoid breakage".to_string())
 957                                 );
 958                                 return Some((*ident, *is_raw));
 959                             }
 960                         }
 961                     }
 962                 }
 963             }
 964         }
 965     }
 966     None
 967 }