src/libsyntax_pos/hygiene.rs

   1 //! Machinery for hygienic macros, inspired by the `MTWT[1]` paper.
   2 //!
   3 //! `[1]` Matthew Flatt, Ryan Culpepper, David Darais, and Robert Bruce Findler. 2012.
   4 //! *Macros that work together: Compile-time bindings, partial expansion,
   5 //! and definition contexts*. J. Funct. Program. 22, 2 (March 2012), 181-216.
   6 //! DOI=10.1017/S0956796812000093 <https://doi.org/10.1017/S0956796812000093>
   7
   8 // Hygiene data is stored in a global variable and accessed via TLS, which
   9 // means that accesses are somewhat expensive. (`HygieneData::with`
  10 // encapsulates a single access.) Therefore, on hot code paths it is worth
  11 // ensuring that multiple HygieneData accesses are combined into a single
  12 // `HygieneData::with`.
  13 //
  14 // This explains why `HygieneData`, `SyntaxContext` and `ExpnId` have interfaces
  15 // with a certain amount of redundancy in them. For example,
  16 // `SyntaxContext::outer_expn_data` combines `SyntaxContext::outer` and
  17 // `ExpnId::expn_data` so that two `HygieneData` accesses can be performed within
  18 // a single `HygieneData::with` call.
  19 //
  20 // It also explains why many functions appear in `HygieneData` and again in
  21 // `SyntaxContext` or `ExpnId`. For example, `HygieneData::outer` and
  22 // `SyntaxContext::outer` do the same thing, but the former is for use within a
  23 // `HygieneData::with` call while the latter is for use outside such a call.
  24 // When modifying this file it is important to understand this distinction,
  25 // because getting it wrong can lead to nested `HygieneData::with` calls that
  26 // trigger runtime aborts. (Fortunately these are obvious and easy to fix.)
  27
  28 use crate::GLOBALS;
  29 use crate::{Span, DUMMY_SP};
  30 use crate::edition::Edition;
  31 use crate::symbol::{kw, Symbol};
  32
  33 use rustc_serialize::{Encodable, Decodable, Encoder, Decoder};
  34 use rustc_data_structures::fx::FxHashMap;
  35 use rustc_data_structures::sync::Lrc;
  36 use std::fmt;
  37
  38 /// A `SyntaxContext` represents a chain of pairs `(ExpnId, Transparency)` named "marks".
  39 #[derive(Clone, Copy, PartialEq, Eq, PartialOrd, Ord, Hash)]
  40 pub struct SyntaxContext(u32);
  41
  42 #[derive(Debug)]
  43 struct SyntaxContextData {
  44     outer_expn: ExpnId,
  45     outer_transparency: Transparency,
  46     parent: SyntaxContext,
  47     /// This context, but with all transparent and semi-transparent expansions filtered away.
  48     opaque: SyntaxContext,
  49     /// This context, but with all transparent expansions filtered away.
  50     opaque_and_semitransparent: SyntaxContext,
  51     /// Name of the crate to which `$crate` with this context would resolve.
  52     dollar_crate_name: Symbol,
  53 }
  54
  55 /// A unique ID associated with a macro invocation and expansion.
  56 #[derive(Clone, Copy, PartialEq, Eq, Hash, Debug)]
  57 pub struct ExpnId(u32);
  58
  59 /// A property of a macro expansion that determines how identifiers
  60 /// produced by that expansion are resolved.
  61 #[derive(Copy, Clone, PartialEq, Eq, PartialOrd, Hash, Debug, RustcEncodable, RustcDecodable)]
  62 pub enum Transparency {
  63     /// Identifier produced by a transparent expansion is always resolved at call-site.
  64     /// Call-site spans in procedural macros, hygiene opt-out in `macro` should use this.
  65     Transparent,
  66     /// Identifier produced by a semi-transparent expansion may be resolved
  67     /// either at call-site or at definition-site.
  68     /// If it's a local variable, label or `$crate` then it's resolved at def-site.
  69     /// Otherwise it's resolved at call-site.
  70     /// `macro_rules` macros behave like this, built-in macros currently behave like this too,
  71     /// but that's an implementation detail.
  72     SemiTransparent,
  73     /// Identifier produced by an opaque expansion is always resolved at definition-site.
  74     /// Def-site spans in procedural macros, identifiers from `macro` by default use this.
  75     Opaque,
  76 }
  77
  78 impl ExpnId {
  79     pub fn fresh(expn_data: Option<ExpnData>) -> Self {
  80         HygieneData::with(|data| data.fresh_expn(expn_data))
  81     }
  82
  83     /// The ID of the theoretical expansion that generates freshly parsed, unexpanded AST.
  84     #[inline]
  85     pub fn root() -> Self {
  86         ExpnId(0)
  87     }
  88
  89     #[inline]
  90     pub fn as_u32(self) -> u32 {
  91         self.0
  92     }
  93
  94     #[inline]
  95     pub fn from_u32(raw: u32) -> ExpnId {
  96         ExpnId(raw)
  97     }
  98
  99     #[inline]
 100     pub fn expn_data(self) -> ExpnData {
 101         HygieneData::with(|data| data.expn_data(self).clone())
 102     }
 103
 104     #[inline]
 105     pub fn set_expn_data(self, expn_data: ExpnData) {
 106         HygieneData::with(|data| {
 107             let old_expn_data = &mut data.expn_data[self.0 as usize];
 108             assert!(old_expn_data.is_none(), "expansion data is reset for an expansion ID");
 109             *old_expn_data = Some(expn_data);
 110         })
 111     }
 112
 113     pub fn is_descendant_of(self, ancestor: ExpnId) -> bool {
 114         HygieneData::with(|data| data.is_descendant_of(self, ancestor))
 115     }
 116
 117     /// `expn_id.outer_expn_is_descendant_of(ctxt)` is equivalent to but faster than
 118     /// `expn_id.is_descendant_of(ctxt.outer_expn())`.
 119     pub fn outer_expn_is_descendant_of(self, ctxt: SyntaxContext) -> bool {
 120         HygieneData::with(|data| data.is_descendant_of(self, data.outer_expn(ctxt)))
 121     }
 122 }
 123
 124 #[derive(Debug)]
 125 crate struct HygieneData {
 126     /// Each expansion should have an associated expansion data, but sometimes there's a delay
 127     /// between creation of an expansion ID and obtaining its data (e.g. macros are collected
 128     /// first and then resolved later), so we use an `Option` here.
 129     expn_data: Vec<Option<ExpnData>>,
 130     syntax_context_data: Vec<SyntaxContextData>,
 131     syntax_context_map: FxHashMap<(SyntaxContext, ExpnId, Transparency), SyntaxContext>,
 132 }
 133
 134 impl HygieneData {
 135     crate fn new(edition: Edition) -> Self {
 136         HygieneData {
 137             expn_data: vec![Some(ExpnData::default(ExpnKind::Root, DUMMY_SP, edition))],
 138             syntax_context_data: vec![SyntaxContextData {
 139                 outer_expn: ExpnId::root(),
 140                 outer_transparency: Transparency::Opaque,
 141                 parent: SyntaxContext(0),
 142                 opaque: SyntaxContext(0),
 143                 opaque_and_semitransparent: SyntaxContext(0),
 144                 dollar_crate_name: kw::DollarCrate,
 145             }],
 146             syntax_context_map: FxHashMap::default(),
 147         }
 148     }
 149
 150     fn with<T, F: FnOnce(&mut HygieneData) -> T>(f: F) -> T {
 151         GLOBALS.with(|globals| f(&mut *globals.hygiene_data.borrow_mut()))
 152     }
 153
 154     fn fresh_expn(&mut self, expn_data: Option<ExpnData>) -> ExpnId {
 155         self.expn_data.push(expn_data);
 156         ExpnId(self.expn_data.len() as u32 - 1)
 157     }
 158
 159     fn expn_data(&self, expn_id: ExpnId) -> &ExpnData {
 160         self.expn_data[expn_id.0 as usize].as_ref()
 161             .expect("no expansion data for an expansion ID")
 162     }
 163
 164     fn is_descendant_of(&self, mut expn_id: ExpnId, ancestor: ExpnId) -> bool {
 165         while expn_id != ancestor {
 166             if expn_id == ExpnId::root() {
 167                 return false;
 168             }
 169             expn_id = self.expn_data(expn_id).parent;
 170         }
 171         true
 172     }
 173
 174     fn modern(&self, ctxt: SyntaxContext) -> SyntaxContext {
 175         self.syntax_context_data[ctxt.0 as usize].opaque
 176     }
 177
 178     fn modern_and_legacy(&self, ctxt: SyntaxContext) -> SyntaxContext {
 179         self.syntax_context_data[ctxt.0 as usize].opaque_and_semitransparent
 180     }
 181
 182     fn outer_expn(&self, ctxt: SyntaxContext) -> ExpnId {
 183         self.syntax_context_data[ctxt.0 as usize].outer_expn
 184     }
 185
 186     fn outer_mark(&self, ctxt: SyntaxContext) -> (ExpnId, Transparency) {
 187         let data = &self.syntax_context_data[ctxt.0 as usize];
 188         (data.outer_expn, data.outer_transparency)
 189     }
 190
 191     fn parent_ctxt(&self, ctxt: SyntaxContext) -> SyntaxContext {
 192         self.syntax_context_data[ctxt.0 as usize].parent
 193     }
 194
 195     fn remove_mark(&self, ctxt: &mut SyntaxContext) -> (ExpnId, Transparency) {
 196         let outer_mark = self.outer_mark(*ctxt);
 197         *ctxt = self.parent_ctxt(*ctxt);
 198         outer_mark
 199     }
 200
 201     fn marks(&self, mut ctxt: SyntaxContext) -> Vec<(ExpnId, Transparency)> {
 202         let mut marks = Vec::new();
 203         while ctxt != SyntaxContext::root() {
 204             marks.push(self.outer_mark(ctxt));
 205             ctxt = self.parent_ctxt(ctxt);
 206         }
 207         marks.reverse();
 208         marks
 209     }
 210
 211     fn walk_chain(&self, mut span: Span, to: SyntaxContext) -> Span {
 212         while span.from_expansion() && span.ctxt() != to {
 213             span = self.expn_data(self.outer_expn(span.ctxt())).call_site;
 214         }
 215         span
 216     }
 217
 218     fn adjust(&self, ctxt: &mut SyntaxContext, expn_id: ExpnId) -> Option<ExpnId> {
 219         let mut scope = None;
 220         while !self.is_descendant_of(expn_id, self.outer_expn(*ctxt)) {
 221             scope = Some(self.remove_mark(ctxt).0);
 222         }
 223         scope
 224     }
 225
 226     fn apply_mark(
 227         &mut self, ctxt: SyntaxContext, expn_id: ExpnId, transparency: Transparency
 228     ) -> SyntaxContext {
 229         assert_ne!(expn_id, ExpnId::root());
 230         if transparency == Transparency::Opaque {
 231             return self.apply_mark_internal(ctxt, expn_id, transparency);
 232         }
 233
 234         let call_site_ctxt = self.expn_data(expn_id).call_site.ctxt();
 235         let mut call_site_ctxt = if transparency == Transparency::SemiTransparent {
 236             self.modern(call_site_ctxt)
 237         } else {
 238             self.modern_and_legacy(call_site_ctxt)
 239         };
 240
 241         if call_site_ctxt == SyntaxContext::root() {
 242             return self.apply_mark_internal(ctxt, expn_id, transparency);
 243         }
 244
 245         // Otherwise, `expn_id` is a macros 1.0 definition and the call site is in a
 246         // macros 2.0 expansion, i.e., a macros 1.0 invocation is in a macros 2.0 definition.
 247         //
 248         // In this case, the tokens from the macros 1.0 definition inherit the hygiene
 249         // at their invocation. That is, we pretend that the macros 1.0 definition
 250         // was defined at its invocation (i.e., inside the macros 2.0 definition)
 251         // so that the macros 2.0 definition remains hygienic.
 252         //
 253         // See the example at `test/ui/hygiene/legacy_interaction.rs`.
 254         for (expn_id, transparency) in self.marks(ctxt) {
 255             call_site_ctxt = self.apply_mark_internal(call_site_ctxt, expn_id, transparency);
 256         }
 257         self.apply_mark_internal(call_site_ctxt, expn_id, transparency)
 258     }
 259
 260     fn apply_mark_internal(
 261         &mut self, ctxt: SyntaxContext, expn_id: ExpnId, transparency: Transparency
 262     ) -> SyntaxContext {
 263         let syntax_context_data = &mut self.syntax_context_data;
 264         let mut opaque = syntax_context_data[ctxt.0 as usize].opaque;
 265         let mut opaque_and_semitransparent =
 266             syntax_context_data[ctxt.0 as usize].opaque_and_semitransparent;
 267
 268         if transparency >= Transparency::Opaque {
 269             let parent = opaque;
 270             opaque = *self.syntax_context_map.entry((parent, expn_id, transparency))
 271                                              .or_insert_with(|| {
 272                 let new_opaque = SyntaxContext(syntax_context_data.len() as u32);
 273                 syntax_context_data.push(SyntaxContextData {
 274                     outer_expn: expn_id,
 275                     outer_transparency: transparency,
 276                     parent,
 277                     opaque: new_opaque,
 278                     opaque_and_semitransparent: new_opaque,
 279                     dollar_crate_name: kw::DollarCrate,
 280                 });
 281                 new_opaque
 282             });
 283         }
 284
 285         if transparency >= Transparency::SemiTransparent {
 286             let parent = opaque_and_semitransparent;
 287             opaque_and_semitransparent =
 288                     *self.syntax_context_map.entry((parent, expn_id, transparency))
 289                                             .or_insert_with(|| {
 290                 let new_opaque_and_semitransparent =
 291                     SyntaxContext(syntax_context_data.len() as u32);
 292                 syntax_context_data.push(SyntaxContextData {
 293                     outer_expn: expn_id,
 294                     outer_transparency: transparency,
 295                     parent,
 296                     opaque,
 297                     opaque_and_semitransparent: new_opaque_and_semitransparent,
 298                     dollar_crate_name: kw::DollarCrate,
 299                 });
 300                 new_opaque_and_semitransparent
 301             });
 302         }
 303
 304         let parent = ctxt;
 305         *self.syntax_context_map.entry((parent, expn_id, transparency)).or_insert_with(|| {
 306             let new_opaque_and_semitransparent_and_transparent =
 307                 SyntaxContext(syntax_context_data.len() as u32);
 308             syntax_context_data.push(SyntaxContextData {
 309                 outer_expn: expn_id,
 310                 outer_transparency: transparency,
 311                 parent,
 312                 opaque,
 313                 opaque_and_semitransparent,
 314                 dollar_crate_name: kw::DollarCrate,
 315             });
 316             new_opaque_and_semitransparent_and_transparent
 317         })
 318     }
 319 }
 320
 321 pub fn clear_syntax_context_map() {
 322     HygieneData::with(|data| data.syntax_context_map = FxHashMap::default());
 323 }
 324
 325 pub fn walk_chain(span: Span, to: SyntaxContext) -> Span {
 326     HygieneData::with(|data| data.walk_chain(span, to))
 327 }
 328
 329 pub fn update_dollar_crate_names(mut get_name: impl FnMut(SyntaxContext) -> Symbol) {
 330     // The new contexts that need updating are at the end of the list and have `$crate` as a name.
 331     let (len, to_update) = HygieneData::with(|data| (
 332         data.syntax_context_data.len(),
 333         data.syntax_context_data.iter().rev()
 334             .take_while(|scdata| scdata.dollar_crate_name == kw::DollarCrate).count()
 335     ));
 336     // The callback must be called from outside of the `HygieneData` lock,
 337     // since it will try to acquire it too.
 338     let range_to_update = len - to_update .. len;
 339     let names: Vec<_> =
 340         range_to_update.clone().map(|idx| get_name(SyntaxContext::from_u32(idx as u32))).collect();
 341     HygieneData::with(|data| range_to_update.zip(names.into_iter()).for_each(|(idx, name)| {
 342         data.syntax_context_data[idx].dollar_crate_name = name;
 343     }))
 344 }
 345
 346 impl SyntaxContext {
 347     #[inline]
 348     pub const fn root() -> Self {
 349         SyntaxContext(0)
 350     }
 351
 352     #[inline]
 353     crate fn as_u32(self) -> u32 {
 354         self.0
 355     }
 356
 357     #[inline]
 358     crate fn from_u32(raw: u32) -> SyntaxContext {
 359         SyntaxContext(raw)
 360     }
 361
 362     /// Extend a syntax context with a given expansion and transparency.
 363     crate fn apply_mark(self, expn_id: ExpnId, transparency: Transparency) -> SyntaxContext {
 364         HygieneData::with(|data| data.apply_mark(self, expn_id, transparency))
 365     }
 366
 367     /// Pulls a single mark off of the syntax context. This effectively moves the
 368     /// context up one macro definition level. That is, if we have a nested macro
 369     /// definition as follows:
 370     ///
 371     /// ```rust
 372     /// macro_rules! f {
 373     ///    macro_rules! g {
 374     ///        ...
 375     ///    }
 376     /// }
 377     /// ```
 378     ///
 379     /// and we have a SyntaxContext that is referring to something declared by an invocation
 380     /// of g (call it g1), calling remove_mark will result in the SyntaxContext for the
 381     /// invocation of f that created g1.
 382     /// Returns the mark that was removed.
 383     pub fn remove_mark(&mut self) -> ExpnId {
 384         HygieneData::with(|data| data.remove_mark(self).0)
 385     }
 386
 387     pub fn marks(self) -> Vec<(ExpnId, Transparency)> {
 388         HygieneData::with(|data| data.marks(self))
 389     }
 390
 391     /// Adjust this context for resolution in a scope created by the given expansion.
 392     /// For example, consider the following three resolutions of `f`:
 393     ///
 394     /// ```rust
 395     /// mod foo { pub fn f() {} } // `f`'s `SyntaxContext` is empty.
 396     /// m!(f);
 397     /// macro m($f:ident) {
 398     ///     mod bar {
 399     ///         pub fn f() {} // `f`'s `SyntaxContext` has a single `ExpnId` from `m`.
 400     ///         pub fn $f() {} // `$f`'s `SyntaxContext` is empty.
 401     ///     }
 402     ///     foo::f(); // `f`'s `SyntaxContext` has a single `ExpnId` from `m`
 403     ///     //^ Since `mod foo` is outside this expansion, `adjust` removes the mark from `f`,
 404     ///     //| and it resolves to `::foo::f`.
 405     ///     bar::f(); // `f`'s `SyntaxContext` has a single `ExpnId` from `m`
 406     ///     //^ Since `mod bar` not outside this expansion, `adjust` does not change `f`,
 407     ///     //| and it resolves to `::bar::f`.
 408     ///     bar::$f(); // `f`'s `SyntaxContext` is empty.
 409     ///     //^ Since `mod bar` is not outside this expansion, `adjust` does not change `$f`,
 410     ///     //| and it resolves to `::bar::$f`.
 411     /// }
 412     /// ```
 413     /// This returns the expansion whose definition scope we use to privacy check the resolution,
 414     /// or `None` if we privacy check as usual (i.e., not w.r.t. a macro definition scope).
 415     pub fn adjust(&mut self, expn_id: ExpnId) -> Option<ExpnId> {
 416         HygieneData::with(|data| data.adjust(self, expn_id))
 417     }
 418
 419     /// Like `SyntaxContext::adjust`, but also modernizes `self`.
 420     pub fn modernize_and_adjust(&mut self, expn_id: ExpnId) -> Option<ExpnId> {
 421         HygieneData::with(|data| {
 422             *self = data.modern(*self);
 423             data.adjust(self, expn_id)
 424         })
 425     }
 426
 427     /// Adjust this context for resolution in a scope created by the given expansion
 428     /// via a glob import with the given `SyntaxContext`.
 429     /// For example:
 430     ///
 431     /// ```rust
 432     /// m!(f);
 433     /// macro m($i:ident) {
 434     ///     mod foo {
 435     ///         pub fn f() {} // `f`'s `SyntaxContext` has a single `ExpnId` from `m`.
 436     ///         pub fn $i() {} // `$i`'s `SyntaxContext` is empty.
 437     ///     }
 438     ///     n(f);
 439     ///     macro n($j:ident) {
 440     ///         use foo::*;
 441     ///         f(); // `f`'s `SyntaxContext` has a mark from `m` and a mark from `n`
 442     ///         //^ `glob_adjust` removes the mark from `n`, so this resolves to `foo::f`.
 443     ///         $i(); // `$i`'s `SyntaxContext` has a mark from `n`
 444     ///         //^ `glob_adjust` removes the mark from `n`, so this resolves to `foo::$i`.
 445     ///         $j(); // `$j`'s `SyntaxContext` has a mark from `m`
 446     ///         //^ This cannot be glob-adjusted, so this is a resolution error.
 447     ///     }
 448     /// }
 449     /// ```
 450     /// This returns `None` if the context cannot be glob-adjusted.
 451     /// Otherwise, it returns the scope to use when privacy checking (see `adjust` for details).
 452     pub fn glob_adjust(&mut self, expn_id: ExpnId, glob_span: Span) -> Option<Option<ExpnId>> {
 453         HygieneData::with(|data| {
 454             let mut scope = None;
 455             let mut glob_ctxt = data.modern(glob_span.ctxt());
 456             while !data.is_descendant_of(expn_id, data.outer_expn(glob_ctxt)) {
 457                 scope = Some(data.remove_mark(&mut glob_ctxt).0);
 458                 if data.remove_mark(self).0 != scope.unwrap() {
 459                     return None;
 460                 }
 461             }
 462             if data.adjust(self, expn_id).is_some() {
 463                 return None;
 464             }
 465             Some(scope)
 466         })
 467     }
 468
 469     /// Undo `glob_adjust` if possible:
 470     ///
 471     /// ```rust
 472     /// if let Some(privacy_checking_scope) = self.reverse_glob_adjust(expansion, glob_ctxt) {
 473     ///     assert!(self.glob_adjust(expansion, glob_ctxt) == Some(privacy_checking_scope));
 474     /// }
 475     /// ```
 476     pub fn reverse_glob_adjust(&mut self, expn_id: ExpnId, glob_span: Span)
 477                                -> Option<Option<ExpnId>> {
 478         HygieneData::with(|data| {
 479             if data.adjust(self, expn_id).is_some() {
 480                 return None;
 481             }
 482
 483             let mut glob_ctxt = data.modern(glob_span.ctxt());
 484             let mut marks = Vec::new();
 485             while !data.is_descendant_of(expn_id, data.outer_expn(glob_ctxt)) {
 486                 marks.push(data.remove_mark(&mut glob_ctxt));
 487             }
 488
 489             let scope = marks.last().map(|mark| mark.0);
 490             while let Some((expn_id, transparency)) = marks.pop() {
 491                 *self = data.apply_mark(*self, expn_id, transparency);
 492             }
 493             Some(scope)
 494         })
 495     }
 496
 497     pub fn hygienic_eq(self, other: SyntaxContext, expn_id: ExpnId) -> bool {
 498         HygieneData::with(|data| {
 499             let mut self_modern = data.modern(self);
 500             data.adjust(&mut self_modern, expn_id);
 501             self_modern == data.modern(other)
 502         })
 503     }
 504
 505     #[inline]
 506     pub fn modern(self) -> SyntaxContext {
 507         HygieneData::with(|data| data.modern(self))
 508     }
 509
 510     #[inline]
 511     pub fn modern_and_legacy(self) -> SyntaxContext {
 512         HygieneData::with(|data| data.modern_and_legacy(self))
 513     }
 514
 515     #[inline]
 516     pub fn outer_expn(self) -> ExpnId {
 517         HygieneData::with(|data| data.outer_expn(self))
 518     }
 519
 520     /// `ctxt.outer_expn_data()` is equivalent to but faster than
 521     /// `ctxt.outer_expn().expn_data()`.
 522     #[inline]
 523     pub fn outer_expn_data(self) -> ExpnData {
 524         HygieneData::with(|data| data.expn_data(data.outer_expn(self)).clone())
 525     }
 526
 527     #[inline]
 528     pub fn outer_mark_with_data(self) -> (ExpnId, Transparency, ExpnData) {
 529         HygieneData::with(|data| {
 530             let (expn_id, transparency) = data.outer_mark(self);
 531             (expn_id, transparency, data.expn_data(expn_id).clone())
 532         })
 533     }
 534
 535     pub fn dollar_crate_name(self) -> Symbol {
 536         HygieneData::with(|data| data.syntax_context_data[self.0 as usize].dollar_crate_name)
 537     }
 538 }
 539
 540 impl fmt::Debug for SyntaxContext {
 541     fn fmt(&self, f: &mut fmt::Formatter<'_>) -> fmt::Result {
 542         write!(f, "#{}", self.0)
 543     }
 544 }
 545
 546 impl Span {
 547     /// Creates a fresh expansion with given properties.
 548     /// Expansions are normally created by macros, but in some cases expansions are created for
 549     /// other compiler-generated code to set per-span properties like allowed unstable features.
 550     /// The returned span belongs to the created expansion and has the new properties,
 551     /// but its location is inherited from the current span.
 552     pub fn fresh_expansion(self, expn_data: ExpnData) -> Span {
 553         self.fresh_expansion_with_transparency(expn_data, Transparency::Transparent)
 554     }
 555
 556     pub fn fresh_expansion_with_transparency(
 557         self, expn_data: ExpnData, transparency: Transparency
 558     ) -> Span {
 559         HygieneData::with(|data| {
 560             let expn_id = data.fresh_expn(Some(expn_data));
 561             self.with_ctxt(data.apply_mark(SyntaxContext::root(), expn_id, transparency))
 562         })
 563     }
 564 }
 565
 566 /// A subset of properties from both macro definition and macro call available through global data.
 567 /// Avoid using this if you have access to the original definition or call structures.
 568 #[derive(Clone, Debug, RustcEncodable, RustcDecodable)]
 569 pub struct ExpnData {
 570     // --- The part unique to each expansion.
 571     /// The kind of this expansion - macro or compiler desugaring.
 572     pub kind: ExpnKind,
 573     /// The expansion that produced this expansion.
 574     pub parent: ExpnId,
 575     /// The location of the actual macro invocation or syntax sugar , e.g.
 576     /// `let x = foo!();` or `if let Some(y) = x {}`
 577     ///
 578     /// This may recursively refer to other macro invocations, e.g., if
 579     /// `foo!()` invoked `bar!()` internally, and there was an
 580     /// expression inside `bar!`; the call_site of the expression in
 581     /// the expansion would point to the `bar!` invocation; that
 582     /// call_site span would have its own ExpnData, with the call_site
 583     /// pointing to the `foo!` invocation.
 584     pub call_site: Span,
 585
 586     // --- The part specific to the macro/desugaring definition.
 587     // --- It may be reasonable to share this part between expansions with the same definition,
 588     // --- but such sharing is known to bring some minor inconveniences without also bringing
 589     // --- noticeable perf improvements (PR #62898).
 590     /// The span of the macro definition (possibly dummy).
 591     /// This span serves only informational purpose and is not used for resolution.
 592     pub def_site: Span,
 593     /// List of #[unstable]/feature-gated features that the macro is allowed to use
 594     /// internally without forcing the whole crate to opt-in
 595     /// to them.
 596     pub allow_internal_unstable: Option<Lrc<[Symbol]>>,
 597     /// Whether the macro is allowed to use `unsafe` internally
 598     /// even if the user crate has `#![forbid(unsafe_code)]`.
 599     pub allow_internal_unsafe: bool,
 600     /// Enables the macro helper hack (`ident!(...)` -> `$crate::ident!(...)`)
 601     /// for a given macro.
 602     pub local_inner_macros: bool,
 603     /// Edition of the crate in which the macro is defined.
 604     pub edition: Edition,
 605 }
 606
 607 impl ExpnData {
 608     /// Constructs expansion data with default properties.
 609     pub fn default(kind: ExpnKind, call_site: Span, edition: Edition) -> ExpnData {
 610         ExpnData {
 611             kind,
 612             parent: ExpnId::root(),
 613             call_site,
 614             def_site: DUMMY_SP,
 615             allow_internal_unstable: None,
 616             allow_internal_unsafe: false,
 617             local_inner_macros: false,
 618             edition,
 619         }
 620     }
 621
 622     pub fn allow_unstable(kind: ExpnKind, call_site: Span, edition: Edition,
 623                           allow_internal_unstable: Lrc<[Symbol]>) -> ExpnData {
 624         ExpnData {
 625             allow_internal_unstable: Some(allow_internal_unstable),
 626             ..ExpnData::default(kind, call_site, edition)
 627         }
 628     }
 629
 630     #[inline]
 631     pub fn is_root(&self) -> bool {
 632         if let ExpnKind::Root = self.kind { true } else { false }
 633     }
 634 }
 635
 636 /// Expansion kind.
 637 #[derive(Clone, Debug, RustcEncodable, RustcDecodable)]
 638 pub enum ExpnKind {
 639     /// No expansion, aka root expansion. Only `ExpnId::root()` has this kind.
 640     Root,
 641     /// Expansion produced by a macro.
 642     Macro(MacroKind, Symbol),
 643     /// Transform done by the compiler on the AST.
 644     AstPass(AstPass),
 645     /// Desugaring done by the compiler during HIR lowering.
 646     Desugaring(DesugaringKind)
 647 }
 648
 649 impl ExpnKind {
 650     pub fn descr(&self) -> Symbol {
 651         match *self {
 652             ExpnKind::Root => kw::PathRoot,
 653             ExpnKind::Macro(_, descr) => descr,
 654             ExpnKind::AstPass(kind) => Symbol::intern(kind.descr()),
 655             ExpnKind::Desugaring(kind) => Symbol::intern(kind.descr()),
 656         }
 657     }
 658 }
 659
 660 /// The kind of macro invocation or definition.
 661 #[derive(Clone, Copy, PartialEq, Eq, RustcEncodable, RustcDecodable, Hash, Debug)]
 662 pub enum MacroKind {
 663     /// A bang macro `foo!()`.
 664     Bang,
 665     /// An attribute macro `#[foo]`.
 666     Attr,
 667     /// A derive macro `#[derive(Foo)]`
 668     Derive,
 669 }
 670
 671 impl MacroKind {
 672     pub fn descr(self) -> &'static str {
 673         match self {
 674             MacroKind::Bang => "macro",
 675             MacroKind::Attr => "attribute macro",
 676             MacroKind::Derive => "derive macro",
 677         }
 678     }
 679
 680     pub fn article(self) -> &'static str {
 681         match self {
 682             MacroKind::Attr => "an",
 683             _ => "a",
 684         }
 685     }
 686 }
 687
 688 /// The kind of AST transform.
 689 #[derive(Clone, Copy, PartialEq, Debug, RustcEncodable, RustcDecodable)]
 690 pub enum AstPass {
 691     StdImports,
 692     TestHarness,
 693     ProcMacroHarness,
 694     PluginMacroDefs,
 695 }
 696
 697 impl AstPass {
 698     fn descr(self) -> &'static str {
 699         match self {
 700             AstPass::StdImports => "standard library imports",
 701             AstPass::TestHarness => "test harness",
 702             AstPass::ProcMacroHarness => "proc macro harness",
 703             AstPass::PluginMacroDefs => "plugin macro definitions",
 704         }
 705     }
 706 }
 707
 708 /// The kind of compiler desugaring.
 709 #[derive(Clone, Copy, PartialEq, Debug, RustcEncodable, RustcDecodable)]
 710 pub enum DesugaringKind {
 711     /// We desugar `if c { i } else { e }` to `match $ExprKind::Use(c) { true => i, _ => e }`.
 712     /// However, we do not want to blame `c` for unreachability but rather say that `i`
 713     /// is unreachable. This desugaring kind allows us to avoid blaming `c`.
 714     /// This also applies to `while` loops.
 715     CondTemporary,
 716     QuestionMark,
 717     TryBlock,
 718     /// Desugaring of an `impl Trait` in return type position
 719     /// to an `type Foo = impl Trait;` and replacing the
 720     /// `impl Trait` with `Foo`.
 721     OpaqueTy,
 722     Async,
 723     Await,
 724     ForLoop,
 725 }
 726
 727 impl DesugaringKind {
 728     /// The description wording should combine well with "desugaring of {}".
 729     fn descr(self) -> &'static str {
 730         match self {
 731             DesugaringKind::CondTemporary => "`if` or `while` condition",
 732             DesugaringKind::Async => "`async` block or function",
 733             DesugaringKind::Await => "`await` expression",
 734             DesugaringKind::QuestionMark => "operator `?`",
 735             DesugaringKind::TryBlock => "`try` block",
 736             DesugaringKind::OpaqueTy => "`impl Trait`",
 737             DesugaringKind::ForLoop => "`for` loop",
 738         }
 739     }
 740 }
 741
 742 impl Encodable for ExpnId {
 743     fn encode<E: Encoder>(&self, _: &mut E) -> Result<(), E::Error> {
 744         Ok(()) // FIXME(jseyfried) intercrate hygiene
 745     }
 746 }
 747
 748 impl Decodable for ExpnId {
 749     fn decode<D: Decoder>(_: &mut D) -> Result<Self, D::Error> {
 750         Ok(ExpnId::root()) // FIXME(jseyfried) intercrate hygiene
 751     }
 752 }