src/librustc/ty/context.rs

   1 // ignore-tidy-filelength
   2
   3 //! Type context book-keeping.
   4
   5 use crate::arena::Arena;
   6 use crate::dep_graph::DepGraph;
   7 use crate::dep_graph::{self, DepNode, DepConstructor};
   8 use crate::session::Session;
   9 use crate::session::config::{BorrowckMode, OutputFilenames};
  10 use crate::session::config::CrateType;
  11 use crate::middle;
  12 use crate::hir::{TraitCandidate, HirId, ItemKind, ItemLocalId, Node};
  13 use crate::hir::def::{Res, DefKind, Export};
  14 use crate::hir::def_id::{CrateNum, DefId, DefIndex, LOCAL_CRATE};
  15 use crate::hir::map as hir_map;
  16 use crate::hir::map::DefPathHash;
  17 use crate::lint::{self, Lint};
  18 use crate::ich::{StableHashingContext, NodeIdHashingMode};
  19 use crate::infer::canonical::{Canonical, CanonicalVarInfo, CanonicalVarInfos};
  20 use crate::infer::outlives::free_region_map::FreeRegionMap;
  21 use crate::middle::cstore::CrateStoreDyn;
  22 use crate::middle::cstore::EncodedMetadata;
  23 use crate::middle::lang_items;
  24 use crate::middle::resolve_lifetime::{self, ObjectLifetimeDefault};
  25 use crate::middle::stability;
  26 use crate::mir::{self, Body, interpret, ProjectionKind};
  27 use crate::mir::interpret::{ConstValue, Allocation, Scalar};
  28 use crate::ty::subst::{Kind, InternalSubsts, SubstsRef, Subst};
  29 use crate::ty::ReprOptions;
  30 use crate::traits;
  31 use crate::traits::{Clause, Clauses, GoalKind, Goal, Goals};
  32 use crate::ty::{self, DefIdTree, Ty, TypeAndMut};
  33 use crate::ty::{TyS, TyKind, List};
  34 use crate::ty::{AdtKind, AdtDef, ClosureSubsts, GeneratorSubsts, Region, Const};
  35 use crate::ty::{PolyFnSig, InferTy, ParamTy, ProjectionTy, ExistentialPredicate, Predicate};
  36 use crate::ty::RegionKind;
  37 use crate::ty::{TyVar, TyVid, IntVar, IntVid, FloatVar, FloatVid, ConstVid};
  38 use crate::ty::TyKind::*;
  39 use crate::ty::{InferConst, ParamConst};
  40 use crate::ty::GenericParamDefKind;
  41 use crate::ty::layout::{LayoutDetails, TargetDataLayout, VariantIdx};
  42 use crate::ty::query;
  43 use crate::ty::steal::Steal;
  44 use crate::ty::subst::{UserSubsts, UnpackedKind};
  45 use crate::ty::{BoundVar, BindingMode};
  46 use crate::ty::CanonicalPolyFnSig;
  47 use crate::util::common::ErrorReported;
  48 use crate::util::nodemap::{DefIdMap, DefIdSet, ItemLocalMap, ItemLocalSet};
  49 use crate::util::nodemap::{FxHashMap, FxHashSet};
  50 use errors::DiagnosticBuilder;
  51 use rustc_data_structures::interner::HashInterner;
  52 use smallvec::SmallVec;
  53 use rustc_data_structures::stable_hasher::{HashStable, hash_stable_hashmap,
  54                                            StableHasher, StableHasherResult,
  55                                            StableVec};
  56 use arena::SyncDroplessArena;
  57 use rustc_data_structures::indexed_vec::{Idx, IndexVec};
  58 use rustc_data_structures::sync::{Lrc, Lock, WorkerLocal};
  59 use std::any::Any;
  60 use std::borrow::Borrow;
  61 use std::cmp::Ordering;
  62 use std::collections::hash_map::{self, Entry};
  63 use std::hash::{Hash, Hasher};
  64 use std::fmt;
  65 use std::mem;
  66 use std::ops::{Deref, Bound};
  67 use std::iter;
  68 use std::sync::mpsc;
  69 use std::sync::Arc;
  70 use std::marker::PhantomData;
  71 use rustc_target::spec::abi;
  72 use rustc_macros::HashStable;
  73 use syntax::ast;
  74 use syntax::attr;
  75 use syntax::source_map::MultiSpan;
  76 use syntax::feature_gate;
  77 use syntax::symbol::{Symbol, InternedString, kw, sym};
  78 use syntax_pos::Span;
  79
  80 use crate::hir;
  81
  82 pub struct AllArenas {
  83     pub interner: SyncDroplessArena,
  84 }
  85
  86 impl AllArenas {
  87     pub fn new() -> Self {
  88         AllArenas {
  89             interner: SyncDroplessArena::default(),
  90         }
  91     }
  92 }
  93
  94 type InternedSet<'tcx, T> = Lock<FxHashMap<Interned<'tcx, T>, ()>>;
  95
  96 pub struct CtxtInterners<'tcx> {
  97     /// The arena that types, regions, etc are allocated from
  98     arena: &'tcx SyncDroplessArena,
  99
 100     /// Specifically use a speedy hash algorithm for these hash sets,
 101     /// they're accessed quite often.
 102     type_: InternedSet<'tcx, TyS<'tcx>>,
 103     type_list: InternedSet<'tcx, List<Ty<'tcx>>>,
 104     substs: InternedSet<'tcx, InternalSubsts<'tcx>>,
 105     canonical_var_infos: InternedSet<'tcx, List<CanonicalVarInfo>>,
 106     region: InternedSet<'tcx, RegionKind>,
 107     existential_predicates: InternedSet<'tcx, List<ExistentialPredicate<'tcx>>>,
 108     predicates: InternedSet<'tcx, List<Predicate<'tcx>>>,
 109     clauses: InternedSet<'tcx, List<Clause<'tcx>>>,
 110     goal: InternedSet<'tcx, GoalKind<'tcx>>,
 111     goal_list: InternedSet<'tcx, List<Goal<'tcx>>>,
 112     projs: InternedSet<'tcx, List<ProjectionKind>>,
 113     const_: InternedSet<'tcx, Const<'tcx>>,
 114 }
 115
 116 impl<'gcx: 'tcx, 'tcx> CtxtInterners<'tcx> {
 117     fn new(arena: &'tcx SyncDroplessArena) -> CtxtInterners<'tcx> {
 118         CtxtInterners {
 119             arena,
 120             type_: Default::default(),
 121             type_list: Default::default(),
 122             substs: Default::default(),
 123             region: Default::default(),
 124             existential_predicates: Default::default(),
 125             canonical_var_infos: Default::default(),
 126             predicates: Default::default(),
 127             clauses: Default::default(),
 128             goal: Default::default(),
 129             goal_list: Default::default(),
 130             projs: Default::default(),
 131             const_: Default::default(),
 132         }
 133     }
 134
 135     /// Intern a type
 136     #[inline(never)]
 137     fn intern_ty(
 138         local: &CtxtInterners<'tcx>,
 139         global: &CtxtInterners<'gcx>,
 140         st: TyKind<'tcx>
 141     ) -> Ty<'tcx> {
 142         let flags = super::flags::FlagComputation::for_sty(&st);
 143
 144         // HACK(eddyb) Depend on flags being accurate to
 145         // determine that all contents are in the global tcx.
 146         // See comments on Lift for why we can't use that.
 147         if flags.flags.intersects(ty::TypeFlags::KEEP_IN_LOCAL_TCX) {
 148             local.type_.borrow_mut().intern(st, |st| {
 149                 let ty_struct = TyS {
 150                     sty: st,
 151                     flags: flags.flags,
 152                     outer_exclusive_binder: flags.outer_exclusive_binder,
 153                 };
 154
 155                 // Make sure we don't end up with inference
 156                 // types/regions in the global interner
 157                 if ptr_eq(local, global) {
 158                     bug!("Attempted to intern `{:?}` which contains \
 159                         inference types/regions in the global type context",
 160                         &ty_struct);
 161                 }
 162
 163                 Interned(local.arena.alloc(ty_struct))
 164             }).0
 165         } else {
 166             global.type_.borrow_mut().intern(st, |st| {
 167                 let ty_struct = TyS {
 168                     sty: st,
 169                     flags: flags.flags,
 170                     outer_exclusive_binder: flags.outer_exclusive_binder,
 171                 };
 172
 173                 // This is safe because all the types the ty_struct can point to
 174                 // already is in the global arena
 175                 let ty_struct: TyS<'gcx> = unsafe {
 176                     mem::transmute(ty_struct)
 177                 };
 178
 179                 Interned(global.arena.alloc(ty_struct))
 180             }).0
 181         }
 182     }
 183 }
 184
 185 pub struct Common<'tcx> {
 186     pub empty_predicates: ty::GenericPredicates<'tcx>,
 187 }
 188
 189 pub struct CommonTypes<'tcx> {
 190     pub unit: Ty<'tcx>,
 191     pub bool: Ty<'tcx>,
 192     pub char: Ty<'tcx>,
 193     pub isize: Ty<'tcx>,
 194     pub i8: Ty<'tcx>,
 195     pub i16: Ty<'tcx>,
 196     pub i32: Ty<'tcx>,
 197     pub i64: Ty<'tcx>,
 198     pub i128: Ty<'tcx>,
 199     pub usize: Ty<'tcx>,
 200     pub u8: Ty<'tcx>,
 201     pub u16: Ty<'tcx>,
 202     pub u32: Ty<'tcx>,
 203     pub u64: Ty<'tcx>,
 204     pub u128: Ty<'tcx>,
 205     pub f32: Ty<'tcx>,
 206     pub f64: Ty<'tcx>,
 207     pub never: Ty<'tcx>,
 208     pub err: Ty<'tcx>,
 209
 210     /// Dummy type used for the `Self` of a `TraitRef` created for converting
 211     /// a trait object, and which gets removed in `ExistentialTraitRef`.
 212     /// This type must not appear anywhere in other converted types.
 213     pub trait_object_dummy_self: Ty<'tcx>,
 214 }
 215
 216 pub struct CommonLifetimes<'tcx> {
 217     pub re_empty: Region<'tcx>,
 218     pub re_static: Region<'tcx>,
 219     pub re_erased: Region<'tcx>,
 220 }
 221
 222 pub struct CommonConsts<'tcx> {
 223     pub err: &'tcx Const<'tcx>,
 224 }
 225
 226 pub struct LocalTableInContext<'a, V: 'a> {
 227     local_id_root: Option<DefId>,
 228     data: &'a ItemLocalMap<V>
 229 }
 230
 231 /// Validate that the given HirId (respectively its `local_id` part) can be
 232 /// safely used as a key in the tables of a TypeckTable. For that to be
 233 /// the case, the HirId must have the same `owner` as all the other IDs in
 234 /// this table (signified by `local_id_root`). Otherwise the HirId
 235 /// would be in a different frame of reference and using its `local_id`
 236 /// would result in lookup errors, or worse, in silently wrong data being
 237 /// stored/returned.
 238 fn validate_hir_id_for_typeck_tables(local_id_root: Option<DefId>,
 239                                      hir_id: hir::HirId,
 240                                      mut_access: bool) {
 241     if cfg!(debug_assertions) {
 242         if let Some(local_id_root) = local_id_root {
 243             if hir_id.owner != local_id_root.index {
 244                 ty::tls::with(|tcx| {
 245                     let node_id = tcx.hir().hir_to_node_id(hir_id);
 246
 247                     bug!("node {} with HirId::owner {:?} cannot be placed in \
 248                           TypeckTables with local_id_root {:?}",
 249                          tcx.hir().node_to_string(node_id),
 250                          DefId::local(hir_id.owner),
 251                          local_id_root)
 252                 });
 253             }
 254         } else {
 255             // We use "Null Object" TypeckTables in some of the analysis passes.
 256             // These are just expected to be empty and their `local_id_root` is
 257             // `None`. Therefore we cannot verify whether a given `HirId` would
 258             // be a valid key for the given table. Instead we make sure that
 259             // nobody tries to write to such a Null Object table.
 260             if mut_access {
 261                 bug!("access to invalid TypeckTables")
 262             }
 263         }
 264     }
 265 }
 266
 267 impl<'a, V> LocalTableInContext<'a, V> {
 268     pub fn contains_key(&self, id: hir::HirId) -> bool {
 269         validate_hir_id_for_typeck_tables(self.local_id_root, id, false);
 270         self.data.contains_key(&id.local_id)
 271     }
 272
 273     pub fn get(&self, id: hir::HirId) -> Option<&V> {
 274         validate_hir_id_for_typeck_tables(self.local_id_root, id, false);
 275         self.data.get(&id.local_id)
 276     }
 277
 278     pub fn iter(&self) -> hash_map::Iter<'_, hir::ItemLocalId, V> {
 279         self.data.iter()
 280     }
 281 }
 282
 283 impl<'a, V> ::std::ops::Index<hir::HirId> for LocalTableInContext<'a, V> {
 284     type Output = V;
 285
 286     fn index(&self, key: hir::HirId) -> &V {
 287         self.get(key).expect("LocalTableInContext: key not found")
 288     }
 289 }
 290
 291 pub struct LocalTableInContextMut<'a, V: 'a> {
 292     local_id_root: Option<DefId>,
 293     data: &'a mut ItemLocalMap<V>
 294 }
 295
 296 impl<'a, V> LocalTableInContextMut<'a, V> {
 297     pub fn get_mut(&mut self, id: hir::HirId) -> Option<&mut V> {
 298         validate_hir_id_for_typeck_tables(self.local_id_root, id, true);
 299         self.data.get_mut(&id.local_id)
 300     }
 301
 302     pub fn entry(&mut self, id: hir::HirId) -> Entry<'_, hir::ItemLocalId, V> {
 303         validate_hir_id_for_typeck_tables(self.local_id_root, id, true);
 304         self.data.entry(id.local_id)
 305     }
 306
 307     pub fn insert(&mut self, id: hir::HirId, val: V) -> Option<V> {
 308         validate_hir_id_for_typeck_tables(self.local_id_root, id, true);
 309         self.data.insert(id.local_id, val)
 310     }
 311
 312     pub fn remove(&mut self, id: hir::HirId) -> Option<V> {
 313         validate_hir_id_for_typeck_tables(self.local_id_root, id, true);
 314         self.data.remove(&id.local_id)
 315     }
 316 }
 317
 318 /// All information necessary to validate and reveal an `impl Trait` or `existential Type`
 319 #[derive(RustcEncodable, RustcDecodable, Debug, HashStable)]
 320 pub struct ResolvedOpaqueTy<'tcx> {
 321     /// The revealed type as seen by this function.
 322     pub concrete_type: Ty<'tcx>,
 323     /// Generic parameters on the opaque type as passed by this function.
 324     /// For `existential type Foo<A, B>; fn foo<T, U>() -> Foo<T, U> { .. }` this is `[T, U]`, not
 325     /// `[A, B]`
 326     pub substs: SubstsRef<'tcx>,
 327 }
 328
 329 #[derive(RustcEncodable, RustcDecodable, Debug)]
 330 pub struct TypeckTables<'tcx> {
 331     /// The HirId::owner all ItemLocalIds in this table are relative to.
 332     pub local_id_root: Option<DefId>,
 333
 334     /// Resolved definitions for `<T>::X` associated paths and
 335     /// method calls, including those of overloaded operators.
 336     type_dependent_defs: ItemLocalMap<Result<(DefKind, DefId), ErrorReported>>,
 337
 338     /// Resolved field indices for field accesses in expressions (`S { field }`, `obj.field`)
 339     /// or patterns (`S { field }`). The index is often useful by itself, but to learn more
 340     /// about the field you also need definition of the variant to which the field
 341     /// belongs, but it may not exist if it's a tuple field (`tuple.0`).
 342     field_indices: ItemLocalMap<usize>,
 343
 344     /// Stores the types for various nodes in the AST. Note that this table
 345     /// is not guaranteed to be populated until after typeck. See
 346     /// typeck::check::fn_ctxt for details.
 347     node_types: ItemLocalMap<Ty<'tcx>>,
 348
 349     /// Stores the type parameters which were substituted to obtain the type
 350     /// of this node. This only applies to nodes that refer to entities
 351     /// parameterized by type parameters, such as generic fns, types, or
 352     /// other items.
 353     node_substs: ItemLocalMap<SubstsRef<'tcx>>,
 354
 355     /// This will either store the canonicalized types provided by the user
 356     /// or the substitutions that the user explicitly gave (if any) attached
 357     /// to `id`. These will not include any inferred values. The canonical form
 358     /// is used to capture things like `_` or other unspecified values.
 359     ///
 360     /// For example, if the user wrote `foo.collect::<Vec<_>>()`, then the
 361     /// canonical substitutions would include only `for<X> { Vec<X> }`.
 362     ///
 363     /// See also `AscribeUserType` statement in MIR.
 364     user_provided_types: ItemLocalMap<CanonicalUserType<'tcx>>,
 365
 366     /// Stores the canonicalized types provided by the user. See also
 367     /// `AscribeUserType` statement in MIR.
 368     pub user_provided_sigs: DefIdMap<CanonicalPolyFnSig<'tcx>>,
 369
 370     adjustments: ItemLocalMap<Vec<ty::adjustment::Adjustment<'tcx>>>,
 371
 372     /// Stores the actual binding mode for all instances of hir::BindingAnnotation.
 373     pat_binding_modes: ItemLocalMap<BindingMode>,
 374
 375     /// Stores the types which were implicitly dereferenced in pattern binding modes
 376     /// for later usage in HAIR lowering. For example,
 377     ///
 378     /// ```
 379     /// match &&Some(5i32) {
 380     ///     Some(n) => {},
 381     ///     _ => {},
 382     /// }
 383     /// ```
 384     /// leads to a `vec![&&Option<i32>, &Option<i32>]`. Empty vectors are not stored.
 385     ///
 386     /// See:
 387     /// https://github.com/rust-lang/rfcs/blob/master/text/2005-match-ergonomics.md#definitions
 388     pat_adjustments: ItemLocalMap<Vec<Ty<'tcx>>>,
 389
 390     /// Borrows
 391     pub upvar_capture_map: ty::UpvarCaptureMap<'tcx>,
 392
 393     /// Records the reasons that we picked the kind of each closure;
 394     /// not all closures are present in the map.
 395     closure_kind_origins: ItemLocalMap<(Span, ast::Name)>,
 396
 397     /// For each fn, records the "liberated" types of its arguments
 398     /// and return type. Liberated means that all bound regions
 399     /// (including late-bound regions) are replaced with free
 400     /// equivalents. This table is not used in codegen (since regions
 401     /// are erased there) and hence is not serialized to metadata.
 402     liberated_fn_sigs: ItemLocalMap<ty::FnSig<'tcx>>,
 403
 404     /// For each FRU expression, record the normalized types of the fields
 405     /// of the struct - this is needed because it is non-trivial to
 406     /// normalize while preserving regions. This table is used only in
 407     /// MIR construction and hence is not serialized to metadata.
 408     fru_field_types: ItemLocalMap<Vec<Ty<'tcx>>>,
 409
 410     /// For every coercion cast we add the HIR node ID of the cast
 411     /// expression to this set.
 412     coercion_casts: ItemLocalSet,
 413
 414     /// Set of trait imports actually used in the method resolution.
 415     /// This is used for warning unused imports. During type
 416     /// checking, this `Lrc` should not be cloned: it must have a ref-count
 417     /// of 1 so that we can insert things into the set mutably.
 418     pub used_trait_imports: Lrc<DefIdSet>,
 419
 420     /// If any errors occurred while type-checking this body,
 421     /// this field will be set to `true`.
 422     pub tainted_by_errors: bool,
 423
 424     /// Stores the free-region relationships that were deduced from
 425     /// its where-clauses and parameter types. These are then
 426     /// read-again by borrowck.
 427     pub free_region_map: FreeRegionMap<'tcx>,
 428
 429     /// All the existential types that are restricted to concrete types
 430     /// by this function
 431     pub concrete_existential_types: FxHashMap<DefId, ResolvedOpaqueTy<'tcx>>,
 432
 433     /// Given the closure ID this map provides the list of UpvarIDs used by it.
 434     /// The upvarID contains the HIR node ID and it also contains the full path
 435     /// leading to the member of the struct or tuple that is used instead of the
 436     /// entire variable.
 437     pub upvar_list: ty::UpvarListMap,
 438 }
 439
 440 impl<'tcx> TypeckTables<'tcx> {
 441     pub fn empty(local_id_root: Option<DefId>) -> TypeckTables<'tcx> {
 442         TypeckTables {
 443             local_id_root,
 444             type_dependent_defs: Default::default(),
 445             field_indices: Default::default(),
 446             user_provided_types: Default::default(),
 447             user_provided_sigs: Default::default(),
 448             node_types: Default::default(),
 449             node_substs: Default::default(),
 450             adjustments: Default::default(),
 451             pat_binding_modes: Default::default(),
 452             pat_adjustments: Default::default(),
 453             upvar_capture_map: Default::default(),
 454             closure_kind_origins: Default::default(),
 455             liberated_fn_sigs: Default::default(),
 456             fru_field_types: Default::default(),
 457             coercion_casts: Default::default(),
 458             used_trait_imports: Lrc::new(Default::default()),
 459             tainted_by_errors: false,
 460             free_region_map: Default::default(),
 461             concrete_existential_types: Default::default(),
 462             upvar_list: Default::default(),
 463         }
 464     }
 465
 466     /// Returns the final resolution of a `QPath` in an `Expr` or `Pat` node.
 467     pub fn qpath_res(&self, qpath: &hir::QPath, id: hir::HirId) -> Res {
 468         match *qpath {
 469             hir::QPath::Resolved(_, ref path) => path.res,
 470             hir::QPath::TypeRelative(..) => self.type_dependent_def(id)
 471                 .map_or(Res::Err, |(kind, def_id)| Res::Def(kind, def_id)),
 472         }
 473     }
 474
 475     pub fn type_dependent_defs(
 476         &self,
 477     ) -> LocalTableInContext<'_, Result<(DefKind, DefId), ErrorReported>> {
 478         LocalTableInContext {
 479             local_id_root: self.local_id_root,
 480             data: &self.type_dependent_defs
 481         }
 482     }
 483
 484     pub fn type_dependent_def(&self, id: HirId) -> Option<(DefKind, DefId)> {
 485         validate_hir_id_for_typeck_tables(self.local_id_root, id, false);
 486         self.type_dependent_defs.get(&id.local_id).cloned().and_then(|r| r.ok())
 487     }
 488
 489     pub fn type_dependent_def_id(&self, id: HirId) -> Option<DefId> {
 490         self.type_dependent_def(id).map(|(_, def_id)| def_id)
 491     }
 492
 493     pub fn type_dependent_defs_mut(
 494         &mut self,
 495     ) -> LocalTableInContextMut<'_, Result<(DefKind, DefId), ErrorReported>> {
 496         LocalTableInContextMut {
 497             local_id_root: self.local_id_root,
 498             data: &mut self.type_dependent_defs
 499         }
 500     }
 501
 502     pub fn field_indices(&self) -> LocalTableInContext<'_, usize> {
 503         LocalTableInContext {
 504             local_id_root: self.local_id_root,
 505             data: &self.field_indices
 506         }
 507     }
 508
 509     pub fn field_indices_mut(&mut self) -> LocalTableInContextMut<'_, usize> {
 510         LocalTableInContextMut {
 511             local_id_root: self.local_id_root,
 512             data: &mut self.field_indices
 513         }
 514     }
 515
 516     pub fn user_provided_types(
 517         &self
 518     ) -> LocalTableInContext<'_, CanonicalUserType<'tcx>> {
 519         LocalTableInContext {
 520             local_id_root: self.local_id_root,
 521             data: &self.user_provided_types
 522         }
 523     }
 524
 525     pub fn user_provided_types_mut(
 526         &mut self
 527     ) -> LocalTableInContextMut<'_, CanonicalUserType<'tcx>> {
 528         LocalTableInContextMut {
 529             local_id_root: self.local_id_root,
 530             data: &mut self.user_provided_types
 531         }
 532     }
 533
 534     pub fn node_types(&self) -> LocalTableInContext<'_, Ty<'tcx>> {
 535         LocalTableInContext {
 536             local_id_root: self.local_id_root,
 537             data: &self.node_types
 538         }
 539     }
 540
 541     pub fn node_types_mut(&mut self) -> LocalTableInContextMut<'_, Ty<'tcx>> {
 542         LocalTableInContextMut {
 543             local_id_root: self.local_id_root,
 544             data: &mut self.node_types
 545         }
 546     }
 547
 548     pub fn node_type(&self, id: hir::HirId) -> Ty<'tcx> {
 549         self.node_type_opt(id).unwrap_or_else(||
 550             bug!("node_type: no type for node `{}`",
 551                  tls::with(|tcx| tcx.hir().hir_to_string(id)))
 552         )
 553     }
 554
 555     pub fn node_type_opt(&self, id: hir::HirId) -> Option<Ty<'tcx>> {
 556         validate_hir_id_for_typeck_tables(self.local_id_root, id, false);
 557         self.node_types.get(&id.local_id).cloned()
 558     }
 559
 560     pub fn node_substs_mut(&mut self) -> LocalTableInContextMut<'_, SubstsRef<'tcx>> {
 561         LocalTableInContextMut {
 562             local_id_root: self.local_id_root,
 563             data: &mut self.node_substs
 564         }
 565     }
 566
 567     pub fn node_substs(&self, id: hir::HirId) -> SubstsRef<'tcx> {
 568         validate_hir_id_for_typeck_tables(self.local_id_root, id, false);
 569         self.node_substs.get(&id.local_id).cloned().unwrap_or_else(|| InternalSubsts::empty())
 570     }
 571
 572     pub fn node_substs_opt(&self, id: hir::HirId) -> Option<SubstsRef<'tcx>> {
 573         validate_hir_id_for_typeck_tables(self.local_id_root, id, false);
 574         self.node_substs.get(&id.local_id).cloned()
 575     }
 576
 577     // Returns the type of a pattern as a monotype. Like @expr_ty, this function
 578     // doesn't provide type parameter substitutions.
 579     pub fn pat_ty(&self, pat: &hir::Pat) -> Ty<'tcx> {
 580         self.node_type(pat.hir_id)
 581     }
 582
 583     pub fn pat_ty_opt(&self, pat: &hir::Pat) -> Option<Ty<'tcx>> {
 584         self.node_type_opt(pat.hir_id)
 585     }
 586
 587     // Returns the type of an expression as a monotype.
 588     //
 589     // NB (1): This is the PRE-ADJUSTMENT TYPE for the expression.  That is, in
 590     // some cases, we insert `Adjustment` annotations such as auto-deref or
 591     // auto-ref.  The type returned by this function does not consider such
 592     // adjustments.  See `expr_ty_adjusted()` instead.
 593     //
 594     // NB (2): This type doesn't provide type parameter substitutions; e.g., if you
 595     // ask for the type of "id" in "id(3)", it will return "fn(&isize) -> isize"
 596     // instead of "fn(ty) -> T with T = isize".
 597     pub fn expr_ty(&self, expr: &hir::Expr) -> Ty<'tcx> {
 598         self.node_type(expr.hir_id)
 599     }
 600
 601     pub fn expr_ty_opt(&self, expr: &hir::Expr) -> Option<Ty<'tcx>> {
 602         self.node_type_opt(expr.hir_id)
 603     }
 604
 605     pub fn adjustments(&self) -> LocalTableInContext<'_, Vec<ty::adjustment::Adjustment<'tcx>>> {
 606         LocalTableInContext {
 607             local_id_root: self.local_id_root,
 608             data: &self.adjustments
 609         }
 610     }
 611
 612     pub fn adjustments_mut(&mut self)
 613                            -> LocalTableInContextMut<'_, Vec<ty::adjustment::Adjustment<'tcx>>> {
 614         LocalTableInContextMut {
 615             local_id_root: self.local_id_root,
 616             data: &mut self.adjustments
 617         }
 618     }
 619
 620     pub fn expr_adjustments(&self, expr: &hir::Expr)
 621                             -> &[ty::adjustment::Adjustment<'tcx>] {
 622         validate_hir_id_for_typeck_tables(self.local_id_root, expr.hir_id, false);
 623         self.adjustments.get(&expr.hir_id.local_id).map_or(&[], |a| &a[..])
 624     }
 625
 626     /// Returns the type of `expr`, considering any `Adjustment`
 627     /// entry recorded for that expression.
 628     pub fn expr_ty_adjusted(&self, expr: &hir::Expr) -> Ty<'tcx> {
 629         self.expr_adjustments(expr)
 630             .last()
 631             .map_or_else(|| self.expr_ty(expr), |adj| adj.target)
 632     }
 633
 634     pub fn expr_ty_adjusted_opt(&self, expr: &hir::Expr) -> Option<Ty<'tcx>> {
 635         self.expr_adjustments(expr)
 636             .last()
 637             .map(|adj| adj.target)
 638             .or_else(|| self.expr_ty_opt(expr))
 639     }
 640
 641     pub fn is_method_call(&self, expr: &hir::Expr) -> bool {
 642         // Only paths and method calls/overloaded operators have
 643         // entries in type_dependent_defs, ignore the former here.
 644         if let hir::ExprKind::Path(_) = expr.node {
 645             return false;
 646         }
 647
 648         match self.type_dependent_defs().get(expr.hir_id) {
 649             Some(Ok((DefKind::Method, _))) => true,
 650             _ => false
 651         }
 652     }
 653
 654     pub fn pat_binding_modes(&self) -> LocalTableInContext<'_, BindingMode> {
 655         LocalTableInContext {
 656             local_id_root: self.local_id_root,
 657             data: &self.pat_binding_modes
 658         }
 659     }
 660
 661     pub fn pat_binding_modes_mut(&mut self)
 662                            -> LocalTableInContextMut<'_, BindingMode> {
 663         LocalTableInContextMut {
 664             local_id_root: self.local_id_root,
 665             data: &mut self.pat_binding_modes
 666         }
 667     }
 668
 669     pub fn pat_adjustments(&self) -> LocalTableInContext<'_, Vec<Ty<'tcx>>> {
 670         LocalTableInContext {
 671             local_id_root: self.local_id_root,
 672             data: &self.pat_adjustments,
 673         }
 674     }
 675
 676     pub fn pat_adjustments_mut(&mut self)
 677                                -> LocalTableInContextMut<'_, Vec<Ty<'tcx>>> {
 678         LocalTableInContextMut {
 679             local_id_root: self.local_id_root,
 680             data: &mut self.pat_adjustments,
 681         }
 682     }
 683
 684     pub fn upvar_capture(&self, upvar_id: ty::UpvarId) -> ty::UpvarCapture<'tcx> {
 685         self.upvar_capture_map[&upvar_id]
 686     }
 687
 688     pub fn closure_kind_origins(&self) -> LocalTableInContext<'_, (Span, ast::Name)> {
 689         LocalTableInContext {
 690             local_id_root: self.local_id_root,
 691             data: &self.closure_kind_origins
 692         }
 693     }
 694
 695     pub fn closure_kind_origins_mut(&mut self) -> LocalTableInContextMut<'_, (Span, ast::Name)> {
 696         LocalTableInContextMut {
 697             local_id_root: self.local_id_root,
 698             data: &mut self.closure_kind_origins
 699         }
 700     }
 701
 702     pub fn liberated_fn_sigs(&self) -> LocalTableInContext<'_, ty::FnSig<'tcx>> {
 703         LocalTableInContext {
 704             local_id_root: self.local_id_root,
 705             data: &self.liberated_fn_sigs
 706         }
 707     }
 708
 709     pub fn liberated_fn_sigs_mut(&mut self) -> LocalTableInContextMut<'_, ty::FnSig<'tcx>> {
 710         LocalTableInContextMut {
 711             local_id_root: self.local_id_root,
 712             data: &mut self.liberated_fn_sigs
 713         }
 714     }
 715
 716     pub fn fru_field_types(&self) -> LocalTableInContext<'_, Vec<Ty<'tcx>>> {
 717         LocalTableInContext {
 718             local_id_root: self.local_id_root,
 719             data: &self.fru_field_types
 720         }
 721     }
 722
 723     pub fn fru_field_types_mut(&mut self) -> LocalTableInContextMut<'_, Vec<Ty<'tcx>>> {
 724         LocalTableInContextMut {
 725             local_id_root: self.local_id_root,
 726             data: &mut self.fru_field_types
 727         }
 728     }
 729
 730     pub fn is_coercion_cast(&self, hir_id: hir::HirId) -> bool {
 731         validate_hir_id_for_typeck_tables(self.local_id_root, hir_id, true);
 732         self.coercion_casts.contains(&hir_id.local_id)
 733     }
 734
 735     pub fn set_coercion_cast(&mut self, id: ItemLocalId) {
 736         self.coercion_casts.insert(id);
 737     }
 738
 739     pub fn coercion_casts(&self) -> &ItemLocalSet {
 740         &self.coercion_casts
 741     }
 742
 743 }
 744
 745 impl<'a, 'gcx> HashStable<StableHashingContext<'a>> for TypeckTables<'gcx> {
 746     fn hash_stable<W: StableHasherResult>(&self,
 747                                           hcx: &mut StableHashingContext<'a>,
 748                                           hasher: &mut StableHasher<W>) {
 749         let ty::TypeckTables {
 750             local_id_root,
 751             ref type_dependent_defs,
 752             ref field_indices,
 753             ref user_provided_types,
 754             ref user_provided_sigs,
 755             ref node_types,
 756             ref node_substs,
 757             ref adjustments,
 758             ref pat_binding_modes,
 759             ref pat_adjustments,
 760             ref upvar_capture_map,
 761             ref closure_kind_origins,
 762             ref liberated_fn_sigs,
 763             ref fru_field_types,
 764
 765             ref coercion_casts,
 766
 767             ref used_trait_imports,
 768             tainted_by_errors,
 769             ref free_region_map,
 770             ref concrete_existential_types,
 771             ref upvar_list,
 772
 773         } = *self;
 774
 775         hcx.with_node_id_hashing_mode(NodeIdHashingMode::HashDefPath, |hcx| {
 776             type_dependent_defs.hash_stable(hcx, hasher);
 777             field_indices.hash_stable(hcx, hasher);
 778             user_provided_types.hash_stable(hcx, hasher);
 779             user_provided_sigs.hash_stable(hcx, hasher);
 780             node_types.hash_stable(hcx, hasher);
 781             node_substs.hash_stable(hcx, hasher);
 782             adjustments.hash_stable(hcx, hasher);
 783             pat_binding_modes.hash_stable(hcx, hasher);
 784             pat_adjustments.hash_stable(hcx, hasher);
 785             hash_stable_hashmap(hcx, hasher, upvar_capture_map, |up_var_id, hcx| {
 786                 let ty::UpvarId {
 787                     var_path,
 788                     closure_expr_id
 789                 } = *up_var_id;
 790
 791                 let local_id_root =
 792                     local_id_root.expect("trying to hash invalid TypeckTables");
 793
 794                 let var_owner_def_id = DefId {
 795                     krate: local_id_root.krate,
 796                     index: var_path.hir_id.owner,
 797                 };
 798                 let closure_def_id = DefId {
 799                     krate: local_id_root.krate,
 800                     index: closure_expr_id.to_def_id().index,
 801                 };
 802                 (hcx.def_path_hash(var_owner_def_id),
 803                  var_path.hir_id.local_id,
 804                  hcx.def_path_hash(closure_def_id))
 805             });
 806
 807             closure_kind_origins.hash_stable(hcx, hasher);
 808             liberated_fn_sigs.hash_stable(hcx, hasher);
 809             fru_field_types.hash_stable(hcx, hasher);
 810             coercion_casts.hash_stable(hcx, hasher);
 811             used_trait_imports.hash_stable(hcx, hasher);
 812             tainted_by_errors.hash_stable(hcx, hasher);
 813             free_region_map.hash_stable(hcx, hasher);
 814             concrete_existential_types.hash_stable(hcx, hasher);
 815             upvar_list.hash_stable(hcx, hasher);
 816         })
 817     }
 818 }
 819
 820 newtype_index! {
 821     pub struct UserTypeAnnotationIndex {
 822         derive [HashStable]
 823         DEBUG_FORMAT = "UserType({})",
 824         const START_INDEX = 0,
 825     }
 826 }
 827
 828 /// Mapping of type annotation indices to canonical user type annotations.
 829 pub type CanonicalUserTypeAnnotations<'tcx> =
 830     IndexVec<UserTypeAnnotationIndex, CanonicalUserTypeAnnotation<'tcx>>;
 831
 832 #[derive(Copy, Clone, Debug, PartialEq, Eq, Hash, RustcEncodable, RustcDecodable, HashStable)]
 833 pub struct CanonicalUserTypeAnnotation<'tcx> {
 834     pub user_ty: CanonicalUserType<'tcx>,
 835     pub span: Span,
 836     pub inferred_ty: Ty<'tcx>,
 837 }
 838
 839 BraceStructTypeFoldableImpl! {
 840     impl<'tcx> TypeFoldable<'tcx> for CanonicalUserTypeAnnotation<'tcx> {
 841         user_ty, span, inferred_ty
 842     }
 843 }
 844
 845 BraceStructLiftImpl! {
 846     impl<'a, 'tcx> Lift<'tcx> for CanonicalUserTypeAnnotation<'a> {
 847         type Lifted = CanonicalUserTypeAnnotation<'tcx>;
 848         user_ty, span, inferred_ty
 849     }
 850 }
 851
 852
 853 /// Canonicalized user type annotation.
 854 pub type CanonicalUserType<'gcx> = Canonical<'gcx, UserType<'gcx>>;
 855
 856 impl CanonicalUserType<'gcx> {
 857     /// Returns `true` if this represents a substitution of the form `[?0, ?1, ?2]`,
 858     /// i.e., each thing is mapped to a canonical variable with the same index.
 859     pub fn is_identity(&self) -> bool {
 860         match self.value {
 861             UserType::Ty(_) => false,
 862             UserType::TypeOf(_, user_substs) => {
 863                 if user_substs.user_self_ty.is_some() {
 864                     return false;
 865                 }
 866
 867                 user_substs.substs.iter().zip(BoundVar::new(0)..).all(|(kind, cvar)| {
 868                     match kind.unpack() {
 869                         UnpackedKind::Type(ty) => match ty.sty {
 870                             ty::Bound(debruijn, b) => {
 871                                 // We only allow a `ty::INNERMOST` index in substitutions.
 872                                 assert_eq!(debruijn, ty::INNERMOST);
 873                                 cvar == b.var
 874                             }
 875                             _ => false,
 876                         },
 877
 878                         UnpackedKind::Lifetime(r) => match r {
 879                             ty::ReLateBound(debruijn, br) => {
 880                                 // We only allow a `ty::INNERMOST` index in substitutions.
 881                                 assert_eq!(*debruijn, ty::INNERMOST);
 882                                 cvar == br.assert_bound_var()
 883                             }
 884                             _ => false,
 885                         },
 886
 887                         UnpackedKind::Const(ct) => match ct.val {
 888                             ConstValue::Infer(InferConst::Canonical(debruijn, b)) => {
 889                                 // We only allow a `ty::INNERMOST` index in substitutions.
 890                                 assert_eq!(debruijn, ty::INNERMOST);
 891                                 cvar == b
 892                             }
 893                             _ => false,
 894                         },
 895                     }
 896                 })
 897             },
 898         }
 899     }
 900 }
 901
 902 /// A user-given type annotation attached to a constant. These arise
 903 /// from constants that are named via paths, like `Foo::<A>::new` and
 904 /// so forth.
 905 #[derive(Copy, Clone, Debug, PartialEq, Eq, Hash, RustcEncodable, RustcDecodable, HashStable)]
 906 pub enum UserType<'tcx> {
 907     Ty(Ty<'tcx>),
 908
 909     /// The canonical type is the result of `type_of(def_id)` with the
 910     /// given substitutions applied.
 911     TypeOf(DefId, UserSubsts<'tcx>),
 912 }
 913
 914 EnumTypeFoldableImpl! {
 915     impl<'tcx> TypeFoldable<'tcx> for UserType<'tcx> {
 916         (UserType::Ty)(ty),
 917         (UserType::TypeOf)(def, substs),
 918     }
 919 }
 920
 921 EnumLiftImpl! {
 922     impl<'a, 'tcx> Lift<'tcx> for UserType<'a> {
 923         type Lifted = UserType<'tcx>;
 924         (UserType::Ty)(ty),
 925         (UserType::TypeOf)(def, substs),
 926     }
 927 }
 928
 929 impl<'tcx> CommonTypes<'tcx> {
 930     fn new(interners: &CtxtInterners<'tcx>) -> CommonTypes<'tcx> {
 931         let mk = |sty| CtxtInterners::intern_ty(interners, interners, sty);
 932
 933         CommonTypes {
 934             unit: mk(Tuple(List::empty())),
 935             bool: mk(Bool),
 936             char: mk(Char),
 937             never: mk(Never),
 938             err: mk(Error),
 939             isize: mk(Int(ast::IntTy::Isize)),
 940             i8: mk(Int(ast::IntTy::I8)),
 941             i16: mk(Int(ast::IntTy::I16)),
 942             i32: mk(Int(ast::IntTy::I32)),
 943             i64: mk(Int(ast::IntTy::I64)),
 944             i128: mk(Int(ast::IntTy::I128)),
 945             usize: mk(Uint(ast::UintTy::Usize)),
 946             u8: mk(Uint(ast::UintTy::U8)),
 947             u16: mk(Uint(ast::UintTy::U16)),
 948             u32: mk(Uint(ast::UintTy::U32)),
 949             u64: mk(Uint(ast::UintTy::U64)),
 950             u128: mk(Uint(ast::UintTy::U128)),
 951             f32: mk(Float(ast::FloatTy::F32)),
 952             f64: mk(Float(ast::FloatTy::F64)),
 953
 954             trait_object_dummy_self: mk(Infer(ty::FreshTy(0))),
 955         }
 956     }
 957 }
 958
 959 impl<'tcx> CommonLifetimes<'tcx> {
 960     fn new(interners: &CtxtInterners<'tcx>) -> CommonLifetimes<'tcx> {
 961         let mk = |r| {
 962             interners.region.borrow_mut().intern(r, |r| {
 963                 Interned(interners.arena.alloc(r))
 964             }).0
 965         };
 966
 967         CommonLifetimes {
 968             re_empty: mk(RegionKind::ReEmpty),
 969             re_static: mk(RegionKind::ReStatic),
 970             re_erased: mk(RegionKind::ReErased),
 971         }
 972     }
 973 }
 974
 975 impl<'tcx> CommonConsts<'tcx> {
 976     fn new(interners: &CtxtInterners<'tcx>, types: &CommonTypes<'tcx>) -> CommonConsts<'tcx> {
 977         let mk_const = |c| {
 978             interners.const_.borrow_mut().intern(c, |c| {
 979                 Interned(interners.arena.alloc(c))
 980             }).0
 981         };
 982
 983         CommonConsts {
 984             err: mk_const(ty::Const {
 985                 val: ConstValue::Scalar(Scalar::zst()),
 986                 ty: types.err,
 987             }),
 988         }
 989     }
 990 }
 991
 992 // This struct contains information regarding the `ReFree(FreeRegion)` corresponding to a lifetime
 993 // conflict.
 994 #[derive(Debug)]
 995 pub struct FreeRegionInfo {
 996     // def id corresponding to FreeRegion
 997     pub def_id: DefId,
 998     // the bound region corresponding to FreeRegion
 999     pub boundregion: ty::BoundRegion,
1000     // checks if bound region is in Impl Item
1001     pub is_impl_item: bool,
1002 }
1003
1004 /// The central data structure of the compiler. It stores references
1005 /// to the various **arenas** and also houses the results of the
1006 /// various **compiler queries** that have been performed. See the
1007 /// [rustc guide] for more details.
1008 ///
1009 /// [rustc guide]: https://rust-lang.github.io/rustc-guide/ty.html
1010 #[derive(Copy, Clone)]
1011 pub struct TyCtxt<'a, 'gcx: 'tcx, 'tcx: 'a> {
1012     gcx: &'gcx GlobalCtxt<'gcx>,
1013     interners: &'tcx CtxtInterners<'tcx>,
1014     dummy: PhantomData<&'a ()>,
1015 }
1016
1017 impl<'gcx> Deref for TyCtxt<'_, 'gcx, '_> {
1018     type Target = &'gcx GlobalCtxt<'gcx>;
1019     #[inline(always)]
1020     fn deref(&self) -> &Self::Target {
1021         &self.gcx
1022     }
1023 }
1024
1025 pub struct GlobalCtxt<'tcx> {
1026     pub arena: WorkerLocal<Arena<'tcx>>,
1027
1028     global_interners: CtxtInterners<'tcx>,
1029
1030     cstore: &'tcx CrateStoreDyn,
1031
1032     pub sess: &'tcx Session,
1033
1034     pub dep_graph: DepGraph,
1035
1036     /// Common objects.
1037     pub common: Common<'tcx>,
1038
1039     /// Common types, pre-interned for your convenience.
1040     pub types: CommonTypes<'tcx>,
1041
1042     /// Common lifetimes, pre-interned for your convenience.
1043     pub lifetimes: CommonLifetimes<'tcx>,
1044
1045     /// Common consts, pre-interned for your convenience.
1046     pub consts: CommonConsts<'tcx>,
1047
1048     /// Map indicating what traits are in scope for places where this
1049     /// is relevant; generated by resolve.
1050     trait_map: FxHashMap<DefIndex,
1051                          FxHashMap<ItemLocalId,
1052                                    StableVec<TraitCandidate>>>,
1053
1054     /// Export map produced by name resolution.
1055     export_map: FxHashMap<DefId, Vec<Export<hir::HirId>>>,
1056
1057     hir_map: hir_map::Map<'tcx>,
1058
1059     /// A map from DefPathHash -> DefId. Includes DefIds from the local crate
1060     /// as well as all upstream crates. Only populated in incremental mode.
1061     pub def_path_hash_to_def_id: Option<FxHashMap<DefPathHash, DefId>>,
1062
1063     pub queries: query::Queries<'tcx>,
1064
1065     // Records the captured variables referenced by every closure
1066     // expression. Do not track deps for this, just recompute it from
1067     // scratch every time.
1068     upvars: FxHashMap<DefId, Vec<hir::Upvar>>,
1069
1070     maybe_unused_trait_imports: FxHashSet<DefId>,
1071     maybe_unused_extern_crates: Vec<(DefId, Span)>,
1072     /// A map of glob use to a set of names it actually imports. Currently only
1073     /// used in save-analysis.
1074     glob_map: FxHashMap<DefId, FxHashSet<ast::Name>>,
1075     /// Extern prelude entries. The value is `true` if the entry was introduced
1076     /// via `extern crate` item and not `--extern` option or compiler built-in.
1077     pub extern_prelude: FxHashMap<ast::Name, bool>,
1078
1079     // Internal cache for metadata decoding. No need to track deps on this.
1080     pub rcache: Lock<FxHashMap<ty::CReaderCacheKey, Ty<'tcx>>>,
1081
1082     /// Caches the results of trait selection. This cache is used
1083     /// for things that do not have to do with the parameters in scope.
1084     pub selection_cache: traits::SelectionCache<'tcx>,
1085
1086     /// Caches the results of trait evaluation. This cache is used
1087     /// for things that do not have to do with the parameters in scope.
1088     /// Merge this with `selection_cache`?
1089     pub evaluation_cache: traits::EvaluationCache<'tcx>,
1090
1091     /// The definite name of the current crate after taking into account
1092     /// attributes, commandline parameters, etc.
1093     pub crate_name: Symbol,
1094
1095     /// Data layout specification for the current target.
1096     pub data_layout: TargetDataLayout,
1097
1098     stability_interner: Lock<FxHashMap<&'tcx attr::Stability, ()>>,
1099
1100     /// Stores the value of constants (and deduplicates the actual memory)
1101     allocation_interner: Lock<FxHashMap<&'tcx Allocation, ()>>,
1102
1103     pub alloc_map: Lock<interpret::AllocMap<'tcx>>,
1104
1105     layout_interner: Lock<FxHashMap<&'tcx LayoutDetails, ()>>,
1106
1107     /// A general purpose channel to throw data out the back towards LLVM worker
1108     /// threads.
1109     ///
1110     /// This is intended to only get used during the codegen phase of the compiler
1111     /// when satisfying the query for a particular codegen unit. Internally in
1112     /// the query it'll send data along this channel to get processed later.
1113     pub tx_to_llvm_workers: Lock<mpsc::Sender<Box<dyn Any + Send>>>,
1114
1115     output_filenames: Arc<OutputFilenames>,
1116 }
1117
1118 impl<'a, 'gcx, 'tcx> TyCtxt<'a, 'gcx, 'tcx> {
1119     /// Gets the global `TyCtxt`.
1120     #[inline]
1121     pub fn global_tcx(self) -> TyCtxt<'gcx, 'gcx, 'gcx> {
1122         TyCtxt {
1123             gcx: self.gcx,
1124             interners: &self.gcx.global_interners,
1125             dummy: PhantomData,
1126         }
1127     }
1128
1129     #[inline(always)]
1130     pub fn hir(self) -> &'a hir_map::Map<'gcx> {
1131         &self.hir_map
1132     }
1133
1134     pub fn alloc_steal_mir(self, mir: Body<'gcx>) -> &'gcx Steal<Body<'gcx>> {
1135         self.arena.alloc(Steal::new(mir))
1136     }
1137
1138     pub fn alloc_adt_def(self,
1139                          did: DefId,
1140                          kind: AdtKind,
1141                          variants: IndexVec<VariantIdx, ty::VariantDef>,
1142                          repr: ReprOptions)
1143                          -> &'gcx ty::AdtDef {
1144         let def = ty::AdtDef::new(self, did, kind, variants, repr);
1145         self.arena.alloc(def)
1146     }
1147
1148     pub fn intern_const_alloc(self, alloc: Allocation) -> &'gcx Allocation {
1149         self.allocation_interner.borrow_mut().intern(alloc, |alloc| {
1150             self.arena.alloc(alloc)
1151         })
1152     }
1153
1154     /// Allocates a byte or string literal for `mir::interpret`, read-only
1155     pub fn allocate_bytes(self, bytes: &[u8]) -> interpret::AllocId {
1156         // create an allocation that just contains these bytes
1157         let alloc = interpret::Allocation::from_byte_aligned_bytes(bytes, ());
1158         let alloc = self.intern_const_alloc(alloc);
1159         self.alloc_map.lock().allocate(alloc)
1160     }
1161
1162     pub fn intern_stability(self, stab: attr::Stability) -> &'gcx attr::Stability {
1163         self.stability_interner.borrow_mut().intern(stab, |stab| {
1164             self.arena.alloc(stab)
1165         })
1166     }
1167
1168     pub fn intern_layout(self, layout: LayoutDetails) -> &'gcx LayoutDetails {
1169         self.layout_interner.borrow_mut().intern(layout, |layout| {
1170             self.arena.alloc(layout)
1171         })
1172     }
1173
1174     /// Returns a range of the start/end indices specified with the
1175     /// `rustc_layout_scalar_valid_range` attribute.
1176     pub fn layout_scalar_valid_range(self, def_id: DefId) -> (Bound<u128>, Bound<u128>) {
1177         let attrs = self.get_attrs(def_id);
1178         let get = |name| {
1179             let attr = match attrs.iter().find(|a| a.check_name(name)) {
1180                 Some(attr) => attr,
1181                 None => return Bound::Unbounded,
1182             };
1183             for meta in attr.meta_item_list().expect("rustc_layout_scalar_valid_range takes args") {
1184                 match meta.literal().expect("attribute takes lit").node {
1185                     ast::LitKind::Int(a, _) => return Bound::Included(a),
1186                     _ => span_bug!(attr.span, "rustc_layout_scalar_valid_range expects int arg"),
1187                 }
1188             }
1189             span_bug!(attr.span, "no arguments to `rustc_layout_scalar_valid_range` attribute");
1190         };
1191         (get(sym::rustc_layout_scalar_valid_range_start),
1192          get(sym::rustc_layout_scalar_valid_range_end))
1193     }
1194
1195     pub fn lift<T: ?Sized + Lift<'tcx>>(self, value: &T) -> Option<T::Lifted> {
1196         value.lift_to_tcx(self)
1197     }
1198
1199     /// Like lift, but only tries in the global tcx.
1200     pub fn lift_to_global<T: ?Sized + Lift<'gcx>>(self, value: &T) -> Option<T::Lifted> {
1201         value.lift_to_tcx(self.global_tcx())
1202     }
1203
1204     /// Returns `true` if self is the same as self.global_tcx().
1205     fn is_global(self) -> bool {
1206         ptr_eq(self.interners, &self.global_interners)
1207     }
1208
1209     /// Creates a type context and call the closure with a `TyCtxt` reference
1210     /// to the context. The closure enforces that the type context and any interned
1211     /// value (types, substs, etc.) can only be used while `ty::tls` has a valid
1212     /// reference to the context, to allow formatting values that need it.
1213     pub fn create_global_ctxt(
1214         s: &'tcx Session,
1215         cstore: &'tcx CrateStoreDyn,
1216         local_providers: ty::query::Providers<'tcx>,
1217         extern_providers: ty::query::Providers<'tcx>,
1218         arenas: &'tcx AllArenas,
1219         resolutions: ty::Resolutions,
1220         hir: hir_map::Map<'tcx>,
1221         on_disk_query_result_cache: query::OnDiskCache<'tcx>,
1222         crate_name: &str,
1223         tx: mpsc::Sender<Box<dyn Any + Send>>,
1224         output_filenames: &OutputFilenames,
1225     ) -> GlobalCtxt<'tcx> {
1226         let data_layout = TargetDataLayout::parse(&s.target.target).unwrap_or_else(|err| {
1227             s.fatal(&err);
1228         });
1229         let interners = CtxtInterners::new(&arenas.interner);
1230         let common = Common {
1231             empty_predicates: ty::GenericPredicates {
1232                 parent: None,
1233                 predicates: vec![],
1234             },
1235         };
1236         let common_types = CommonTypes::new(&interners);
1237         let common_lifetimes = CommonLifetimes::new(&interners);
1238         let common_consts = CommonConsts::new(&interners, &common_types);
1239         let dep_graph = hir.dep_graph.clone();
1240         let max_cnum = cstore.crates_untracked().iter().map(|c| c.as_usize()).max().unwrap_or(0);
1241         let mut providers = IndexVec::from_elem_n(extern_providers, max_cnum + 1);
1242         providers[LOCAL_CRATE] = local_providers;
1243
1244         let def_path_hash_to_def_id = if s.opts.build_dep_graph() {
1245             let upstream_def_path_tables: Vec<(CrateNum, Lrc<_>)> = cstore
1246                 .crates_untracked()
1247                 .iter()
1248                 .map(|&cnum| (cnum, cstore.def_path_table(cnum)))
1249                 .collect();
1250
1251             let def_path_tables = || {
1252                 upstream_def_path_tables
1253                     .iter()
1254                     .map(|&(cnum, ref rc)| (cnum, &**rc))
1255                     .chain(iter::once((LOCAL_CRATE, hir.definitions().def_path_table())))
1256             };
1257
1258             // Precompute the capacity of the hashmap so we don't have to
1259             // re-allocate when populating it.
1260             let capacity = def_path_tables().map(|(_, t)| t.size()).sum::<usize>();
1261
1262             let mut map: FxHashMap<_, _> = FxHashMap::with_capacity_and_hasher(
1263                 capacity,
1264                 ::std::default::Default::default()
1265             );
1266
1267             for (cnum, def_path_table) in def_path_tables() {
1268                 def_path_table.add_def_path_hashes_to(cnum, &mut map);
1269             }
1270
1271             Some(map)
1272         } else {
1273             None
1274         };
1275
1276         let mut trait_map: FxHashMap<_, FxHashMap<_, _>> = FxHashMap::default();
1277         for (k, v) in resolutions.trait_map {
1278             let hir_id = hir.node_to_hir_id(k);
1279             let map = trait_map.entry(hir_id.owner).or_default();
1280             map.insert(hir_id.local_id, StableVec::new(v));
1281         }
1282
1283         GlobalCtxt {
1284             sess: s,
1285             cstore,
1286             arena: WorkerLocal::new(|_| Arena::default()),
1287             global_interners: interners,
1288             dep_graph,
1289             common,
1290             types: common_types,
1291             lifetimes: common_lifetimes,
1292             consts: common_consts,
1293             trait_map,
1294             export_map: resolutions.export_map.into_iter().map(|(k, v)| {
1295                 let exports: Vec<_> = v.into_iter().map(|e| {
1296                     e.map_id(|id| hir.node_to_hir_id(id))
1297                 }).collect();
1298                 (k, exports)
1299             }).collect(),
1300             upvars: resolutions.upvars.into_iter().map(|(k, v)| {
1301                 let vars: Vec<_> = v.into_iter().map(|e| {
1302                     e.map_id(|id| hir.node_to_hir_id(id))
1303                 }).collect();
1304                 (hir.local_def_id(k), vars)
1305             }).collect(),
1306             maybe_unused_trait_imports:
1307                 resolutions.maybe_unused_trait_imports
1308                     .into_iter()
1309                     .map(|id| hir.local_def_id(id))
1310                     .collect(),
1311             maybe_unused_extern_crates:
1312                 resolutions.maybe_unused_extern_crates
1313                     .into_iter()
1314                     .map(|(id, sp)| (hir.local_def_id(id), sp))
1315                     .collect(),
1316             glob_map: resolutions.glob_map.into_iter().map(|(id, names)| {
1317                 (hir.local_def_id(id), names)
1318             }).collect(),
1319             extern_prelude: resolutions.extern_prelude,
1320             hir_map: hir,
1321             def_path_hash_to_def_id,
1322             queries: query::Queries::new(
1323                 providers,
1324                 extern_providers,
1325                 on_disk_query_result_cache,
1326             ),
1327             rcache: Default::default(),
1328             selection_cache: Default::default(),
1329             evaluation_cache: Default::default(),
1330             crate_name: Symbol::intern(crate_name),
1331             data_layout,
1332             layout_interner: Default::default(),
1333             stability_interner: Default::default(),
1334             allocation_interner: Default::default(),
1335             alloc_map: Lock::new(interpret::AllocMap::new()),
1336             tx_to_llvm_workers: Lock::new(tx),
1337             output_filenames: Arc::new(output_filenames.clone()),
1338         }
1339     }
1340
1341     pub fn consider_optimizing<T: Fn() -> String>(&self, msg: T) -> bool {
1342         let cname = self.crate_name(LOCAL_CRATE).as_str();
1343         self.sess.consider_optimizing(&cname, msg)
1344     }
1345
1346     pub fn lib_features(self) -> &'gcx middle::lib_features::LibFeatures {
1347         self.get_lib_features(LOCAL_CRATE)
1348     }
1349
1350     pub fn lang_items(self) -> &'gcx middle::lang_items::LanguageItems {
1351         self.get_lang_items(LOCAL_CRATE)
1352     }
1353
1354     /// Due to missing llvm support for lowering 128 bit math to software emulation
1355     /// (on some targets), the lowering can be done in MIR.
1356     ///
1357     /// This function only exists until said support is implemented.
1358     pub fn is_binop_lang_item(&self, def_id: DefId) -> Option<(mir::BinOp, bool)> {
1359         let items = self.lang_items();
1360         let def_id = Some(def_id);
1361         if items.i128_add_fn() == def_id { Some((mir::BinOp::Add, false)) }
1362         else if items.u128_add_fn() == def_id { Some((mir::BinOp::Add, false)) }
1363         else if items.i128_sub_fn() == def_id { Some((mir::BinOp::Sub, false)) }
1364         else if items.u128_sub_fn() == def_id { Some((mir::BinOp::Sub, false)) }
1365         else if items.i128_mul_fn() == def_id { Some((mir::BinOp::Mul, false)) }
1366         else if items.u128_mul_fn() == def_id { Some((mir::BinOp::Mul, false)) }
1367         else if items.i128_div_fn() == def_id { Some((mir::BinOp::Div, false)) }
1368         else if items.u128_div_fn() == def_id { Some((mir::BinOp::Div, false)) }
1369         else if items.i128_rem_fn() == def_id { Some((mir::BinOp::Rem, false)) }
1370         else if items.u128_rem_fn() == def_id { Some((mir::BinOp::Rem, false)) }
1371         else if items.i128_shl_fn() == def_id { Some((mir::BinOp::Shl, false)) }
1372         else if items.u128_shl_fn() == def_id { Some((mir::BinOp::Shl, false)) }
1373         else if items.i128_shr_fn() == def_id { Some((mir::BinOp::Shr, false)) }
1374         else if items.u128_shr_fn() == def_id { Some((mir::BinOp::Shr, false)) }
1375         else if items.i128_addo_fn() == def_id { Some((mir::BinOp::Add, true)) }
1376         else if items.u128_addo_fn() == def_id { Some((mir::BinOp::Add, true)) }
1377         else if items.i128_subo_fn() == def_id { Some((mir::BinOp::Sub, true)) }
1378         else if items.u128_subo_fn() == def_id { Some((mir::BinOp::Sub, true)) }
1379         else if items.i128_mulo_fn() == def_id { Some((mir::BinOp::Mul, true)) }
1380         else if items.u128_mulo_fn() == def_id { Some((mir::BinOp::Mul, true)) }
1381         else if items.i128_shlo_fn() == def_id { Some((mir::BinOp::Shl, true)) }
1382         else if items.u128_shlo_fn() == def_id { Some((mir::BinOp::Shl, true)) }
1383         else if items.i128_shro_fn() == def_id { Some((mir::BinOp::Shr, true)) }
1384         else if items.u128_shro_fn() == def_id { Some((mir::BinOp::Shr, true)) }
1385         else { None }
1386     }
1387
1388     pub fn stability(self) -> &'gcx stability::Index<'gcx> {
1389         self.stability_index(LOCAL_CRATE)
1390     }
1391
1392     pub fn crates(self) -> &'gcx [CrateNum] {
1393         self.all_crate_nums(LOCAL_CRATE)
1394     }
1395
1396     pub fn features(self) -> &'gcx feature_gate::Features {
1397         self.features_query(LOCAL_CRATE)
1398     }
1399
1400     pub fn def_key(self, id: DefId) -> hir_map::DefKey {
1401         if id.is_local() {
1402             self.hir().def_key(id)
1403         } else {
1404             self.cstore.def_key(id)
1405         }
1406     }
1407
1408     /// Converts a `DefId` into its fully expanded `DefPath` (every
1409     /// `DefId` is really just an interned def-path).
1410     ///
1411     /// Note that if `id` is not local to this crate, the result will
1412     ///  be a non-local `DefPath`.
1413     pub fn def_path(self, id: DefId) -> hir_map::DefPath {
1414         if id.is_local() {
1415             self.hir().def_path(id)
1416         } else {
1417             self.cstore.def_path(id)
1418         }
1419     }
1420
1421     /// Returns whether or not the crate with CrateNum 'cnum'
1422     /// is marked as a private dependency
1423     pub fn is_private_dep(self, cnum: CrateNum) -> bool {
1424         if cnum == LOCAL_CRATE {
1425             false
1426         } else {
1427             self.cstore.crate_is_private_dep_untracked(cnum)
1428         }
1429     }
1430
1431     #[inline]
1432     pub fn def_path_hash(self, def_id: DefId) -> hir_map::DefPathHash {
1433         if def_id.is_local() {
1434             self.hir().definitions().def_path_hash(def_id.index)
1435         } else {
1436             self.cstore.def_path_hash(def_id)
1437         }
1438     }
1439
1440     pub fn def_path_debug_str(self, def_id: DefId) -> String {
1441         // We are explicitly not going through queries here in order to get
1442         // crate name and disambiguator since this code is called from debug!()
1443         // statements within the query system and we'd run into endless
1444         // recursion otherwise.
1445         let (crate_name, crate_disambiguator) = if def_id.is_local() {
1446             (self.crate_name.clone(),
1447              self.sess.local_crate_disambiguator())
1448         } else {
1449             (self.cstore.crate_name_untracked(def_id.krate),
1450              self.cstore.crate_disambiguator_untracked(def_id.krate))
1451         };
1452
1453         format!("{}[{}]{}",
1454                 crate_name,
1455                 // Don't print the whole crate disambiguator. That's just
1456                 // annoying in debug output.
1457                 &(crate_disambiguator.to_fingerprint().to_hex())[..4],
1458                 self.def_path(def_id).to_string_no_crate())
1459     }
1460
1461     pub fn metadata_encoding_version(self) -> Vec<u8> {
1462         self.cstore.metadata_encoding_version().to_vec()
1463     }
1464
1465     // Note that this is *untracked* and should only be used within the query
1466     // system if the result is otherwise tracked through queries
1467     pub fn crate_data_as_rc_any(self, cnum: CrateNum) -> Lrc<dyn Any> {
1468         self.cstore.crate_data_as_rc_any(cnum)
1469     }
1470
1471     #[inline(always)]
1472     pub fn create_stable_hashing_context(self) -> StableHashingContext<'a> {
1473         let krate = self.gcx.hir_map.forest.untracked_krate();
1474
1475         StableHashingContext::new(self.sess,
1476                                   krate,
1477                                   self.hir().definitions(),
1478                                   self.cstore)
1479     }
1480
1481     // This method makes sure that we have a DepNode and a Fingerprint for
1482     // every upstream crate. It needs to be called once right after the tcx is
1483     // created.
1484     // With full-fledged red/green, the method will probably become unnecessary
1485     // as this will be done on-demand.
1486     pub fn allocate_metadata_dep_nodes(self) {
1487         // We cannot use the query versions of crates() and crate_hash(), since
1488         // those would need the DepNodes that we are allocating here.
1489         for cnum in self.cstore.crates_untracked() {
1490             let dep_node = DepNode::new(self, DepConstructor::CrateMetadata(cnum));
1491             let crate_hash = self.cstore.crate_hash_untracked(cnum);
1492             self.dep_graph.with_task(dep_node,
1493                                      self,
1494                                      crate_hash,
1495                                      |_, x| x, // No transformation needed
1496                                      dep_graph::hash_result,
1497             );
1498         }
1499     }
1500
1501     pub fn serialize_query_result_cache<E>(self,
1502                                            encoder: &mut E)
1503                                            -> Result<(), E::Error>
1504         where E: ty::codec::TyEncoder
1505     {
1506         self.queries.on_disk_cache.serialize(self.global_tcx(), encoder)
1507     }
1508
1509     /// If true, we should use the AST-based borrowck (we may *also* use
1510     /// the MIR-based borrowck).
1511     pub fn use_ast_borrowck(self) -> bool {
1512         self.borrowck_mode().use_ast()
1513     }
1514
1515     /// If true, we should use the MIR-based borrow check, but also
1516     /// fall back on the AST borrow check if the MIR-based one errors.
1517     pub fn migrate_borrowck(self) -> bool {
1518         self.borrowck_mode().migrate()
1519     }
1520
1521     /// If true, make MIR codegen for `match` emit a temp that holds a
1522     /// borrow of the input to the match expression.
1523     pub fn generate_borrow_of_any_match_input(&self) -> bool {
1524         self.emit_read_for_match()
1525     }
1526
1527     /// If true, make MIR codegen for `match` emit FakeRead
1528     /// statements (which simulate the maximal effect of executing the
1529     /// patterns in a match arm).
1530     pub fn emit_read_for_match(&self) -> bool {
1531         !self.sess.opts.debugging_opts.nll_dont_emit_read_for_match
1532     }
1533
1534     /// What mode(s) of borrowck should we run? AST? MIR? both?
1535     /// (Also considers the `#![feature(nll)]` setting.)
1536     pub fn borrowck_mode(&self) -> BorrowckMode {
1537         // Here are the main constraints we need to deal with:
1538         //
1539         // 1. An opts.borrowck_mode of `BorrowckMode::Migrate` is
1540         //    synonymous with no `-Z borrowck=...` flag at all.
1541         //
1542         // 2. We want to allow developers on the Nightly channel
1543         //    to opt back into the "hard error" mode for NLL,
1544         //    (which they can do via specifying `#![feature(nll)]`
1545         //    explicitly in their crate).
1546         //
1547         // So, this precedence list is how pnkfelix chose to work with
1548         // the above constraints:
1549         //
1550         // * `#![feature(nll)]` *always* means use NLL with hard
1551         //   errors. (To simplify the code here, it now even overrides
1552         //   a user's attempt to specify `-Z borrowck=compare`, which
1553         //   we arguably do not need anymore and should remove.)
1554         //
1555         // * Otherwise, if no `-Z borrowck=...` then use migrate mode
1556         //
1557         // * Otherwise, use the behavior requested via `-Z borrowck=...`
1558
1559         if self.features().nll { return BorrowckMode::Mir; }
1560
1561         self.sess.opts.borrowck_mode
1562     }
1563
1564     #[inline]
1565     pub fn local_crate_exports_generics(self) -> bool {
1566         debug_assert!(self.sess.opts.share_generics());
1567
1568         self.sess.crate_types.borrow().iter().any(|crate_type| {
1569             match crate_type {
1570                 CrateType::Executable |
1571                 CrateType::Staticlib  |
1572                 CrateType::ProcMacro  |
1573                 CrateType::Cdylib     => false,
1574                 CrateType::Rlib       |
1575                 CrateType::Dylib      => true,
1576             }
1577         })
1578     }
1579
1580     // This method returns the DefId and the BoundRegion corresponding to the given region.
1581     pub fn is_suitable_region(&self, region: Region<'tcx>) -> Option<FreeRegionInfo> {
1582         let (suitable_region_binding_scope, bound_region) = match *region {
1583             ty::ReFree(ref free_region) => (free_region.scope, free_region.bound_region),
1584             ty::ReEarlyBound(ref ebr) => (
1585                 self.parent(ebr.def_id).unwrap(),
1586                 ty::BoundRegion::BrNamed(ebr.def_id, ebr.name),
1587             ),
1588             _ => return None, // not a free region
1589         };
1590
1591         let hir_id = self.hir()
1592             .as_local_hir_id(suitable_region_binding_scope)
1593             .unwrap();
1594         let is_impl_item = match self.hir().find_by_hir_id(hir_id) {
1595             Some(Node::Item(..)) | Some(Node::TraitItem(..)) => false,
1596             Some(Node::ImplItem(..)) => {
1597                 self.is_bound_region_in_impl_item(suitable_region_binding_scope)
1598             }
1599             _ => return None,
1600         };
1601
1602         return Some(FreeRegionInfo {
1603             def_id: suitable_region_binding_scope,
1604             boundregion: bound_region,
1605             is_impl_item: is_impl_item,
1606         });
1607     }
1608
1609     pub fn return_type_impl_trait(
1610         &self,
1611         scope_def_id: DefId,
1612     ) -> Option<Ty<'tcx>> {
1613         // HACK: `type_of_def_id()` will fail on these (#55796), so return None
1614         let hir_id = self.hir().as_local_hir_id(scope_def_id).unwrap();
1615         match self.hir().get_by_hir_id(hir_id) {
1616             Node::Item(item) => {
1617                 match item.node {
1618                     ItemKind::Fn(..) => { /* type_of_def_id() will work */ }
1619                     _ => {
1620                         return None;
1621                     }
1622                 }
1623             }
1624             _ => { /* type_of_def_id() will work or panic */ }
1625         }
1626
1627         let ret_ty = self.type_of(scope_def_id);
1628         match ret_ty.sty {
1629             ty::FnDef(_, _) => {
1630                 let sig = ret_ty.fn_sig(*self);
1631                 let output = self.erase_late_bound_regions(&sig.output());
1632                 if output.is_impl_trait() {
1633                     Some(output)
1634                 } else {
1635                     None
1636                 }
1637             }
1638             _ => None
1639         }
1640     }
1641
1642     // Here we check if the bound region is in Impl Item.
1643     pub fn is_bound_region_in_impl_item(
1644         &self,
1645         suitable_region_binding_scope: DefId,
1646     ) -> bool {
1647         let container_id = self.associated_item(suitable_region_binding_scope)
1648             .container
1649             .id();
1650         if self.impl_trait_ref(container_id).is_some() {
1651             // For now, we do not try to target impls of traits. This is
1652             // because this message is going to suggest that the user
1653             // change the fn signature, but they may not be free to do so,
1654             // since the signature must match the trait.
1655             //
1656             // FIXME(#42706) -- in some cases, we could do better here.
1657             return true;
1658         }
1659         false
1660     }
1661
1662     /// Determine whether identifiers in the assembly have strict naming rules.
1663     /// Currently, only NVPTX* targets need it.
1664     pub fn has_strict_asm_symbol_naming(&self) -> bool {
1665         self.gcx.sess.target.target.arch.contains("nvptx")
1666     }
1667 }
1668
1669 impl<'a, 'tcx> TyCtxt<'a, 'tcx, 'tcx> {
1670     pub fn encode_metadata(self)
1671         -> EncodedMetadata
1672     {
1673         self.cstore.encode_metadata(self)
1674     }
1675 }
1676
1677 impl<'gcx> GlobalCtxt<'gcx> {
1678     /// Call the closure with a local `TyCtxt` using the given arena.
1679     /// `interners` is a slot passed so we can create a CtxtInterners
1680     /// with the same lifetime as `arena`.
1681     pub fn enter_local<'tcx, F, R>(
1682         &'gcx self,
1683         arena: &'tcx SyncDroplessArena,
1684         interners: &'tcx mut Option<CtxtInterners<'tcx>>,
1685         f: F
1686     ) -> R
1687     where
1688         F: FnOnce(TyCtxt<'tcx, 'gcx, 'tcx>) -> R,
1689         'gcx: 'tcx,
1690     {
1691         *interners = Some(CtxtInterners::new(&arena));
1692         let tcx = TyCtxt {
1693             gcx: self,
1694             interners: interners.as_ref().unwrap(),
1695             dummy: PhantomData,
1696         };
1697         ty::tls::with_related_context(tcx.global_tcx(), |icx| {
1698             let new_icx = ty::tls::ImplicitCtxt {
1699                 tcx,
1700                 query: icx.query.clone(),
1701                 diagnostics: icx.diagnostics,
1702                 layout_depth: icx.layout_depth,
1703                 task_deps: icx.task_deps,
1704             };
1705             ty::tls::enter_context(&new_icx, |_| {
1706                 f(tcx)
1707             })
1708         })
1709     }
1710 }
1711
1712 /// A trait implemented for all X<'a> types which can be safely and
1713 /// efficiently converted to X<'tcx> as long as they are part of the
1714 /// provided TyCtxt<'tcx>.
1715 /// This can be done, for example, for Ty<'tcx> or SubstsRef<'tcx>
1716 /// by looking them up in their respective interners.
1717 ///
1718 /// However, this is still not the best implementation as it does
1719 /// need to compare the components, even for interned values.
1720 /// It would be more efficient if TypedArena provided a way to
1721 /// determine whether the address is in the allocated range.
1722 ///
1723 /// None is returned if the value or one of the components is not part
1724 /// of the provided context.
1725 /// For Ty, None can be returned if either the type interner doesn't
1726 /// contain the TyKind key or if the address of the interned
1727 /// pointer differs. The latter case is possible if a primitive type,
1728 /// e.g., `()` or `u8`, was interned in a different context.
1729 pub trait Lift<'tcx>: fmt::Debug {
1730     type Lifted: fmt::Debug + 'tcx;
1731     fn lift_to_tcx<'a, 'gcx>(&self, tcx: TyCtxt<'a, 'gcx, 'tcx>) -> Option<Self::Lifted>;
1732 }
1733
1734
1735 macro_rules! nop_lift {
1736     ($ty:ty => $lifted:ty) => {
1737         impl<'a, 'tcx> Lift<'tcx> for $ty {
1738             type Lifted = $lifted;
1739             fn lift_to_tcx<'b, 'gcx>(&self, tcx: TyCtxt<'b, 'gcx, 'tcx>) -> Option<Self::Lifted> {
1740                 if tcx.interners.arena.in_arena(*self as *const _) {
1741                     return Some(unsafe { mem::transmute(*self) });
1742                 }
1743                 // Also try in the global tcx if we're not that.
1744                 if !tcx.is_global() {
1745                     self.lift_to_tcx(tcx.global_tcx())
1746                 } else {
1747                     None
1748                 }
1749             }
1750         }
1751     };
1752 }
1753
1754 macro_rules! nop_list_lift {
1755     ($ty:ty => $lifted:ty) => {
1756         impl<'a, 'tcx> Lift<'tcx> for &'a List<$ty> {
1757             type Lifted = &'tcx List<$lifted>;
1758             fn lift_to_tcx<'b, 'gcx>(&self, tcx: TyCtxt<'b, 'gcx, 'tcx>) -> Option<Self::Lifted> {
1759                 if self.is_empty() {
1760                     return Some(List::empty());
1761                 }
1762                 if tcx.interners.arena.in_arena(*self as *const _) {
1763                     return Some(unsafe { mem::transmute(*self) });
1764                 }
1765                 // Also try in the global tcx if we're not that.
1766                 if !tcx.is_global() {
1767                     self.lift_to_tcx(tcx.global_tcx())
1768                 } else {
1769                     None
1770                 }
1771             }
1772         }
1773     };
1774 }
1775
1776 nop_lift!{Ty<'a> => Ty<'tcx>}
1777 nop_lift!{Region<'a> => Region<'tcx>}
1778 nop_lift!{Goal<'a> => Goal<'tcx>}
1779 nop_lift!{&'a Const<'a> => &'tcx Const<'tcx>}
1780
1781 nop_list_lift!{Goal<'a> => Goal<'tcx>}
1782 nop_list_lift!{Clause<'a> => Clause<'tcx>}
1783 nop_list_lift!{Ty<'a> => Ty<'tcx>}
1784 nop_list_lift!{ExistentialPredicate<'a> => ExistentialPredicate<'tcx>}
1785 nop_list_lift!{Predicate<'a> => Predicate<'tcx>}
1786 nop_list_lift!{CanonicalVarInfo => CanonicalVarInfo}
1787 nop_list_lift!{ProjectionKind => ProjectionKind}
1788
1789 // this is the impl for `&'a InternalSubsts<'a>`
1790 nop_list_lift!{Kind<'a> => Kind<'tcx>}
1791
1792 pub mod tls {
1793     use super::{GlobalCtxt, TyCtxt, ptr_eq};
1794
1795     use std::fmt;
1796     use std::mem;
1797     use std::marker::PhantomData;
1798     use syntax_pos;
1799     use crate::ty::query;
1800     use errors::{Diagnostic, TRACK_DIAGNOSTICS};
1801     use rustc_data_structures::OnDrop;
1802     use rustc_data_structures::sync::{self, Lrc, Lock};
1803     use rustc_data_structures::thin_vec::ThinVec;
1804     use crate::dep_graph::TaskDeps;
1805
1806     #[cfg(not(parallel_compiler))]
1807     use std::cell::Cell;
1808
1809     #[cfg(parallel_compiler)]
1810     use rustc_rayon_core as rayon_core;
1811
1812     /// This is the implicit state of rustc. It contains the current
1813     /// TyCtxt and query. It is updated when creating a local interner or
1814     /// executing a new query. Whenever there's a TyCtxt value available
1815     /// you should also have access to an ImplicitCtxt through the functions
1816     /// in this module.
1817     #[derive(Clone)]
1818     pub struct ImplicitCtxt<'a, 'gcx: 'tcx, 'tcx> {
1819         /// The current TyCtxt. Initially created by `enter_global` and updated
1820         /// by `enter_local` with a new local interner
1821         pub tcx: TyCtxt<'tcx, 'gcx, 'tcx>,
1822
1823         /// The current query job, if any. This is updated by JobOwner::start in
1824         /// ty::query::plumbing when executing a query
1825         pub query: Option<Lrc<query::QueryJob<'gcx>>>,
1826
1827         /// Where to store diagnostics for the current query job, if any.
1828         /// This is updated by JobOwner::start in ty::query::plumbing when executing a query
1829         pub diagnostics: Option<&'a Lock<ThinVec<Diagnostic>>>,
1830
1831         /// Used to prevent layout from recursing too deeply.
1832         pub layout_depth: usize,
1833
1834         /// The current dep graph task. This is used to add dependencies to queries
1835         /// when executing them
1836         pub task_deps: Option<&'a Lock<TaskDeps>>,
1837     }
1838
1839     /// Sets Rayon's thread local variable which is preserved for Rayon jobs
1840     /// to `value` during the call to `f`. It is restored to its previous value after.
1841     /// This is used to set the pointer to the new ImplicitCtxt.
1842     #[cfg(parallel_compiler)]
1843     #[inline]
1844     fn set_tlv<F: FnOnce() -> R, R>(value: usize, f: F) -> R {
1845         rayon_core::tlv::with(value, f)
1846     }
1847
1848     /// Gets Rayon's thread local variable which is preserved for Rayon jobs.
1849     /// This is used to get the pointer to the current ImplicitCtxt.
1850     #[cfg(parallel_compiler)]
1851     #[inline]
1852     fn get_tlv() -> usize {
1853         rayon_core::tlv::get()
1854     }
1855
1856     #[cfg(not(parallel_compiler))]
1857     thread_local! {
1858         /// A thread local variable which stores a pointer to the current ImplicitCtxt.
1859         static TLV: Cell<usize> = Cell::new(0);
1860     }
1861
1862     /// Sets TLV to `value` during the call to `f`.
1863     /// It is restored to its previous value after.
1864     /// This is used to set the pointer to the new ImplicitCtxt.
1865     #[cfg(not(parallel_compiler))]
1866     #[inline]
1867     fn set_tlv<F: FnOnce() -> R, R>(value: usize, f: F) -> R {
1868         let old = get_tlv();
1869         let _reset = OnDrop(move || TLV.with(|tlv| tlv.set(old)));
1870         TLV.with(|tlv| tlv.set(value));
1871         f()
1872     }
1873
1874     /// This is used to get the pointer to the current ImplicitCtxt.
1875     #[cfg(not(parallel_compiler))]
1876     fn get_tlv() -> usize {
1877         TLV.with(|tlv| tlv.get())
1878     }
1879
1880     /// This is a callback from libsyntax as it cannot access the implicit state
1881     /// in librustc otherwise
1882     fn span_debug(span: syntax_pos::Span, f: &mut fmt::Formatter<'_>) -> fmt::Result {
1883         with_opt(|tcx| {
1884             if let Some(tcx) = tcx {
1885                 write!(f, "{}", tcx.sess.source_map().span_to_string(span))
1886             } else {
1887                 syntax_pos::default_span_debug(span, f)
1888             }
1889         })
1890     }
1891
1892     /// This is a callback from libsyntax as it cannot access the implicit state
1893     /// in librustc otherwise. It is used to when diagnostic messages are
1894     /// emitted and stores them in the current query, if there is one.
1895     fn track_diagnostic(diagnostic: &Diagnostic) {
1896         with_context_opt(|icx| {
1897             if let Some(icx) = icx {
1898                 if let Some(ref diagnostics) = icx.diagnostics {
1899                     let mut diagnostics = diagnostics.lock();
1900                     diagnostics.extend(Some(diagnostic.clone()));
1901                 }
1902             }
1903         })
1904     }
1905
1906     /// Sets up the callbacks from libsyntax on the current thread
1907     pub fn with_thread_locals<F, R>(f: F) -> R
1908         where F: FnOnce() -> R
1909     {
1910         syntax_pos::SPAN_DEBUG.with(|span_dbg| {
1911             let original_span_debug = span_dbg.get();
1912             span_dbg.set(span_debug);
1913
1914             let _on_drop = OnDrop(move || {
1915                 span_dbg.set(original_span_debug);
1916             });
1917
1918             TRACK_DIAGNOSTICS.with(|current| {
1919                 let original = current.get();
1920                 current.set(track_diagnostic);
1921
1922                 let _on_drop = OnDrop(move || {
1923                     current.set(original);
1924                 });
1925
1926                 f()
1927             })
1928         })
1929     }
1930
1931     /// Sets `context` as the new current ImplicitCtxt for the duration of the function `f`
1932     #[inline]
1933     pub fn enter_context<'a, 'gcx: 'tcx, 'tcx, F, R>(context: &ImplicitCtxt<'a, 'gcx, 'tcx>,
1934                                                      f: F) -> R
1935         where F: FnOnce(&ImplicitCtxt<'a, 'gcx, 'tcx>) -> R
1936     {
1937         set_tlv(context as *const _ as usize, || {
1938             f(&context)
1939         })
1940     }
1941
1942     /// Enters GlobalCtxt by setting up libsyntax callbacks and
1943     /// creating a initial TyCtxt and ImplicitCtxt.
1944     /// This happens once per rustc session and TyCtxts only exists
1945     /// inside the `f` function.
1946     pub fn enter_global<'gcx, F, R>(gcx: &'gcx GlobalCtxt<'gcx>, f: F) -> R
1947         where F: FnOnce(TyCtxt<'gcx, 'gcx, 'gcx>) -> R
1948     {
1949         // Update GCX_PTR to indicate there's a GlobalCtxt available
1950         GCX_PTR.with(|lock| {
1951             *lock.lock() = gcx as *const _ as usize;
1952         });
1953         // Set GCX_PTR back to 0 when we exit
1954         let _on_drop = OnDrop(move || {
1955             GCX_PTR.with(|lock| *lock.lock() = 0);
1956         });
1957
1958         let tcx = TyCtxt {
1959             gcx,
1960             interners: &gcx.global_interners,
1961             dummy: PhantomData,
1962         };
1963         let icx = ImplicitCtxt {
1964             tcx,
1965             query: None,
1966             diagnostics: None,
1967             layout_depth: 0,
1968             task_deps: None,
1969         };
1970         enter_context(&icx, |_| {
1971             f(tcx)
1972         })
1973     }
1974
1975     scoped_thread_local! {
1976         /// Stores a pointer to the GlobalCtxt if one is available.
1977         /// This is used to access the GlobalCtxt in the deadlock handler given to Rayon.
1978         pub static GCX_PTR: Lock<usize>
1979     }
1980
1981     /// Creates a TyCtxt and ImplicitCtxt based on the GCX_PTR thread local.
1982     /// This is used in the deadlock handler.
1983     pub unsafe fn with_global<F, R>(f: F) -> R
1984         where F: for<'a, 'gcx, 'tcx> FnOnce(TyCtxt<'a, 'gcx, 'tcx>) -> R
1985     {
1986         let gcx = GCX_PTR.with(|lock| *lock.lock());
1987         assert!(gcx != 0);
1988         let gcx = &*(gcx as *const GlobalCtxt<'_>);
1989         let tcx = TyCtxt {
1990             gcx,
1991             interners: &gcx.global_interners,
1992             dummy: PhantomData,
1993         };
1994         let icx = ImplicitCtxt {
1995             query: None,
1996             diagnostics: None,
1997             tcx,
1998             layout_depth: 0,
1999             task_deps: None,
2000         };
2001         enter_context(&icx, |_| f(tcx))
2002     }
2003
2004     /// Allows access to the current ImplicitCtxt in a closure if one is available
2005     #[inline]
2006     pub fn with_context_opt<F, R>(f: F) -> R
2007         where F: for<'a, 'gcx, 'tcx> FnOnce(Option<&ImplicitCtxt<'a, 'gcx, 'tcx>>) -> R
2008     {
2009         let context = get_tlv();
2010         if context == 0 {
2011             f(None)
2012         } else {
2013             // We could get a ImplicitCtxt pointer from another thread.
2014             // Ensure that ImplicitCtxt is Sync
2015             sync::assert_sync::<ImplicitCtxt<'_, '_, '_>>();
2016
2017             unsafe { f(Some(&*(context as *const ImplicitCtxt<'_, '_, '_>))) }
2018         }
2019     }
2020
2021     /// Allows access to the current ImplicitCtxt.
2022     /// Panics if there is no ImplicitCtxt available
2023     #[inline]
2024     pub fn with_context<F, R>(f: F) -> R
2025         where F: for<'a, 'gcx, 'tcx> FnOnce(&ImplicitCtxt<'a, 'gcx, 'tcx>) -> R
2026     {
2027         with_context_opt(|opt_context| f(opt_context.expect("no ImplicitCtxt stored in tls")))
2028     }
2029
2030     /// Allows access to the current ImplicitCtxt whose tcx field has the same global
2031     /// interner as the tcx argument passed in. This means the closure is given an ImplicitCtxt
2032     /// with the same 'gcx lifetime as the TyCtxt passed in.
2033     /// This will panic if you pass it a TyCtxt which has a different global interner from
2034     /// the current ImplicitCtxt's tcx field.
2035     #[inline]
2036     pub fn with_related_context<'a, 'gcx, 'tcx1, F, R>(tcx: TyCtxt<'a, 'gcx, 'tcx1>, f: F) -> R
2037         where F: for<'b, 'tcx2> FnOnce(&ImplicitCtxt<'b, 'gcx, 'tcx2>) -> R
2038     {
2039         with_context(|context| {
2040             unsafe {
2041                 assert!(ptr_eq(context.tcx.gcx, tcx.gcx));
2042                 let context: &ImplicitCtxt<'_, '_, '_> = mem::transmute(context);
2043                 f(context)
2044             }
2045         })
2046     }
2047
2048     /// Allows access to the current ImplicitCtxt whose tcx field has the same global
2049     /// interner and local interner as the tcx argument passed in. This means the closure
2050     /// is given an ImplicitCtxt with the same 'tcx and 'gcx lifetimes as the TyCtxt passed in.
2051     /// This will panic if you pass it a TyCtxt which has a different global interner or
2052     /// a different local interner from the current ImplicitCtxt's tcx field.
2053     #[inline]
2054     pub fn with_fully_related_context<'a, 'gcx, 'tcx, F, R>(tcx: TyCtxt<'a, 'gcx, 'tcx>, f: F) -> R
2055         where F: for<'b> FnOnce(&ImplicitCtxt<'b, 'gcx, 'tcx>) -> R
2056     {
2057         with_context(|context| {
2058             unsafe {
2059                 assert!(ptr_eq(context.tcx.gcx, tcx.gcx));
2060                 assert!(ptr_eq(context.tcx.interners, tcx.interners));
2061                 let context: &ImplicitCtxt<'_, '_, '_> = mem::transmute(context);
2062                 f(context)
2063             }
2064         })
2065     }
2066
2067     /// Allows access to the TyCtxt in the current ImplicitCtxt.
2068     /// Panics if there is no ImplicitCtxt available
2069     #[inline]
2070     pub fn with<F, R>(f: F) -> R
2071         where F: for<'a, 'gcx, 'tcx> FnOnce(TyCtxt<'a, 'gcx, 'tcx>) -> R
2072     {
2073         with_context(|context| f(context.tcx))
2074     }
2075
2076     /// Allows access to the TyCtxt in the current ImplicitCtxt.
2077     /// The closure is passed None if there is no ImplicitCtxt available
2078     #[inline]
2079     pub fn with_opt<F, R>(f: F) -> R
2080         where F: for<'a, 'gcx, 'tcx> FnOnce(Option<TyCtxt<'a, 'gcx, 'tcx>>) -> R
2081     {
2082         with_context_opt(|opt_context| f(opt_context.map(|context| context.tcx)))
2083     }
2084 }
2085
2086 macro_rules! sty_debug_print {
2087     ($ctxt: expr, $($variant: ident),*) => {{
2088         // curious inner module to allow variant names to be used as
2089         // variable names.
2090         #[allow(non_snake_case)]
2091         mod inner {
2092             use crate::ty::{self, TyCtxt};
2093             use crate::ty::context::Interned;
2094
2095             #[derive(Copy, Clone)]
2096             struct DebugStat {
2097                 total: usize,
2098                 lt_infer: usize,
2099                 ty_infer: usize,
2100                 ct_infer: usize,
2101                 all_infer: usize,
2102             }
2103
2104             pub fn go(tcx: TyCtxt<'_, '_, '_>) {
2105                 let mut total = DebugStat {
2106                     total: 0,
2107                     lt_infer: 0,
2108                     ty_infer: 0,
2109                     ct_infer: 0,
2110                     all_infer: 0,
2111                 };
2112                 $(let mut $variant = total;)*
2113
2114                 for &Interned(t) in tcx.interners.type_.borrow().keys() {
2115                     let variant = match t.sty {
2116                         ty::Bool | ty::Char | ty::Int(..) | ty::Uint(..) |
2117                             ty::Float(..) | ty::Str | ty::Never => continue,
2118                         ty::Error => /* unimportant */ continue,
2119                         $(ty::$variant(..) => &mut $variant,)*
2120                     };
2121                     let lt = t.flags.intersects(ty::TypeFlags::HAS_RE_INFER);
2122                     let ty = t.flags.intersects(ty::TypeFlags::HAS_TY_INFER);
2123                     let ct = t.flags.intersects(ty::TypeFlags::HAS_CT_INFER);
2124
2125                     variant.total += 1;
2126                     total.total += 1;
2127                     if lt { total.lt_infer += 1; variant.lt_infer += 1 }
2128                     if ty { total.ty_infer += 1; variant.ty_infer += 1 }
2129                     if ct { total.ct_infer += 1; variant.ct_infer += 1 }
2130                     if lt && ty && ct { total.all_infer += 1; variant.all_infer += 1 }
2131                 }
2132                 println!("Ty interner             total           ty lt ct all");
2133                 $(println!("    {:18}: {uses:6} {usespc:4.1}%, \
2134                             {ty:4.1}% {lt:5.1}% {ct:4.1}% {all:4.1}%",
2135                     stringify!($variant),
2136                     uses = $variant.total,
2137                     usespc = $variant.total as f64 * 100.0 / total.total as f64,
2138                     ty = $variant.ty_infer as f64 * 100.0  / total.total as f64,
2139                     lt = $variant.lt_infer as f64 * 100.0  / total.total as f64,
2140                     ct = $variant.ct_infer as f64 * 100.0  / total.total as f64,
2141                     all = $variant.all_infer as f64 * 100.0  / total.total as f64);
2142                 )*
2143                 println!("                  total {uses:6}        \
2144                           {ty:4.1}% {lt:5.1}% {ct:4.1}% {all:4.1}%",
2145                     uses = total.total,
2146                     ty = total.ty_infer as f64 * 100.0  / total.total as f64,
2147                     lt = total.lt_infer as f64 * 100.0  / total.total as f64,
2148                     ct = total.ct_infer as f64 * 100.0  / total.total as f64,
2149                     all = total.all_infer as f64 * 100.0  / total.total as f64)
2150             }
2151         }
2152
2153         inner::go($ctxt)
2154     }}
2155 }
2156
2157 impl<'a, 'tcx> TyCtxt<'a, 'tcx, 'tcx> {
2158     pub fn print_debug_stats(self) {
2159         sty_debug_print!(
2160             self,
2161             Adt, Array, Slice, RawPtr, Ref, FnDef, FnPtr, Placeholder,
2162             Generator, GeneratorWitness, Dynamic, Closure, Tuple, Bound,
2163             Param, Infer, UnnormalizedProjection, Projection, Opaque, Foreign);
2164
2165         println!("InternalSubsts interner: #{}", self.interners.substs.borrow().len());
2166         println!("Region interner: #{}", self.interners.region.borrow().len());
2167         println!("Stability interner: #{}", self.stability_interner.borrow().len());
2168         println!("Allocation interner: #{}", self.allocation_interner.borrow().len());
2169         println!("Layout interner: #{}", self.layout_interner.borrow().len());
2170     }
2171 }
2172
2173
2174 /// An entry in an interner.
2175 struct Interned<'tcx, T: 'tcx+?Sized>(&'tcx T);
2176
2177 impl<'tcx, T: 'tcx+?Sized> Clone for Interned<'tcx, T> {
2178     fn clone(&self) -> Self {
2179         Interned(self.0)
2180     }
2181 }
2182 impl<'tcx, T: 'tcx+?Sized> Copy for Interned<'tcx, T> {}
2183
2184 // N.B., an `Interned<Ty>` compares and hashes as a sty.
2185 impl<'tcx> PartialEq for Interned<'tcx, TyS<'tcx>> {
2186     fn eq(&self, other: &Interned<'tcx, TyS<'tcx>>) -> bool {
2187         self.0.sty == other.0.sty
2188     }
2189 }
2190
2191 impl<'tcx> Eq for Interned<'tcx, TyS<'tcx>> {}
2192
2193 impl<'tcx> Hash for Interned<'tcx, TyS<'tcx>> {
2194     fn hash<H: Hasher>(&self, s: &mut H) {
2195         self.0.sty.hash(s)
2196     }
2197 }
2198
2199 impl<'tcx: 'lcx, 'lcx> Borrow<TyKind<'lcx>> for Interned<'tcx, TyS<'tcx>> {
2200     fn borrow<'a>(&'a self) -> &'a TyKind<'lcx> {
2201         &self.0.sty
2202     }
2203 }
2204
2205 // N.B., an `Interned<List<T>>` compares and hashes as its elements.
2206 impl<'tcx, T: PartialEq> PartialEq for Interned<'tcx, List<T>> {
2207     fn eq(&self, other: &Interned<'tcx, List<T>>) -> bool {
2208         self.0[..] == other.0[..]
2209     }
2210 }
2211
2212 impl<'tcx, T: Eq> Eq for Interned<'tcx, List<T>> {}
2213
2214 impl<'tcx, T: Hash> Hash for Interned<'tcx, List<T>> {
2215     fn hash<H: Hasher>(&self, s: &mut H) {
2216         self.0[..].hash(s)
2217     }
2218 }
2219
2220 impl<'tcx: 'lcx, 'lcx> Borrow<[Ty<'lcx>]> for Interned<'tcx, List<Ty<'tcx>>> {
2221     fn borrow<'a>(&'a self) -> &'a [Ty<'lcx>] {
2222         &self.0[..]
2223     }
2224 }
2225
2226 impl<'tcx: 'lcx, 'lcx> Borrow<[CanonicalVarInfo]> for Interned<'tcx, List<CanonicalVarInfo>> {
2227     fn borrow<'a>(&'a self) -> &'a [CanonicalVarInfo] {
2228         &self.0[..]
2229     }
2230 }
2231
2232 impl<'tcx: 'lcx, 'lcx> Borrow<[Kind<'lcx>]> for Interned<'tcx, InternalSubsts<'tcx>> {
2233     fn borrow<'a>(&'a self) -> &'a [Kind<'lcx>] {
2234         &self.0[..]
2235     }
2236 }
2237
2238 impl<'tcx> Borrow<[ProjectionKind]>
2239     for Interned<'tcx, List<ProjectionKind>> {
2240     fn borrow<'a>(&'a self) -> &'a [ProjectionKind] {
2241         &self.0[..]
2242     }
2243 }
2244
2245 impl<'tcx> Borrow<RegionKind> for Interned<'tcx, RegionKind> {
2246     fn borrow<'a>(&'a self) -> &'a RegionKind {
2247         &self.0
2248     }
2249 }
2250
2251 impl<'tcx: 'lcx, 'lcx> Borrow<GoalKind<'lcx>> for Interned<'tcx, GoalKind<'tcx>> {
2252     fn borrow<'a>(&'a self) -> &'a GoalKind<'lcx> {
2253         &self.0
2254     }
2255 }
2256
2257 impl<'tcx: 'lcx, 'lcx> Borrow<[ExistentialPredicate<'lcx>]>
2258     for Interned<'tcx, List<ExistentialPredicate<'tcx>>> {
2259     fn borrow<'a>(&'a self) -> &'a [ExistentialPredicate<'lcx>] {
2260         &self.0[..]
2261     }
2262 }
2263
2264 impl<'tcx: 'lcx, 'lcx> Borrow<[Predicate<'lcx>]>
2265     for Interned<'tcx, List<Predicate<'tcx>>> {
2266     fn borrow<'a>(&'a self) -> &'a [Predicate<'lcx>] {
2267         &self.0[..]
2268     }
2269 }
2270
2271 impl<'tcx: 'lcx, 'lcx> Borrow<Const<'lcx>> for Interned<'tcx, Const<'tcx>> {
2272     fn borrow<'a>(&'a self) -> &'a Const<'lcx> {
2273         &self.0
2274     }
2275 }
2276
2277 impl<'tcx: 'lcx, 'lcx> Borrow<[Clause<'lcx>]>
2278 for Interned<'tcx, List<Clause<'tcx>>> {
2279     fn borrow<'a>(&'a self) -> &'a [Clause<'lcx>] {
2280         &self.0[..]
2281     }
2282 }
2283
2284 impl<'tcx: 'lcx, 'lcx> Borrow<[Goal<'lcx>]>
2285 for Interned<'tcx, List<Goal<'tcx>>> {
2286     fn borrow<'a>(&'a self) -> &'a [Goal<'lcx>] {
2287         &self.0[..]
2288     }
2289 }
2290
2291 macro_rules! intern_method {
2292     ($lt_tcx:tt, $name:ident: $method:ident($alloc:ty,
2293                                             $alloc_method:expr,
2294                                             $alloc_to_key:expr,
2295                                             $keep_in_local_tcx:expr) -> $ty:ty) => {
2296         impl<'a, 'gcx, $lt_tcx> TyCtxt<'a, 'gcx, $lt_tcx> {
2297             pub fn $method(self, v: $alloc) -> &$lt_tcx $ty {
2298                 let key = ($alloc_to_key)(&v);
2299
2300                 // HACK(eddyb) Depend on flags being accurate to
2301                 // determine that all contents are in the global tcx.
2302                 // See comments on Lift for why we can't use that.
2303                 if ($keep_in_local_tcx)(&v) {
2304                     self.interners.$name.borrow_mut().intern_ref(key, || {
2305                         // Make sure we don't end up with inference
2306                         // types/regions in the global tcx.
2307                         if self.is_global() {
2308                             bug!("Attempted to intern `{:?}` which contains \
2309                                 inference types/regions in the global type context",
2310                                 v);
2311                         }
2312
2313                         Interned($alloc_method(&self.interners.arena, v))
2314                     }).0
2315                 } else {
2316                     self.global_interners.$name.borrow_mut().intern_ref(key, || {
2317                         // This transmutes $alloc<'tcx> to $alloc<'gcx>
2318                         let v = unsafe {
2319                             mem::transmute(v)
2320                         };
2321                         let i: &$lt_tcx $ty = $alloc_method(&self.global_interners.arena, v);
2322                         // Cast to 'gcx
2323                         let i = unsafe { mem::transmute(i) };
2324                         Interned(i)
2325                     }).0
2326                 }
2327             }
2328         }
2329     }
2330 }
2331
2332 macro_rules! direct_interners {
2333     ($lt_tcx:tt, $($name:ident: $method:ident($keep_in_local_tcx:expr) -> $ty:ty),+) => {
2334         $(impl<$lt_tcx> PartialEq for Interned<$lt_tcx, $ty> {
2335             fn eq(&self, other: &Self) -> bool {
2336                 self.0 == other.0
2337             }
2338         }
2339
2340         impl<$lt_tcx> Eq for Interned<$lt_tcx, $ty> {}
2341
2342         impl<$lt_tcx> Hash for Interned<$lt_tcx, $ty> {
2343             fn hash<H: Hasher>(&self, s: &mut H) {
2344                 self.0.hash(s)
2345             }
2346         }
2347
2348         intern_method!(
2349             $lt_tcx,
2350             $name: $method($ty,
2351                            |a: &$lt_tcx SyncDroplessArena, v| -> &$lt_tcx $ty { a.alloc(v) },
2352                            |x| x,
2353                            $keep_in_local_tcx) -> $ty);)+
2354     }
2355 }
2356
2357 pub fn keep_local<'tcx, T: ty::TypeFoldable<'tcx>>(x: &T) -> bool {
2358     x.has_type_flags(ty::TypeFlags::KEEP_IN_LOCAL_TCX)
2359 }
2360
2361 direct_interners!('tcx,
2362     region: mk_region(|r: &RegionKind| r.keep_in_local_tcx()) -> RegionKind,
2363     goal: mk_goal(|c: &GoalKind<'_>| keep_local(c)) -> GoalKind<'tcx>,
2364     const_: mk_const(|c: &Const<'_>| keep_local(&c)) -> Const<'tcx>
2365 );
2366
2367 macro_rules! slice_interners {
2368     ($($field:ident: $method:ident($ty:ty)),+) => (
2369         $(intern_method!( 'tcx, $field: $method(
2370             &[$ty],
2371             |a, v| List::from_arena(a, v),
2372             Deref::deref,
2373             |xs: &[$ty]| xs.iter().any(keep_local)) -> List<$ty>);)+
2374     );
2375 }
2376
2377 slice_interners!(
2378     existential_predicates: _intern_existential_predicates(ExistentialPredicate<'tcx>),
2379     predicates: _intern_predicates(Predicate<'tcx>),
2380     type_list: _intern_type_list(Ty<'tcx>),
2381     substs: _intern_substs(Kind<'tcx>),
2382     clauses: _intern_clauses(Clause<'tcx>),
2383     goal_list: _intern_goals(Goal<'tcx>),
2384     projs: _intern_projs(ProjectionKind)
2385 );
2386
2387 // This isn't a perfect fit: CanonicalVarInfo slices are always
2388 // allocated in the global arena, so this `intern_method!` macro is
2389 // overly general.  But we just return false for the code that checks
2390 // whether they belong in the thread-local arena, so no harm done, and
2391 // seems better than open-coding the rest.
2392 intern_method! {
2393     'tcx,
2394     canonical_var_infos: _intern_canonical_var_infos(
2395         &[CanonicalVarInfo],
2396         |a, v| List::from_arena(a, v),
2397         Deref::deref,
2398         |_xs: &[CanonicalVarInfo]| -> bool { false }
2399     ) -> List<CanonicalVarInfo>
2400 }
2401
2402 impl<'a, 'gcx, 'tcx> TyCtxt<'a, 'gcx, 'tcx> {
2403     /// Given a `fn` type, returns an equivalent `unsafe fn` type;
2404     /// that is, a `fn` type that is equivalent in every way for being
2405     /// unsafe.
2406     pub fn safe_to_unsafe_fn_ty(self, sig: PolyFnSig<'tcx>) -> Ty<'tcx> {
2407         assert_eq!(sig.unsafety(), hir::Unsafety::Normal);
2408         self.mk_fn_ptr(sig.map_bound(|sig| ty::FnSig {
2409             unsafety: hir::Unsafety::Unsafe,
2410             ..sig
2411         }))
2412     }
2413
2414     /// Given a closure signature `sig`, returns an equivalent `fn`
2415     /// type with the same signature. Detuples and so forth -- so
2416     /// e.g., if we have a sig with `Fn<(u32, i32)>` then you would get
2417     /// a `fn(u32, i32)`.
2418     /// `unsafety` determines the unsafety of the `fn` type. If you pass
2419     /// `hir::Unsafety::Unsafe` in the previous example, then you would get
2420     /// an `unsafe fn (u32, i32)`.
2421     /// It cannot convert a closure that requires unsafe.
2422     pub fn coerce_closure_fn_ty(self, sig: PolyFnSig<'tcx>, unsafety: hir::Unsafety) -> Ty<'tcx> {
2423         let converted_sig = sig.map_bound(|s| {
2424             let params_iter = match s.inputs()[0].sty {
2425                 ty::Tuple(params) => {
2426                     params.into_iter().map(|k| k.expect_ty())
2427                 }
2428                 _ => bug!(),
2429             };
2430             self.mk_fn_sig(
2431                 params_iter,
2432                 s.output(),
2433                 s.c_variadic,
2434                 unsafety,
2435                 abi::Abi::Rust,
2436             )
2437         });
2438
2439         self.mk_fn_ptr(converted_sig)
2440     }
2441
2442     #[inline]
2443     pub fn mk_ty(&self, st: TyKind<'tcx>) -> Ty<'tcx> {
2444         CtxtInterners::intern_ty(&self.interners, &self.global_interners, st)
2445     }
2446
2447     pub fn mk_mach_int(self, tm: ast::IntTy) -> Ty<'tcx> {
2448         match tm {
2449             ast::IntTy::Isize   => self.types.isize,
2450             ast::IntTy::I8   => self.types.i8,
2451             ast::IntTy::I16  => self.types.i16,
2452             ast::IntTy::I32  => self.types.i32,
2453             ast::IntTy::I64  => self.types.i64,
2454             ast::IntTy::I128  => self.types.i128,
2455         }
2456     }
2457
2458     pub fn mk_mach_uint(self, tm: ast::UintTy) -> Ty<'tcx> {
2459         match tm {
2460             ast::UintTy::Usize   => self.types.usize,
2461             ast::UintTy::U8   => self.types.u8,
2462             ast::UintTy::U16  => self.types.u16,
2463             ast::UintTy::U32  => self.types.u32,
2464             ast::UintTy::U64  => self.types.u64,
2465             ast::UintTy::U128  => self.types.u128,
2466         }
2467     }
2468
2469     pub fn mk_mach_float(self, tm: ast::FloatTy) -> Ty<'tcx> {
2470         match tm {
2471             ast::FloatTy::F32  => self.types.f32,
2472             ast::FloatTy::F64  => self.types.f64,
2473         }
2474     }
2475
2476     #[inline]
2477     pub fn mk_str(self) -> Ty<'tcx> {
2478         self.mk_ty(Str)
2479     }
2480
2481     #[inline]
2482     pub fn mk_static_str(self) -> Ty<'tcx> {
2483         self.mk_imm_ref(self.lifetimes.re_static, self.mk_str())
2484     }
2485
2486     #[inline]
2487     pub fn mk_adt(self, def: &'tcx AdtDef, substs: SubstsRef<'tcx>) -> Ty<'tcx> {
2488         // take a copy of substs so that we own the vectors inside
2489         self.mk_ty(Adt(def, substs))
2490     }
2491
2492     #[inline]
2493     pub fn mk_foreign(self, def_id: DefId) -> Ty<'tcx> {
2494         self.mk_ty(Foreign(def_id))
2495     }
2496
2497     pub fn mk_box(self, ty: Ty<'tcx>) -> Ty<'tcx> {
2498         let def_id = self.require_lang_item(lang_items::OwnedBoxLangItem);
2499         let adt_def = self.adt_def(def_id);
2500         let substs = InternalSubsts::for_item(self, def_id, |param, substs| {
2501             match param.kind {
2502                 GenericParamDefKind::Lifetime |
2503                 GenericParamDefKind::Const => {
2504                     bug!()
2505                 }
2506                 GenericParamDefKind::Type { has_default, .. } => {
2507                     if param.index == 0 {
2508                         ty.into()
2509                     } else {
2510                         assert!(has_default);
2511                         self.type_of(param.def_id).subst(self, substs).into()
2512                     }
2513                 }
2514             }
2515         });
2516         self.mk_ty(Adt(adt_def, substs))
2517     }
2518
2519     #[inline]
2520     pub fn mk_ptr(self, tm: TypeAndMut<'tcx>) -> Ty<'tcx> {
2521         self.mk_ty(RawPtr(tm))
2522     }
2523
2524     #[inline]
2525     pub fn mk_ref(self, r: Region<'tcx>, tm: TypeAndMut<'tcx>) -> Ty<'tcx> {
2526         self.mk_ty(Ref(r, tm.ty, tm.mutbl))
2527     }
2528
2529     #[inline]
2530     pub fn mk_mut_ref(self, r: Region<'tcx>, ty: Ty<'tcx>) -> Ty<'tcx> {
2531         self.mk_ref(r, TypeAndMut {ty: ty, mutbl: hir::MutMutable})
2532     }
2533
2534     #[inline]
2535     pub fn mk_imm_ref(self, r: Region<'tcx>, ty: Ty<'tcx>) -> Ty<'tcx> {
2536         self.mk_ref(r, TypeAndMut {ty: ty, mutbl: hir::MutImmutable})
2537     }
2538
2539     #[inline]
2540     pub fn mk_mut_ptr(self, ty: Ty<'tcx>) -> Ty<'tcx> {
2541         self.mk_ptr(TypeAndMut {ty: ty, mutbl: hir::MutMutable})
2542     }
2543
2544     #[inline]
2545     pub fn mk_imm_ptr(self, ty: Ty<'tcx>) -> Ty<'tcx> {
2546         self.mk_ptr(TypeAndMut {ty: ty, mutbl: hir::MutImmutable})
2547     }
2548
2549     #[inline]
2550     pub fn mk_nil_ptr(self) -> Ty<'tcx> {
2551         self.mk_imm_ptr(self.mk_unit())
2552     }
2553
2554     #[inline]
2555     pub fn mk_array(self, ty: Ty<'tcx>, n: u64) -> Ty<'tcx> {
2556         self.mk_ty(Array(ty, ty::Const::from_usize(self.global_tcx(), n)))
2557     }
2558
2559     #[inline]
2560     pub fn mk_slice(self, ty: Ty<'tcx>) -> Ty<'tcx> {
2561         self.mk_ty(Slice(ty))
2562     }
2563
2564     #[inline]
2565     pub fn intern_tup(self, ts: &[Ty<'tcx>]) -> Ty<'tcx> {
2566         let kinds: Vec<_> = ts.into_iter().map(|&t| Kind::from(t)).collect();
2567         self.mk_ty(Tuple(self.intern_substs(&kinds)))
2568     }
2569
2570     pub fn mk_tup<I: InternAs<[Ty<'tcx>], Ty<'tcx>>>(self, iter: I) -> I::Output {
2571         iter.intern_with(|ts| {
2572             let kinds: Vec<_> = ts.into_iter().map(|&t| Kind::from(t)).collect();
2573             self.mk_ty(Tuple(self.intern_substs(&kinds)))
2574         })
2575     }
2576
2577     #[inline]
2578     pub fn mk_unit(self) -> Ty<'tcx> {
2579         self.types.unit
2580     }
2581
2582     #[inline]
2583     pub fn mk_diverging_default(self) -> Ty<'tcx> {
2584         if self.features().never_type {
2585             self.types.never
2586         } else {
2587             self.intern_tup(&[])
2588         }
2589     }
2590
2591     #[inline]
2592     pub fn mk_bool(self) -> Ty<'tcx> {
2593         self.mk_ty(Bool)
2594     }
2595
2596     #[inline]
2597     pub fn mk_fn_def(self, def_id: DefId,
2598                      substs: SubstsRef<'tcx>) -> Ty<'tcx> {
2599         self.mk_ty(FnDef(def_id, substs))
2600     }
2601
2602     #[inline]
2603     pub fn mk_fn_ptr(self, fty: PolyFnSig<'tcx>) -> Ty<'tcx> {
2604         self.mk_ty(FnPtr(fty))
2605     }
2606
2607     #[inline]
2608     pub fn mk_dynamic(
2609         self,
2610         obj: ty::Binder<&'tcx List<ExistentialPredicate<'tcx>>>,
2611         reg: ty::Region<'tcx>
2612     ) -> Ty<'tcx> {
2613         self.mk_ty(Dynamic(obj, reg))
2614     }
2615
2616     #[inline]
2617     pub fn mk_projection(self,
2618                          item_def_id: DefId,
2619                          substs: SubstsRef<'tcx>)
2620         -> Ty<'tcx> {
2621             self.mk_ty(Projection(ProjectionTy {
2622                 item_def_id,
2623                 substs,
2624             }))
2625         }
2626
2627     #[inline]
2628     pub fn mk_closure(self, closure_id: DefId, closure_substs: ClosureSubsts<'tcx>)
2629                       -> Ty<'tcx> {
2630         self.mk_ty(Closure(closure_id, closure_substs))
2631     }
2632
2633     #[inline]
2634     pub fn mk_generator(self,
2635                         id: DefId,
2636                         generator_substs: GeneratorSubsts<'tcx>,
2637                         movability: hir::GeneratorMovability)
2638                         -> Ty<'tcx> {
2639         self.mk_ty(Generator(id, generator_substs, movability))
2640     }
2641
2642     #[inline]
2643     pub fn mk_generator_witness(self, types: ty::Binder<&'tcx List<Ty<'tcx>>>) -> Ty<'tcx> {
2644         self.mk_ty(GeneratorWitness(types))
2645     }
2646
2647     #[inline]
2648     pub fn mk_ty_var(self, v: TyVid) -> Ty<'tcx> {
2649         self.mk_ty_infer(TyVar(v))
2650     }
2651
2652     #[inline]
2653     pub fn mk_const_var(self, v: ConstVid<'tcx>, ty: Ty<'tcx>) -> &'tcx Const<'tcx> {
2654         self.mk_const(ty::Const {
2655             val: ConstValue::Infer(InferConst::Var(v)),
2656             ty,
2657         })
2658     }
2659
2660     #[inline]
2661     pub fn mk_int_var(self, v: IntVid) -> Ty<'tcx> {
2662         self.mk_ty_infer(IntVar(v))
2663     }
2664
2665     #[inline]
2666     pub fn mk_float_var(self, v: FloatVid) -> Ty<'tcx> {
2667         self.mk_ty_infer(FloatVar(v))
2668     }
2669
2670     #[inline]
2671     pub fn mk_ty_infer(self, it: InferTy) -> Ty<'tcx> {
2672         self.mk_ty(Infer(it))
2673     }
2674
2675     #[inline]
2676     pub fn mk_const_infer(
2677         self,
2678         ic: InferConst<'tcx>,
2679         ty: Ty<'tcx>,
2680     ) -> &'tcx ty::Const<'tcx> {
2681         self.mk_const(ty::Const {
2682             val: ConstValue::Infer(ic),
2683             ty,
2684         })
2685     }
2686
2687     #[inline]
2688     pub fn mk_ty_param(self, index: u32, name: InternedString) -> Ty<'tcx> {
2689         self.mk_ty(Param(ParamTy { index, name: name }))
2690     }
2691
2692     #[inline]
2693     pub fn mk_const_param(
2694         self,
2695         index: u32,
2696         name: InternedString,
2697         ty: Ty<'tcx>
2698     ) -> &'tcx Const<'tcx> {
2699         self.mk_const(ty::Const {
2700             val: ConstValue::Param(ParamConst { index, name }),
2701             ty,
2702         })
2703     }
2704
2705     #[inline]
2706     pub fn mk_self_type(self) -> Ty<'tcx> {
2707         self.mk_ty_param(0, kw::SelfUpper.as_interned_str())
2708     }
2709
2710     pub fn mk_param_from_def(self, param: &ty::GenericParamDef) -> Kind<'tcx> {
2711         match param.kind {
2712             GenericParamDefKind::Lifetime => {
2713                 self.mk_region(ty::ReEarlyBound(param.to_early_bound_region_data())).into()
2714             }
2715             GenericParamDefKind::Type { .. } => self.mk_ty_param(param.index, param.name).into(),
2716             GenericParamDefKind::Const => {
2717                 self.mk_const_param(param.index, param.name, self.type_of(param.def_id)).into()
2718             }
2719         }
2720     }
2721
2722     #[inline]
2723     pub fn mk_opaque(self, def_id: DefId, substs: SubstsRef<'tcx>) -> Ty<'tcx> {
2724         self.mk_ty(Opaque(def_id, substs))
2725     }
2726
2727     pub fn intern_existential_predicates(self, eps: &[ExistentialPredicate<'tcx>])
2728         -> &'tcx List<ExistentialPredicate<'tcx>> {
2729         assert!(!eps.is_empty());
2730         assert!(eps.windows(2).all(|w| w[0].stable_cmp(self, &w[1]) != Ordering::Greater));
2731         self._intern_existential_predicates(eps)
2732     }
2733
2734     pub fn intern_predicates(self, preds: &[Predicate<'tcx>])
2735         -> &'tcx List<Predicate<'tcx>> {
2736         // FIXME consider asking the input slice to be sorted to avoid
2737         // re-interning permutations, in which case that would be asserted
2738         // here.
2739         if preds.len() == 0 {
2740             // The macro-generated method below asserts we don't intern an empty slice.
2741             List::empty()
2742         } else {
2743             self._intern_predicates(preds)
2744         }
2745     }
2746
2747     pub fn intern_type_list(self, ts: &[Ty<'tcx>]) -> &'tcx List<Ty<'tcx>> {
2748         if ts.len() == 0 {
2749             List::empty()
2750         } else {
2751             self._intern_type_list(ts)
2752         }
2753     }
2754
2755     pub fn intern_substs(self, ts: &[Kind<'tcx>]) -> &'tcx List<Kind<'tcx>> {
2756         if ts.len() == 0 {
2757             List::empty()
2758         } else {
2759             self._intern_substs(ts)
2760         }
2761     }
2762
2763     pub fn intern_projs(self, ps: &[ProjectionKind]) -> &'tcx List<ProjectionKind> {
2764         if ps.len() == 0 {
2765             List::empty()
2766         } else {
2767             self._intern_projs(ps)
2768         }
2769     }
2770
2771     pub fn intern_canonical_var_infos(self, ts: &[CanonicalVarInfo]) -> CanonicalVarInfos<'gcx> {
2772         if ts.len() == 0 {
2773             List::empty()
2774         } else {
2775             self.global_tcx()._intern_canonical_var_infos(ts)
2776         }
2777     }
2778
2779     pub fn intern_clauses(self, ts: &[Clause<'tcx>]) -> Clauses<'tcx> {
2780         if ts.len() == 0 {
2781             List::empty()
2782         } else {
2783             self._intern_clauses(ts)
2784         }
2785     }
2786
2787     pub fn intern_goals(self, ts: &[Goal<'tcx>]) -> Goals<'tcx> {
2788         if ts.len() == 0 {
2789             List::empty()
2790         } else {
2791             self._intern_goals(ts)
2792         }
2793     }
2794
2795     pub fn mk_fn_sig<I>(self,
2796                         inputs: I,
2797                         output: I::Item,
2798                         c_variadic: bool,
2799                         unsafety: hir::Unsafety,
2800                         abi: abi::Abi)
2801         -> <I::Item as InternIteratorElement<Ty<'tcx>, ty::FnSig<'tcx>>>::Output
2802         where I: Iterator,
2803               I::Item: InternIteratorElement<Ty<'tcx>, ty::FnSig<'tcx>>
2804     {
2805         inputs.chain(iter::once(output)).intern_with(|xs| ty::FnSig {
2806             inputs_and_output: self.intern_type_list(xs),
2807             c_variadic, unsafety, abi
2808         })
2809     }
2810
2811     pub fn mk_existential_predicates<I: InternAs<[ExistentialPredicate<'tcx>],
2812                                      &'tcx List<ExistentialPredicate<'tcx>>>>(self, iter: I)
2813                                      -> I::Output {
2814         iter.intern_with(|xs| self.intern_existential_predicates(xs))
2815     }
2816
2817     pub fn mk_predicates<I: InternAs<[Predicate<'tcx>],
2818                                      &'tcx List<Predicate<'tcx>>>>(self, iter: I)
2819                                      -> I::Output {
2820         iter.intern_with(|xs| self.intern_predicates(xs))
2821     }
2822
2823     pub fn mk_type_list<I: InternAs<[Ty<'tcx>],
2824                         &'tcx List<Ty<'tcx>>>>(self, iter: I) -> I::Output {
2825         iter.intern_with(|xs| self.intern_type_list(xs))
2826     }
2827
2828     pub fn mk_substs<I: InternAs<[Kind<'tcx>],
2829                      &'tcx List<Kind<'tcx>>>>(self, iter: I) -> I::Output {
2830         iter.intern_with(|xs| self.intern_substs(xs))
2831     }
2832
2833     pub fn mk_substs_trait(self,
2834                      self_ty: Ty<'tcx>,
2835                      rest: &[Kind<'tcx>])
2836                     -> SubstsRef<'tcx>
2837     {
2838         self.mk_substs(iter::once(self_ty.into()).chain(rest.iter().cloned()))
2839     }
2840
2841     pub fn mk_clauses<I: InternAs<[Clause<'tcx>], Clauses<'tcx>>>(self, iter: I) -> I::Output {
2842         iter.intern_with(|xs| self.intern_clauses(xs))
2843     }
2844
2845     pub fn mk_goals<I: InternAs<[Goal<'tcx>], Goals<'tcx>>>(self, iter: I) -> I::Output {
2846         iter.intern_with(|xs| self.intern_goals(xs))
2847     }
2848
2849     pub fn lint_hir<S: Into<MultiSpan>>(self,
2850                                         lint: &'static Lint,
2851                                         hir_id: HirId,
2852                                         span: S,
2853                                         msg: &str) {
2854         self.struct_span_lint_hir(lint, hir_id, span.into(), msg).emit()
2855     }
2856
2857     pub fn lint_hir_note<S: Into<MultiSpan>>(self,
2858                                              lint: &'static Lint,
2859                                              hir_id: HirId,
2860                                              span: S,
2861                                              msg: &str,
2862                                              note: &str) {
2863         let mut err = self.struct_span_lint_hir(lint, hir_id, span.into(), msg);
2864         err.note(note);
2865         err.emit()
2866     }
2867
2868     pub fn lint_node_note<S: Into<MultiSpan>>(self,
2869                                               lint: &'static Lint,
2870                                               id: hir::HirId,
2871                                               span: S,
2872                                               msg: &str,
2873                                               note: &str) {
2874         let mut err = self.struct_span_lint_hir(lint, id, span.into(), msg);
2875         err.note(note);
2876         err.emit()
2877     }
2878
2879     /// Walks upwards from `id` to find a node which might change lint levels with attributes.
2880     /// It stops at `bound` and just returns it if reached.
2881     pub fn maybe_lint_level_root_bounded(
2882         self,
2883         mut id: hir::HirId,
2884         bound: hir::HirId,
2885     ) -> hir::HirId {
2886         loop {
2887             if id == bound {
2888                 return bound;
2889             }
2890             if lint::maybe_lint_level_root(self, id) {
2891                 return id;
2892             }
2893             let next = self.hir().get_parent_node_by_hir_id(id);
2894             if next == id {
2895                 bug!("lint traversal reached the root of the crate");
2896             }
2897             id = next;
2898         }
2899     }
2900
2901     pub fn lint_level_at_node(
2902         self,
2903         lint: &'static Lint,
2904         mut id: hir::HirId
2905     ) -> (lint::Level, lint::LintSource) {
2906         let sets = self.lint_levels(LOCAL_CRATE);
2907         loop {
2908             if let Some(pair) = sets.level_and_source(lint, id, self.sess) {
2909                 return pair
2910             }
2911             let next = self.hir().get_parent_node_by_hir_id(id);
2912             if next == id {
2913                 bug!("lint traversal reached the root of the crate");
2914             }
2915             id = next;
2916         }
2917     }
2918
2919     pub fn struct_span_lint_hir<S: Into<MultiSpan>>(self,
2920                                                     lint: &'static Lint,
2921                                                     hir_id: HirId,
2922                                                     span: S,
2923                                                     msg: &str)
2924         -> DiagnosticBuilder<'tcx>
2925     {
2926         let (level, src) = self.lint_level_at_node(lint, hir_id);
2927         lint::struct_lint_level(self.sess, lint, level, src, Some(span.into()), msg)
2928     }
2929
2930     pub fn struct_lint_node(self, lint: &'static Lint, id: HirId, msg: &str)
2931         -> DiagnosticBuilder<'tcx>
2932     {
2933         let (level, src) = self.lint_level_at_node(lint, id);
2934         lint::struct_lint_level(self.sess, lint, level, src, None, msg)
2935     }
2936
2937     pub fn in_scope_traits(self, id: HirId) -> Option<&'gcx StableVec<TraitCandidate>> {
2938         self.in_scope_traits_map(id.owner)
2939             .and_then(|map| map.get(&id.local_id))
2940     }
2941
2942     pub fn named_region(self, id: HirId) -> Option<resolve_lifetime::Region> {
2943         self.named_region_map(id.owner)
2944             .and_then(|map| map.get(&id.local_id).cloned())
2945     }
2946
2947     pub fn is_late_bound(self, id: HirId) -> bool {
2948         self.is_late_bound_map(id.owner)
2949             .map(|set| set.contains(&id.local_id))
2950             .unwrap_or(false)
2951     }
2952
2953     pub fn object_lifetime_defaults(self, id: HirId)
2954         -> Option<&'gcx [ObjectLifetimeDefault]>
2955     {
2956         self.object_lifetime_defaults_map(id.owner)
2957             .and_then(|map| map.get(&id.local_id).map(|v| &**v))
2958     }
2959 }
2960
2961 pub trait InternAs<T: ?Sized, R> {
2962     type Output;
2963     fn intern_with<F>(self, f: F) -> Self::Output
2964         where F: FnOnce(&T) -> R;
2965 }
2966
2967 impl<I, T, R, E> InternAs<[T], R> for I
2968     where E: InternIteratorElement<T, R>,
2969           I: Iterator<Item=E> {
2970     type Output = E::Output;
2971     fn intern_with<F>(self, f: F) -> Self::Output
2972         where F: FnOnce(&[T]) -> R {
2973         E::intern_with(self, f)
2974     }
2975 }
2976
2977 pub trait InternIteratorElement<T, R>: Sized {
2978     type Output;
2979     fn intern_with<I: Iterator<Item=Self>, F: FnOnce(&[T]) -> R>(iter: I, f: F) -> Self::Output;
2980 }
2981
2982 impl<T, R> InternIteratorElement<T, R> for T {
2983     type Output = R;
2984     fn intern_with<I: Iterator<Item=Self>, F: FnOnce(&[T]) -> R>(iter: I, f: F) -> Self::Output {
2985         f(&iter.collect::<SmallVec<[_; 8]>>())
2986     }
2987 }
2988
2989 impl<'a, T, R> InternIteratorElement<T, R> for &'a T
2990     where T: Clone + 'a
2991 {
2992     type Output = R;
2993     fn intern_with<I: Iterator<Item=Self>, F: FnOnce(&[T]) -> R>(iter: I, f: F) -> Self::Output {
2994         f(&iter.cloned().collect::<SmallVec<[_; 8]>>())
2995     }
2996 }
2997
2998 impl<T, R, E> InternIteratorElement<T, R> for Result<T, E> {
2999     type Output = Result<R, E>;
3000     fn intern_with<I: Iterator<Item=Self>, F: FnOnce(&[T]) -> R>(iter: I, f: F) -> Self::Output {
3001         Ok(f(&iter.collect::<Result<SmallVec<[_; 8]>, _>>()?))
3002     }
3003 }
3004
3005 // We are comparing types with different invariant lifetimes, so `ptr::eq`
3006 // won't work for us.
3007 fn ptr_eq<T, U>(t: *const T, u: *const U) -> bool {
3008     t as *const () == u as *const ()
3009 }
3010
3011 pub fn provide(providers: &mut ty::query::Providers<'_>) {
3012     providers.in_scope_traits_map = |tcx, id| tcx.gcx.trait_map.get(&id);
3013     providers.module_exports = |tcx, id| tcx.gcx.export_map.get(&id).map(|v| &v[..]);
3014     providers.crate_name = |tcx, id| {
3015         assert_eq!(id, LOCAL_CRATE);
3016         tcx.crate_name
3017     };
3018     providers.get_lib_features = |tcx, id| {
3019         assert_eq!(id, LOCAL_CRATE);
3020         tcx.arena.alloc(middle::lib_features::collect(tcx))
3021     };
3022     providers.get_lang_items = |tcx, id| {
3023         assert_eq!(id, LOCAL_CRATE);
3024         tcx.arena.alloc(middle::lang_items::collect(tcx))
3025     };
3026     providers.upvars = |tcx, id| tcx.gcx.upvars.get(&id).map(|v| &v[..]);
3027     providers.maybe_unused_trait_import = |tcx, id| {
3028         tcx.maybe_unused_trait_imports.contains(&id)
3029     };
3030     providers.maybe_unused_extern_crates = |tcx, cnum| {
3031         assert_eq!(cnum, LOCAL_CRATE);
3032         &tcx.maybe_unused_extern_crates[..]
3033     };
3034     providers.names_imported_by_glob_use = |tcx, id| {
3035         assert_eq!(id.krate, LOCAL_CRATE);
3036         Lrc::new(tcx.glob_map.get(&id).cloned().unwrap_or_default())
3037     };
3038
3039     providers.stability_index = |tcx, cnum| {
3040         assert_eq!(cnum, LOCAL_CRATE);
3041         tcx.arena.alloc(stability::Index::new(tcx))
3042     };
3043     providers.lookup_stability = |tcx, id| {
3044         assert_eq!(id.krate, LOCAL_CRATE);
3045         let id = tcx.hir().definitions().def_index_to_hir_id(id.index);
3046         tcx.stability().local_stability(id)
3047     };
3048     providers.lookup_deprecation_entry = |tcx, id| {
3049         assert_eq!(id.krate, LOCAL_CRATE);
3050         let id = tcx.hir().definitions().def_index_to_hir_id(id.index);
3051         tcx.stability().local_deprecation_entry(id)
3052     };
3053     providers.extern_mod_stmt_cnum = |tcx, id| {
3054         let id = tcx.hir().as_local_node_id(id).unwrap();
3055         tcx.cstore.extern_mod_stmt_cnum_untracked(id)
3056     };
3057     providers.all_crate_nums = |tcx, cnum| {
3058         assert_eq!(cnum, LOCAL_CRATE);
3059         tcx.arena.alloc_slice(&tcx.cstore.crates_untracked())
3060     };
3061     providers.postorder_cnums = |tcx, cnum| {
3062         assert_eq!(cnum, LOCAL_CRATE);
3063         tcx.arena.alloc_slice(&tcx.cstore.postorder_cnums_untracked())
3064     };
3065     providers.output_filenames = |tcx, cnum| {
3066         assert_eq!(cnum, LOCAL_CRATE);
3067         tcx.output_filenames.clone()
3068     };
3069     providers.features_query = |tcx, cnum| {
3070         assert_eq!(cnum, LOCAL_CRATE);
3071         tcx.arena.alloc(tcx.sess.features_untracked().clone())
3072     };
3073     providers.is_panic_runtime = |tcx, cnum| {
3074         assert_eq!(cnum, LOCAL_CRATE);
3075         attr::contains_name(tcx.hir().krate_attrs(), sym::panic_runtime)
3076     };
3077     providers.is_compiler_builtins = |tcx, cnum| {
3078         assert_eq!(cnum, LOCAL_CRATE);
3079         attr::contains_name(tcx.hir().krate_attrs(), sym::compiler_builtins)
3080     };
3081 }