]> git.lizzy.rs Git - rust.git/blob - src/librustc/ty/context.rs
Make queries block and handle query cycles
[rust.git] / src / librustc / ty / context.rs
1 // Copyright 2012-2015 The Rust Project Developers. See the COPYRIGHT
2 // file at the top-level directory of this distribution and at
3 // http://rust-lang.org/COPYRIGHT.
4 //
5 // Licensed under the Apache License, Version 2.0 <LICENSE-APACHE or
6 // http://www.apache.org/licenses/LICENSE-2.0> or the MIT license
7 // <LICENSE-MIT or http://opensource.org/licenses/MIT>, at your
8 // option. This file may not be copied, modified, or distributed
9 // except according to those terms.
10
11 //! type context book-keeping
12
13 use dep_graph::DepGraph;
14 use dep_graph::{DepNode, DepConstructor};
15 use errors::DiagnosticBuilder;
16 use session::Session;
17 use session::config::{BorrowckMode, OutputFilenames, OptLevel};
18 use session::config::CrateType::*;
19 use middle;
20 use hir::{TraitCandidate, HirId, ItemLocalId};
21 use hir::def::{Def, Export};
22 use hir::def_id::{CrateNum, DefId, DefIndex, LOCAL_CRATE};
23 use hir::map as hir_map;
24 use hir::map::DefPathHash;
25 use lint::{self, Lint};
26 use ich::{StableHashingContext, NodeIdHashingMode};
27 use infer::canonical::{CanonicalVarInfo, CanonicalVarInfos};
28 use infer::outlives::free_region_map::FreeRegionMap;
29 use middle::cstore::{CrateStoreDyn, LinkMeta};
30 use middle::cstore::EncodedMetadata;
31 use middle::lang_items;
32 use middle::resolve_lifetime::{self, ObjectLifetimeDefault};
33 use middle::stability;
34 use mir::{self, Mir, interpret};
35 use mir::interpret::Allocation;
36 use ty::subst::{Kind, Substs, Subst};
37 use ty::ReprOptions;
38 use traits;
39 use traits::{Clause, Clauses, Goal, Goals};
40 use ty::{self, Ty, TypeAndMut};
41 use ty::{TyS, TypeVariants, Slice};
42 use ty::{AdtKind, AdtDef, ClosureSubsts, GeneratorSubsts, Region, Const};
43 use ty::{PolyFnSig, InferTy, ParamTy, ProjectionTy, ExistentialPredicate, Predicate};
44 use ty::RegionKind;
45 use ty::{TyVar, TyVid, IntVar, IntVid, FloatVar, FloatVid};
46 use ty::TypeVariants::*;
47 use ty::GenericParamDefKind;
48 use ty::layout::{LayoutDetails, TargetDataLayout};
49 use ty::maps;
50 use ty::steal::Steal;
51 use ty::BindingMode;
52 use ty::CanonicalTy;
53 use util::nodemap::{DefIdSet, ItemLocalMap};
54 use util::nodemap::{FxHashMap, FxHashSet};
55 use rustc_data_structures::accumulate_vec::AccumulateVec;
56 use rustc_data_structures::stable_hasher::{HashStable, hash_stable_hashmap,
57                                            StableHasher, StableHasherResult,
58                                            StableVec};
59 use arena::{TypedArena, SyncDroplessArena};
60 use rustc_data_structures::indexed_vec::IndexVec;
61 use rustc_data_structures::sync::{self, Lrc, Lock, WorkerLocal};
62 use std::any::Any;
63 use std::borrow::Borrow;
64 use std::cmp::Ordering;
65 use std::collections::hash_map::{self, Entry};
66 use std::hash::{Hash, Hasher};
67 use std::mem;
68 use std::ops::Deref;
69 use std::iter;
70 use std::sync::mpsc;
71 use std::sync::Arc;
72 use rustc_target::spec::abi;
73 use syntax::ast::{self, NodeId};
74 use syntax::attr;
75 use syntax::codemap::MultiSpan;
76 use syntax::feature_gate;
77 use syntax::symbol::{Symbol, keywords, InternedString};
78 use syntax_pos::Span;
79
80 use hir;
81
82 pub struct AllArenas<'tcx> {
83     pub global: WorkerLocal<GlobalArenas<'tcx>>,
84     pub interner: SyncDroplessArena,
85 }
86
87 impl<'tcx> AllArenas<'tcx> {
88     pub fn new() -> Self {
89         AllArenas {
90             global: WorkerLocal::new(|_| GlobalArenas::new()),
91             interner: SyncDroplessArena::new(),
92         }
93     }
94 }
95
96 /// Internal storage
97 pub struct GlobalArenas<'tcx> {
98     // internings
99     layout: TypedArena<LayoutDetails>,
100
101     // references
102     generics: TypedArena<ty::Generics>,
103     trait_def: TypedArena<ty::TraitDef>,
104     adt_def: TypedArena<ty::AdtDef>,
105     steal_mir: TypedArena<Steal<Mir<'tcx>>>,
106     mir: TypedArena<Mir<'tcx>>,
107     tables: TypedArena<ty::TypeckTables<'tcx>>,
108     /// miri allocations
109     const_allocs: TypedArena<interpret::Allocation>,
110 }
111
112 impl<'tcx> GlobalArenas<'tcx> {
113     pub fn new() -> GlobalArenas<'tcx> {
114         GlobalArenas {
115             layout: TypedArena::new(),
116             generics: TypedArena::new(),
117             trait_def: TypedArena::new(),
118             adt_def: TypedArena::new(),
119             steal_mir: TypedArena::new(),
120             mir: TypedArena::new(),
121             tables: TypedArena::new(),
122             const_allocs: TypedArena::new(),
123         }
124     }
125 }
126
127 type InternedSet<'tcx, T> = Lock<FxHashSet<Interned<'tcx, T>>>;
128
129 pub struct CtxtInterners<'tcx> {
130     /// The arena that types, regions, etc are allocated from
131     arena: &'tcx SyncDroplessArena,
132
133     /// Specifically use a speedy hash algorithm for these hash sets,
134     /// they're accessed quite often.
135     type_: InternedSet<'tcx, TyS<'tcx>>,
136     type_list: InternedSet<'tcx, Slice<Ty<'tcx>>>,
137     substs: InternedSet<'tcx, Substs<'tcx>>,
138     canonical_var_infos: InternedSet<'tcx, Slice<CanonicalVarInfo>>,
139     region: InternedSet<'tcx, RegionKind>,
140     existential_predicates: InternedSet<'tcx, Slice<ExistentialPredicate<'tcx>>>,
141     predicates: InternedSet<'tcx, Slice<Predicate<'tcx>>>,
142     const_: InternedSet<'tcx, Const<'tcx>>,
143     clauses: InternedSet<'tcx, Slice<Clause<'tcx>>>,
144     goals: InternedSet<'tcx, Slice<Goal<'tcx>>>,
145 }
146
147 impl<'gcx: 'tcx, 'tcx> CtxtInterners<'tcx> {
148     fn new(arena: &'tcx SyncDroplessArena) -> CtxtInterners<'tcx> {
149         CtxtInterners {
150             arena,
151             type_: Default::default(),
152             type_list: Default::default(),
153             substs: Default::default(),
154             region: Default::default(),
155             existential_predicates: Default::default(),
156             canonical_var_infos: Default::default(),
157             predicates: Default::default(),
158             const_: Default::default(),
159             clauses: Default::default(),
160             goals: Default::default(),
161         }
162     }
163
164     /// Intern a type
165     fn intern_ty(
166         local: &CtxtInterners<'tcx>,
167         global: &CtxtInterners<'gcx>,
168         st: TypeVariants<'tcx>
169     ) -> Ty<'tcx> {
170         let flags = super::flags::FlagComputation::for_sty(&st);
171
172         // HACK(eddyb) Depend on flags being accurate to
173         // determine that all contents are in the global tcx.
174         // See comments on Lift for why we can't use that.
175         if flags.flags.intersects(ty::TypeFlags::KEEP_IN_LOCAL_TCX) {
176             let mut interner = local.type_.borrow_mut();
177             if let Some(&Interned(ty)) = interner.get(&st) {
178                 return ty;
179             }
180
181             let ty_struct = TyS {
182                 sty: st,
183                 flags: flags.flags,
184                 outer_exclusive_binder: flags.outer_exclusive_binder,
185             };
186
187             // Make sure we don't end up with inference
188             // types/regions in the global interner
189             if local as *const _ as usize == global as *const _ as usize {
190                 bug!("Attempted to intern `{:?}` which contains \
191                     inference types/regions in the global type context",
192                     &ty_struct);
193             }
194
195             // Don't be &mut TyS.
196             let ty: Ty<'tcx> = local.arena.alloc(ty_struct);
197             interner.insert(Interned(ty));
198             ty
199         } else {
200             let mut interner = global.type_.borrow_mut();
201             if let Some(&Interned(ty)) = interner.get(&st) {
202                 return ty;
203             }
204
205             let ty_struct = TyS {
206                 sty: st,
207                 flags: flags.flags,
208                 outer_exclusive_binder: flags.outer_exclusive_binder,
209             };
210
211             // This is safe because all the types the ty_struct can point to
212             // already is in the global arena
213             let ty_struct: TyS<'gcx> = unsafe {
214                 mem::transmute(ty_struct)
215             };
216
217             // Don't be &mut TyS.
218             let ty: Ty<'gcx> = global.arena.alloc(ty_struct);
219             interner.insert(Interned(ty));
220             ty
221         }
222     }
223 }
224
225 pub struct CommonTypes<'tcx> {
226     pub bool: Ty<'tcx>,
227     pub char: Ty<'tcx>,
228     pub isize: Ty<'tcx>,
229     pub i8: Ty<'tcx>,
230     pub i16: Ty<'tcx>,
231     pub i32: Ty<'tcx>,
232     pub i64: Ty<'tcx>,
233     pub i128: Ty<'tcx>,
234     pub usize: Ty<'tcx>,
235     pub u8: Ty<'tcx>,
236     pub u16: Ty<'tcx>,
237     pub u32: Ty<'tcx>,
238     pub u64: Ty<'tcx>,
239     pub u128: Ty<'tcx>,
240     pub f32: Ty<'tcx>,
241     pub f64: Ty<'tcx>,
242     pub never: Ty<'tcx>,
243     pub err: Ty<'tcx>,
244
245     pub re_empty: Region<'tcx>,
246     pub re_static: Region<'tcx>,
247     pub re_erased: Region<'tcx>,
248 }
249
250 pub struct LocalTableInContext<'a, V: 'a> {
251     local_id_root: Option<DefId>,
252     data: &'a ItemLocalMap<V>
253 }
254
255 /// Validate that the given HirId (respectively its `local_id` part) can be
256 /// safely used as a key in the tables of a TypeckTable. For that to be
257 /// the case, the HirId must have the same `owner` as all the other IDs in
258 /// this table (signified by `local_id_root`). Otherwise the HirId
259 /// would be in a different frame of reference and using its `local_id`
260 /// would result in lookup errors, or worse, in silently wrong data being
261 /// stored/returned.
262 fn validate_hir_id_for_typeck_tables(local_id_root: Option<DefId>,
263                                      hir_id: hir::HirId,
264                                      mut_access: bool) {
265     if cfg!(debug_assertions) {
266         if let Some(local_id_root) = local_id_root {
267             if hir_id.owner != local_id_root.index {
268                 ty::tls::with(|tcx| {
269                     let node_id = tcx.hir.hir_to_node_id(hir_id);
270
271                     bug!("node {} with HirId::owner {:?} cannot be placed in \
272                           TypeckTables with local_id_root {:?}",
273                           tcx.hir.node_to_string(node_id),
274                           DefId::local(hir_id.owner),
275                           local_id_root)
276                 });
277             }
278         } else {
279             // We use "Null Object" TypeckTables in some of the analysis passes.
280             // These are just expected to be empty and their `local_id_root` is
281             // `None`. Therefore we cannot verify whether a given `HirId` would
282             // be a valid key for the given table. Instead we make sure that
283             // nobody tries to write to such a Null Object table.
284             if mut_access {
285                 bug!("access to invalid TypeckTables")
286             }
287         }
288     }
289 }
290
291 impl<'a, V> LocalTableInContext<'a, V> {
292     pub fn contains_key(&self, id: hir::HirId) -> bool {
293         validate_hir_id_for_typeck_tables(self.local_id_root, id, false);
294         self.data.contains_key(&id.local_id)
295     }
296
297     pub fn get(&self, id: hir::HirId) -> Option<&V> {
298         validate_hir_id_for_typeck_tables(self.local_id_root, id, false);
299         self.data.get(&id.local_id)
300     }
301
302     pub fn iter(&self) -> hash_map::Iter<hir::ItemLocalId, V> {
303         self.data.iter()
304     }
305 }
306
307 impl<'a, V> ::std::ops::Index<hir::HirId> for LocalTableInContext<'a, V> {
308     type Output = V;
309
310     fn index(&self, key: hir::HirId) -> &V {
311         self.get(key).expect("LocalTableInContext: key not found")
312     }
313 }
314
315 pub struct LocalTableInContextMut<'a, V: 'a> {
316     local_id_root: Option<DefId>,
317     data: &'a mut ItemLocalMap<V>
318 }
319
320 impl<'a, V> LocalTableInContextMut<'a, V> {
321     pub fn get_mut(&mut self, id: hir::HirId) -> Option<&mut V> {
322         validate_hir_id_for_typeck_tables(self.local_id_root, id, true);
323         self.data.get_mut(&id.local_id)
324     }
325
326     pub fn entry(&mut self, id: hir::HirId) -> Entry<hir::ItemLocalId, V> {
327         validate_hir_id_for_typeck_tables(self.local_id_root, id, true);
328         self.data.entry(id.local_id)
329     }
330
331     pub fn insert(&mut self, id: hir::HirId, val: V) -> Option<V> {
332         validate_hir_id_for_typeck_tables(self.local_id_root, id, true);
333         self.data.insert(id.local_id, val)
334     }
335
336     pub fn remove(&mut self, id: hir::HirId) -> Option<V> {
337         validate_hir_id_for_typeck_tables(self.local_id_root, id, true);
338         self.data.remove(&id.local_id)
339     }
340 }
341
342 #[derive(RustcEncodable, RustcDecodable, Debug)]
343 pub struct TypeckTables<'tcx> {
344     /// The HirId::owner all ItemLocalIds in this table are relative to.
345     pub local_id_root: Option<DefId>,
346
347     /// Resolved definitions for `<T>::X` associated paths and
348     /// method calls, including those of overloaded operators.
349     type_dependent_defs: ItemLocalMap<Def>,
350
351     /// Resolved field indices for field accesses in expressions (`S { field }`, `obj.field`)
352     /// or patterns (`S { field }`). The index is often useful by itself, but to learn more
353     /// about the field you also need definition of the variant to which the field
354     /// belongs, but it may not exist if it's a tuple field (`tuple.0`).
355     field_indices: ItemLocalMap<usize>,
356
357     /// Stores the canonicalized types provided by the user. See also `UserAssertTy` statement in
358     /// MIR.
359     user_provided_tys: ItemLocalMap<CanonicalTy<'tcx>>,
360
361     /// Stores the types for various nodes in the AST.  Note that this table
362     /// is not guaranteed to be populated until after typeck.  See
363     /// typeck::check::fn_ctxt for details.
364     node_types: ItemLocalMap<Ty<'tcx>>,
365
366     /// Stores the type parameters which were substituted to obtain the type
367     /// of this node.  This only applies to nodes that refer to entities
368     /// parameterized by type parameters, such as generic fns, types, or
369     /// other items.
370     node_substs: ItemLocalMap<&'tcx Substs<'tcx>>,
371
372     adjustments: ItemLocalMap<Vec<ty::adjustment::Adjustment<'tcx>>>,
373
374     /// Stores the actual binding mode for all instances of hir::BindingAnnotation.
375     pat_binding_modes: ItemLocalMap<BindingMode>,
376
377     /// Stores the types which were implicitly dereferenced in pattern binding modes
378     /// for later usage in HAIR lowering. For example,
379     ///
380     /// ```
381     /// match &&Some(5i32) {
382     ///     Some(n) => {},
383     ///     _ => {},
384     /// }
385     /// ```
386     /// leads to a `vec![&&Option<i32>, &Option<i32>]`. Empty vectors are not stored.
387     ///
388     /// See:
389     /// https://github.com/rust-lang/rfcs/blob/master/text/2005-match-ergonomics.md#definitions
390     pat_adjustments: ItemLocalMap<Vec<Ty<'tcx>>>,
391
392     /// Borrows
393     pub upvar_capture_map: ty::UpvarCaptureMap<'tcx>,
394
395     /// Records the reasons that we picked the kind of each closure;
396     /// not all closures are present in the map.
397     closure_kind_origins: ItemLocalMap<(Span, ast::Name)>,
398
399     /// For each fn, records the "liberated" types of its arguments
400     /// and return type. Liberated means that all bound regions
401     /// (including late-bound regions) are replaced with free
402     /// equivalents. This table is not used in codegen (since regions
403     /// are erased there) and hence is not serialized to metadata.
404     liberated_fn_sigs: ItemLocalMap<ty::FnSig<'tcx>>,
405
406     /// For each FRU expression, record the normalized types of the fields
407     /// of the struct - this is needed because it is non-trivial to
408     /// normalize while preserving regions. This table is used only in
409     /// MIR construction and hence is not serialized to metadata.
410     fru_field_types: ItemLocalMap<Vec<Ty<'tcx>>>,
411
412     /// Maps a cast expression to its kind. This is keyed on the
413     /// *from* expression of the cast, not the cast itself.
414     cast_kinds: ItemLocalMap<ty::cast::CastKind>,
415
416     /// Set of trait imports actually used in the method resolution.
417     /// This is used for warning unused imports. During type
418     /// checking, this `Lrc` should not be cloned: it must have a ref-count
419     /// of 1 so that we can insert things into the set mutably.
420     pub used_trait_imports: Lrc<DefIdSet>,
421
422     /// If any errors occurred while type-checking this body,
423     /// this field will be set to `true`.
424     pub tainted_by_errors: bool,
425
426     /// Stores the free-region relationships that were deduced from
427     /// its where clauses and parameter types. These are then
428     /// read-again by borrowck.
429     pub free_region_map: FreeRegionMap<'tcx>,
430 }
431
432 impl<'tcx> TypeckTables<'tcx> {
433     pub fn empty(local_id_root: Option<DefId>) -> TypeckTables<'tcx> {
434         TypeckTables {
435             local_id_root,
436             type_dependent_defs: ItemLocalMap(),
437             field_indices: ItemLocalMap(),
438             user_provided_tys: ItemLocalMap(),
439             node_types: ItemLocalMap(),
440             node_substs: ItemLocalMap(),
441             adjustments: ItemLocalMap(),
442             pat_binding_modes: ItemLocalMap(),
443             pat_adjustments: ItemLocalMap(),
444             upvar_capture_map: FxHashMap(),
445             closure_kind_origins: ItemLocalMap(),
446             liberated_fn_sigs: ItemLocalMap(),
447             fru_field_types: ItemLocalMap(),
448             cast_kinds: ItemLocalMap(),
449             used_trait_imports: Lrc::new(DefIdSet()),
450             tainted_by_errors: false,
451             free_region_map: FreeRegionMap::new(),
452         }
453     }
454
455     /// Returns the final resolution of a `QPath` in an `Expr` or `Pat` node.
456     pub fn qpath_def(&self, qpath: &hir::QPath, id: hir::HirId) -> Def {
457         match *qpath {
458             hir::QPath::Resolved(_, ref path) => path.def,
459             hir::QPath::TypeRelative(..) => {
460                 validate_hir_id_for_typeck_tables(self.local_id_root, id, false);
461                 self.type_dependent_defs.get(&id.local_id).cloned().unwrap_or(Def::Err)
462             }
463         }
464     }
465
466     pub fn type_dependent_defs(&self) -> LocalTableInContext<Def> {
467         LocalTableInContext {
468             local_id_root: self.local_id_root,
469             data: &self.type_dependent_defs
470         }
471     }
472
473     pub fn type_dependent_defs_mut(&mut self) -> LocalTableInContextMut<Def> {
474         LocalTableInContextMut {
475             local_id_root: self.local_id_root,
476             data: &mut self.type_dependent_defs
477         }
478     }
479
480     pub fn field_indices(&self) -> LocalTableInContext<usize> {
481         LocalTableInContext {
482             local_id_root: self.local_id_root,
483             data: &self.field_indices
484         }
485     }
486
487     pub fn field_indices_mut(&mut self) -> LocalTableInContextMut<usize> {
488         LocalTableInContextMut {
489             local_id_root: self.local_id_root,
490             data: &mut self.field_indices
491         }
492     }
493
494     pub fn user_provided_tys(&self) -> LocalTableInContext<CanonicalTy<'tcx>> {
495         LocalTableInContext {
496             local_id_root: self.local_id_root,
497             data: &self.user_provided_tys
498         }
499     }
500
501     pub fn user_provided_tys_mut(&mut self) -> LocalTableInContextMut<CanonicalTy<'tcx>> {
502         LocalTableInContextMut {
503             local_id_root: self.local_id_root,
504             data: &mut self.user_provided_tys
505         }
506     }
507
508     pub fn node_types(&self) -> LocalTableInContext<Ty<'tcx>> {
509         LocalTableInContext {
510             local_id_root: self.local_id_root,
511             data: &self.node_types
512         }
513     }
514
515     pub fn node_types_mut(&mut self) -> LocalTableInContextMut<Ty<'tcx>> {
516         LocalTableInContextMut {
517             local_id_root: self.local_id_root,
518             data: &mut self.node_types
519         }
520     }
521
522     pub fn node_id_to_type(&self, id: hir::HirId) -> Ty<'tcx> {
523         match self.node_id_to_type_opt(id) {
524             Some(ty) => ty,
525             None => {
526                 bug!("node_id_to_type: no type for node `{}`",
527                     tls::with(|tcx| {
528                         let id = tcx.hir.hir_to_node_id(id);
529                         tcx.hir.node_to_string(id)
530                     }))
531             }
532         }
533     }
534
535     pub fn node_id_to_type_opt(&self, id: hir::HirId) -> Option<Ty<'tcx>> {
536         validate_hir_id_for_typeck_tables(self.local_id_root, id, false);
537         self.node_types.get(&id.local_id).cloned()
538     }
539
540     pub fn node_substs_mut(&mut self) -> LocalTableInContextMut<&'tcx Substs<'tcx>> {
541         LocalTableInContextMut {
542             local_id_root: self.local_id_root,
543             data: &mut self.node_substs
544         }
545     }
546
547     pub fn node_substs(&self, id: hir::HirId) -> &'tcx Substs<'tcx> {
548         validate_hir_id_for_typeck_tables(self.local_id_root, id, false);
549         self.node_substs.get(&id.local_id).cloned().unwrap_or(Substs::empty())
550     }
551
552     pub fn node_substs_opt(&self, id: hir::HirId) -> Option<&'tcx Substs<'tcx>> {
553         validate_hir_id_for_typeck_tables(self.local_id_root, id, false);
554         self.node_substs.get(&id.local_id).cloned()
555     }
556
557     // Returns the type of a pattern as a monotype. Like @expr_ty, this function
558     // doesn't provide type parameter substitutions.
559     pub fn pat_ty(&self, pat: &hir::Pat) -> Ty<'tcx> {
560         self.node_id_to_type(pat.hir_id)
561     }
562
563     pub fn pat_ty_opt(&self, pat: &hir::Pat) -> Option<Ty<'tcx>> {
564         self.node_id_to_type_opt(pat.hir_id)
565     }
566
567     // Returns the type of an expression as a monotype.
568     //
569     // NB (1): This is the PRE-ADJUSTMENT TYPE for the expression.  That is, in
570     // some cases, we insert `Adjustment` annotations such as auto-deref or
571     // auto-ref.  The type returned by this function does not consider such
572     // adjustments.  See `expr_ty_adjusted()` instead.
573     //
574     // NB (2): This type doesn't provide type parameter substitutions; e.g. if you
575     // ask for the type of "id" in "id(3)", it will return "fn(&isize) -> isize"
576     // instead of "fn(ty) -> T with T = isize".
577     pub fn expr_ty(&self, expr: &hir::Expr) -> Ty<'tcx> {
578         self.node_id_to_type(expr.hir_id)
579     }
580
581     pub fn expr_ty_opt(&self, expr: &hir::Expr) -> Option<Ty<'tcx>> {
582         self.node_id_to_type_opt(expr.hir_id)
583     }
584
585     pub fn adjustments(&self) -> LocalTableInContext<Vec<ty::adjustment::Adjustment<'tcx>>> {
586         LocalTableInContext {
587             local_id_root: self.local_id_root,
588             data: &self.adjustments
589         }
590     }
591
592     pub fn adjustments_mut(&mut self)
593                            -> LocalTableInContextMut<Vec<ty::adjustment::Adjustment<'tcx>>> {
594         LocalTableInContextMut {
595             local_id_root: self.local_id_root,
596             data: &mut self.adjustments
597         }
598     }
599
600     pub fn expr_adjustments(&self, expr: &hir::Expr)
601                             -> &[ty::adjustment::Adjustment<'tcx>] {
602         validate_hir_id_for_typeck_tables(self.local_id_root, expr.hir_id, false);
603         self.adjustments.get(&expr.hir_id.local_id).map_or(&[], |a| &a[..])
604     }
605
606     /// Returns the type of `expr`, considering any `Adjustment`
607     /// entry recorded for that expression.
608     pub fn expr_ty_adjusted(&self, expr: &hir::Expr) -> Ty<'tcx> {
609         self.expr_adjustments(expr)
610             .last()
611             .map_or_else(|| self.expr_ty(expr), |adj| adj.target)
612     }
613
614     pub fn expr_ty_adjusted_opt(&self, expr: &hir::Expr) -> Option<Ty<'tcx>> {
615         self.expr_adjustments(expr)
616             .last()
617             .map(|adj| adj.target)
618             .or_else(|| self.expr_ty_opt(expr))
619     }
620
621     pub fn is_method_call(&self, expr: &hir::Expr) -> bool {
622         // Only paths and method calls/overloaded operators have
623         // entries in type_dependent_defs, ignore the former here.
624         if let hir::ExprPath(_) = expr.node {
625             return false;
626         }
627
628         match self.type_dependent_defs().get(expr.hir_id) {
629             Some(&Def::Method(_)) => true,
630             _ => false
631         }
632     }
633
634     pub fn pat_binding_modes(&self) -> LocalTableInContext<BindingMode> {
635         LocalTableInContext {
636             local_id_root: self.local_id_root,
637             data: &self.pat_binding_modes
638         }
639     }
640
641     pub fn pat_binding_modes_mut(&mut self)
642                            -> LocalTableInContextMut<BindingMode> {
643         LocalTableInContextMut {
644             local_id_root: self.local_id_root,
645             data: &mut self.pat_binding_modes
646         }
647     }
648
649     pub fn pat_adjustments(&self) -> LocalTableInContext<Vec<Ty<'tcx>>> {
650         LocalTableInContext {
651             local_id_root: self.local_id_root,
652             data: &self.pat_adjustments,
653         }
654     }
655
656     pub fn pat_adjustments_mut(&mut self)
657                            -> LocalTableInContextMut<Vec<Ty<'tcx>>> {
658         LocalTableInContextMut {
659             local_id_root: self.local_id_root,
660             data: &mut self.pat_adjustments,
661         }
662     }
663
664     pub fn upvar_capture(&self, upvar_id: ty::UpvarId) -> ty::UpvarCapture<'tcx> {
665         self.upvar_capture_map[&upvar_id]
666     }
667
668     pub fn closure_kind_origins(&self) -> LocalTableInContext<(Span, ast::Name)> {
669         LocalTableInContext {
670             local_id_root: self.local_id_root,
671             data: &self.closure_kind_origins
672         }
673     }
674
675     pub fn closure_kind_origins_mut(&mut self) -> LocalTableInContextMut<(Span, ast::Name)> {
676         LocalTableInContextMut {
677             local_id_root: self.local_id_root,
678             data: &mut self.closure_kind_origins
679         }
680     }
681
682     pub fn liberated_fn_sigs(&self) -> LocalTableInContext<ty::FnSig<'tcx>> {
683         LocalTableInContext {
684             local_id_root: self.local_id_root,
685             data: &self.liberated_fn_sigs
686         }
687     }
688
689     pub fn liberated_fn_sigs_mut(&mut self) -> LocalTableInContextMut<ty::FnSig<'tcx>> {
690         LocalTableInContextMut {
691             local_id_root: self.local_id_root,
692             data: &mut self.liberated_fn_sigs
693         }
694     }
695
696     pub fn fru_field_types(&self) -> LocalTableInContext<Vec<Ty<'tcx>>> {
697         LocalTableInContext {
698             local_id_root: self.local_id_root,
699             data: &self.fru_field_types
700         }
701     }
702
703     pub fn fru_field_types_mut(&mut self) -> LocalTableInContextMut<Vec<Ty<'tcx>>> {
704         LocalTableInContextMut {
705             local_id_root: self.local_id_root,
706             data: &mut self.fru_field_types
707         }
708     }
709
710     pub fn cast_kinds(&self) -> LocalTableInContext<ty::cast::CastKind> {
711         LocalTableInContext {
712             local_id_root: self.local_id_root,
713             data: &self.cast_kinds
714         }
715     }
716
717     pub fn cast_kinds_mut(&mut self) -> LocalTableInContextMut<ty::cast::CastKind> {
718         LocalTableInContextMut {
719             local_id_root: self.local_id_root,
720             data: &mut self.cast_kinds
721         }
722     }
723 }
724
725 impl<'a, 'gcx> HashStable<StableHashingContext<'a>> for TypeckTables<'gcx> {
726     fn hash_stable<W: StableHasherResult>(&self,
727                                           hcx: &mut StableHashingContext<'a>,
728                                           hasher: &mut StableHasher<W>) {
729         let ty::TypeckTables {
730             local_id_root,
731             ref type_dependent_defs,
732             ref field_indices,
733             ref user_provided_tys,
734             ref node_types,
735             ref node_substs,
736             ref adjustments,
737             ref pat_binding_modes,
738             ref pat_adjustments,
739             ref upvar_capture_map,
740             ref closure_kind_origins,
741             ref liberated_fn_sigs,
742             ref fru_field_types,
743
744             ref cast_kinds,
745
746             ref used_trait_imports,
747             tainted_by_errors,
748             ref free_region_map,
749         } = *self;
750
751         hcx.with_node_id_hashing_mode(NodeIdHashingMode::HashDefPath, |hcx| {
752             type_dependent_defs.hash_stable(hcx, hasher);
753             field_indices.hash_stable(hcx, hasher);
754             user_provided_tys.hash_stable(hcx, hasher);
755             node_types.hash_stable(hcx, hasher);
756             node_substs.hash_stable(hcx, hasher);
757             adjustments.hash_stable(hcx, hasher);
758             pat_binding_modes.hash_stable(hcx, hasher);
759             pat_adjustments.hash_stable(hcx, hasher);
760             hash_stable_hashmap(hcx, hasher, upvar_capture_map, |up_var_id, hcx| {
761                 let ty::UpvarId {
762                     var_id,
763                     closure_expr_id
764                 } = *up_var_id;
765
766                 let local_id_root =
767                     local_id_root.expect("trying to hash invalid TypeckTables");
768
769                 let var_owner_def_id = DefId {
770                     krate: local_id_root.krate,
771                     index: var_id.owner,
772                 };
773                 let closure_def_id = DefId {
774                     krate: local_id_root.krate,
775                     index: closure_expr_id.to_def_id().index,
776                 };
777                 (hcx.def_path_hash(var_owner_def_id),
778                  var_id.local_id,
779                  hcx.def_path_hash(closure_def_id))
780             });
781
782             closure_kind_origins.hash_stable(hcx, hasher);
783             liberated_fn_sigs.hash_stable(hcx, hasher);
784             fru_field_types.hash_stable(hcx, hasher);
785             cast_kinds.hash_stable(hcx, hasher);
786             used_trait_imports.hash_stable(hcx, hasher);
787             tainted_by_errors.hash_stable(hcx, hasher);
788             free_region_map.hash_stable(hcx, hasher);
789         })
790     }
791 }
792
793 impl<'tcx> CommonTypes<'tcx> {
794     fn new(interners: &CtxtInterners<'tcx>) -> CommonTypes<'tcx> {
795         // Ensure our type representation does not grow
796         #[cfg(target_pointer_width = "64")]
797         assert!(mem::size_of::<ty::TypeVariants>() <= 24);
798         #[cfg(target_pointer_width = "64")]
799         assert!(mem::size_of::<ty::TyS>() <= 32);
800
801         let mk = |sty| CtxtInterners::intern_ty(interners, interners, sty);
802         let mk_region = |r| {
803             if let Some(r) = interners.region.borrow().get(&r) {
804                 return r.0;
805             }
806             let r = interners.arena.alloc(r);
807             interners.region.borrow_mut().insert(Interned(r));
808             &*r
809         };
810         CommonTypes {
811             bool: mk(TyBool),
812             char: mk(TyChar),
813             never: mk(TyNever),
814             err: mk(TyError),
815             isize: mk(TyInt(ast::IntTy::Isize)),
816             i8: mk(TyInt(ast::IntTy::I8)),
817             i16: mk(TyInt(ast::IntTy::I16)),
818             i32: mk(TyInt(ast::IntTy::I32)),
819             i64: mk(TyInt(ast::IntTy::I64)),
820             i128: mk(TyInt(ast::IntTy::I128)),
821             usize: mk(TyUint(ast::UintTy::Usize)),
822             u8: mk(TyUint(ast::UintTy::U8)),
823             u16: mk(TyUint(ast::UintTy::U16)),
824             u32: mk(TyUint(ast::UintTy::U32)),
825             u64: mk(TyUint(ast::UintTy::U64)),
826             u128: mk(TyUint(ast::UintTy::U128)),
827             f32: mk(TyFloat(ast::FloatTy::F32)),
828             f64: mk(TyFloat(ast::FloatTy::F64)),
829
830             re_empty: mk_region(RegionKind::ReEmpty),
831             re_static: mk_region(RegionKind::ReStatic),
832             re_erased: mk_region(RegionKind::ReErased),
833         }
834     }
835 }
836
837 /// The central data structure of the compiler. It stores references
838 /// to the various **arenas** and also houses the results of the
839 /// various **compiler queries** that have been performed. See the
840 /// [rustc guide] for more details.
841 ///
842 /// [rustc guide]: https://rust-lang-nursery.github.io/rustc-guide/ty.html
843 #[derive(Copy, Clone)]
844 pub struct TyCtxt<'a, 'gcx: 'a+'tcx, 'tcx: 'a> {
845     gcx: &'a GlobalCtxt<'gcx>,
846     interners: &'a CtxtInterners<'tcx>
847 }
848
849 impl<'a, 'gcx, 'tcx> Deref for TyCtxt<'a, 'gcx, 'tcx> {
850     type Target = &'a GlobalCtxt<'gcx>;
851     fn deref(&self) -> &Self::Target {
852         &self.gcx
853     }
854 }
855
856 pub struct GlobalCtxt<'tcx> {
857     global_arenas: &'tcx WorkerLocal<GlobalArenas<'tcx>>,
858     global_interners: CtxtInterners<'tcx>,
859
860     cstore: &'tcx CrateStoreDyn,
861
862     pub sess: &'tcx Session,
863
864     pub dep_graph: DepGraph,
865
866     /// This provides access to the incr. comp. on-disk cache for query results.
867     /// Do not access this directly. It is only meant to be used by
868     /// `DepGraph::try_mark_green()` and the query infrastructure in `ty::maps`.
869     pub(crate) on_disk_query_result_cache: maps::OnDiskCache<'tcx>,
870
871     /// Common types, pre-interned for your convenience.
872     pub types: CommonTypes<'tcx>,
873
874     /// Map indicating what traits are in scope for places where this
875     /// is relevant; generated by resolve.
876     trait_map: FxHashMap<DefIndex,
877                          Lrc<FxHashMap<ItemLocalId,
878                                        Lrc<StableVec<TraitCandidate>>>>>,
879
880     /// Export map produced by name resolution.
881     export_map: FxHashMap<DefId, Lrc<Vec<Export>>>,
882
883     pub hir: hir_map::Map<'tcx>,
884
885     /// A map from DefPathHash -> DefId. Includes DefIds from the local crate
886     /// as well as all upstream crates. Only populated in incremental mode.
887     pub def_path_hash_to_def_id: Option<FxHashMap<DefPathHash, DefId>>,
888
889     pub maps: maps::Maps<'tcx>,
890
891     // Records the free variables refrenced by every closure
892     // expression. Do not track deps for this, just recompute it from
893     // scratch every time.
894     freevars: FxHashMap<DefId, Lrc<Vec<hir::Freevar>>>,
895
896     maybe_unused_trait_imports: FxHashSet<DefId>,
897
898     maybe_unused_extern_crates: Vec<(DefId, Span)>,
899
900     // Internal cache for metadata decoding. No need to track deps on this.
901     pub rcache: Lock<FxHashMap<ty::CReaderCacheKey, Ty<'tcx>>>,
902
903     /// Caches the results of trait selection. This cache is used
904     /// for things that do not have to do with the parameters in scope.
905     pub selection_cache: traits::SelectionCache<'tcx>,
906
907     /// Caches the results of trait evaluation. This cache is used
908     /// for things that do not have to do with the parameters in scope.
909     /// Merge this with `selection_cache`?
910     pub evaluation_cache: traits::EvaluationCache<'tcx>,
911
912     /// The definite name of the current crate after taking into account
913     /// attributes, commandline parameters, etc.
914     pub crate_name: Symbol,
915
916     /// Data layout specification for the current target.
917     pub data_layout: TargetDataLayout,
918
919     stability_interner: Lock<FxHashSet<&'tcx attr::Stability>>,
920
921     /// Stores the value of constants (and deduplicates the actual memory)
922     allocation_interner: Lock<FxHashSet<&'tcx Allocation>>,
923
924     pub alloc_map: Lock<interpret::AllocMap<'tcx, &'tcx Allocation>>,
925
926     layout_interner: Lock<FxHashSet<&'tcx LayoutDetails>>,
927
928     /// A general purpose channel to throw data out the back towards LLVM worker
929     /// threads.
930     ///
931     /// This is intended to only get used during the codegen phase of the compiler
932     /// when satisfying the query for a particular codegen unit. Internally in
933     /// the query it'll send data along this channel to get processed later.
934     pub tx_to_llvm_workers: Lock<mpsc::Sender<Box<dyn Any + Send>>>,
935
936     output_filenames: Arc<OutputFilenames>,
937 }
938
939 impl<'a, 'gcx, 'tcx> TyCtxt<'a, 'gcx, 'tcx> {
940     /// Get the global TyCtxt.
941     #[inline]
942     pub fn global_tcx(self) -> TyCtxt<'a, 'gcx, 'gcx> {
943         TyCtxt {
944             gcx: self.gcx,
945             interners: &self.gcx.global_interners,
946         }
947     }
948
949     pub fn alloc_generics(self, generics: ty::Generics) -> &'gcx ty::Generics {
950         self.global_arenas.generics.alloc(generics)
951     }
952
953     pub fn alloc_steal_mir(self, mir: Mir<'gcx>) -> &'gcx Steal<Mir<'gcx>> {
954         self.global_arenas.steal_mir.alloc(Steal::new(mir))
955     }
956
957     pub fn alloc_mir(self, mir: Mir<'gcx>) -> &'gcx Mir<'gcx> {
958         self.global_arenas.mir.alloc(mir)
959     }
960
961     pub fn alloc_tables(self, tables: ty::TypeckTables<'gcx>) -> &'gcx ty::TypeckTables<'gcx> {
962         self.global_arenas.tables.alloc(tables)
963     }
964
965     pub fn alloc_trait_def(self, def: ty::TraitDef) -> &'gcx ty::TraitDef {
966         self.global_arenas.trait_def.alloc(def)
967     }
968
969     pub fn alloc_adt_def(self,
970                          did: DefId,
971                          kind: AdtKind,
972                          variants: Vec<ty::VariantDef>,
973                          repr: ReprOptions)
974                          -> &'gcx ty::AdtDef {
975         let def = ty::AdtDef::new(self, did, kind, variants, repr);
976         self.global_arenas.adt_def.alloc(def)
977     }
978
979     pub fn alloc_byte_array(self, bytes: &[u8]) -> &'gcx [u8] {
980         if bytes.is_empty() {
981             &[]
982         } else {
983             self.global_interners.arena.alloc_slice(bytes)
984         }
985     }
986
987     pub fn alloc_const_slice(self, values: &[&'tcx ty::Const<'tcx>])
988                              -> &'tcx [&'tcx ty::Const<'tcx>] {
989         if values.is_empty() {
990             &[]
991         } else {
992             self.interners.arena.alloc_slice(values)
993         }
994     }
995
996     pub fn alloc_name_const_slice(self, values: &[(ast::Name, &'tcx ty::Const<'tcx>)])
997                                   -> &'tcx [(ast::Name, &'tcx ty::Const<'tcx>)] {
998         if values.is_empty() {
999             &[]
1000         } else {
1001             self.interners.arena.alloc_slice(values)
1002         }
1003     }
1004
1005     pub fn intern_const_alloc(
1006         self,
1007         alloc: Allocation,
1008     ) -> &'gcx Allocation {
1009         let allocs = &mut self.allocation_interner.borrow_mut();
1010         if let Some(alloc) = allocs.get(&alloc) {
1011             return alloc;
1012         }
1013
1014         let interned = self.global_arenas.const_allocs.alloc(alloc);
1015         if let Some(prev) = allocs.replace(interned) {
1016             bug!("Tried to overwrite interned Allocation: {:#?}", prev)
1017         }
1018         interned
1019     }
1020
1021     /// Allocates a byte or string literal for `mir::interpret`
1022     pub fn allocate_bytes(self, bytes: &[u8]) -> interpret::AllocId {
1023         // create an allocation that just contains these bytes
1024         let alloc = interpret::Allocation::from_byte_aligned_bytes(bytes);
1025         let alloc = self.intern_const_alloc(alloc);
1026         self.alloc_map.lock().allocate(alloc)
1027     }
1028
1029     pub fn intern_stability(self, stab: attr::Stability) -> &'gcx attr::Stability {
1030         let mut stability_interner = self.stability_interner.borrow_mut();
1031         if let Some(st) = stability_interner.get(&stab) {
1032             return st;
1033         }
1034
1035         let interned = self.global_interners.arena.alloc(stab);
1036         if let Some(prev) = stability_interner.replace(interned) {
1037             bug!("Tried to overwrite interned Stability: {:?}", prev)
1038         }
1039         interned
1040     }
1041
1042     pub fn intern_layout(self, layout: LayoutDetails) -> &'gcx LayoutDetails {
1043         let mut layout_interner = self.layout_interner.borrow_mut();
1044         if let Some(layout) = layout_interner.get(&layout) {
1045             return layout;
1046         }
1047
1048         let interned = self.global_arenas.layout.alloc(layout);
1049         if let Some(prev) = layout_interner.replace(interned) {
1050             bug!("Tried to overwrite interned Layout: {:?}", prev)
1051         }
1052         interned
1053     }
1054
1055     pub fn lift<T: ?Sized + Lift<'tcx>>(self, value: &T) -> Option<T::Lifted> {
1056         value.lift_to_tcx(self)
1057     }
1058
1059     /// Like lift, but only tries in the global tcx.
1060     pub fn lift_to_global<T: ?Sized + Lift<'gcx>>(self, value: &T) -> Option<T::Lifted> {
1061         value.lift_to_tcx(self.global_tcx())
1062     }
1063
1064     /// Returns true if self is the same as self.global_tcx().
1065     fn is_global(self) -> bool {
1066         let local = self.interners as *const _;
1067         let global = &self.global_interners as *const _;
1068         local as usize == global as usize
1069     }
1070
1071     /// Create a type context and call the closure with a `TyCtxt` reference
1072     /// to the context. The closure enforces that the type context and any interned
1073     /// value (types, substs, etc.) can only be used while `ty::tls` has a valid
1074     /// reference to the context, to allow formatting values that need it.
1075     pub fn create_and_enter<F, R>(s: &'tcx Session,
1076                                   cstore: &'tcx CrateStoreDyn,
1077                                   local_providers: ty::maps::Providers<'tcx>,
1078                                   extern_providers: ty::maps::Providers<'tcx>,
1079                                   arenas: &'tcx AllArenas<'tcx>,
1080                                   resolutions: ty::Resolutions,
1081                                   hir: hir_map::Map<'tcx>,
1082                                   on_disk_query_result_cache: maps::OnDiskCache<'tcx>,
1083                                   crate_name: &str,
1084                                   tx: mpsc::Sender<Box<dyn Any + Send>>,
1085                                   output_filenames: &OutputFilenames,
1086                                   f: F) -> R
1087                                   where F: for<'b> FnOnce(TyCtxt<'b, 'tcx, 'tcx>) -> R
1088     {
1089         let data_layout = TargetDataLayout::parse(&s.target.target).unwrap_or_else(|err| {
1090             s.fatal(&err);
1091         });
1092         let interners = CtxtInterners::new(&arenas.interner);
1093         let common_types = CommonTypes::new(&interners);
1094         let dep_graph = hir.dep_graph.clone();
1095         let max_cnum = cstore.crates_untracked().iter().map(|c| c.as_usize()).max().unwrap_or(0);
1096         let mut providers = IndexVec::from_elem_n(extern_providers, max_cnum + 1);
1097         providers[LOCAL_CRATE] = local_providers;
1098
1099         let def_path_hash_to_def_id = if s.opts.build_dep_graph() {
1100             let upstream_def_path_tables: Vec<(CrateNum, Lrc<_>)> = cstore
1101                 .crates_untracked()
1102                 .iter()
1103                 .map(|&cnum| (cnum, cstore.def_path_table(cnum)))
1104                 .collect();
1105
1106             let def_path_tables = || {
1107                 upstream_def_path_tables
1108                     .iter()
1109                     .map(|&(cnum, ref rc)| (cnum, &**rc))
1110                     .chain(iter::once((LOCAL_CRATE, hir.definitions().def_path_table())))
1111             };
1112
1113             // Precompute the capacity of the hashmap so we don't have to
1114             // re-allocate when populating it.
1115             let capacity = def_path_tables().map(|(_, t)| t.size()).sum::<usize>();
1116
1117             let mut map: FxHashMap<_, _> = FxHashMap::with_capacity_and_hasher(
1118                 capacity,
1119                 ::std::default::Default::default()
1120             );
1121
1122             for (cnum, def_path_table) in def_path_tables() {
1123                 def_path_table.add_def_path_hashes_to(cnum, &mut map);
1124             }
1125
1126             Some(map)
1127         } else {
1128             None
1129         };
1130
1131         let mut trait_map = FxHashMap();
1132         for (k, v) in resolutions.trait_map {
1133             let hir_id = hir.node_to_hir_id(k);
1134             let map = trait_map.entry(hir_id.owner)
1135                 .or_insert_with(|| Lrc::new(FxHashMap()));
1136             Lrc::get_mut(map).unwrap()
1137                             .insert(hir_id.local_id,
1138                                     Lrc::new(StableVec::new(v)));
1139         }
1140
1141         let gcx = &GlobalCtxt {
1142             sess: s,
1143             cstore,
1144             global_arenas: &arenas.global,
1145             global_interners: interners,
1146             dep_graph: dep_graph.clone(),
1147             on_disk_query_result_cache,
1148             types: common_types,
1149             trait_map,
1150             export_map: resolutions.export_map.into_iter().map(|(k, v)| {
1151                 (k, Lrc::new(v))
1152             }).collect(),
1153             freevars: resolutions.freevars.into_iter().map(|(k, v)| {
1154                 (hir.local_def_id(k), Lrc::new(v))
1155             }).collect(),
1156             maybe_unused_trait_imports:
1157                 resolutions.maybe_unused_trait_imports
1158                     .into_iter()
1159                     .map(|id| hir.local_def_id(id))
1160                     .collect(),
1161             maybe_unused_extern_crates:
1162                 resolutions.maybe_unused_extern_crates
1163                     .into_iter()
1164                     .map(|(id, sp)| (hir.local_def_id(id), sp))
1165                     .collect(),
1166             hir,
1167             def_path_hash_to_def_id,
1168             maps: maps::Maps::new(providers),
1169             rcache: Lock::new(FxHashMap()),
1170             selection_cache: traits::SelectionCache::new(),
1171             evaluation_cache: traits::EvaluationCache::new(),
1172             crate_name: Symbol::intern(crate_name),
1173             data_layout,
1174             layout_interner: Lock::new(FxHashSet()),
1175             stability_interner: Lock::new(FxHashSet()),
1176             allocation_interner: Lock::new(FxHashSet()),
1177             alloc_map: Lock::new(interpret::AllocMap::new()),
1178             tx_to_llvm_workers: Lock::new(tx),
1179             output_filenames: Arc::new(output_filenames.clone()),
1180         };
1181
1182         sync::assert_send_val(&gcx);
1183
1184         tls::enter_global(gcx, f)
1185     }
1186
1187     pub fn consider_optimizing<T: Fn() -> String>(&self, msg: T) -> bool {
1188         let cname = self.crate_name(LOCAL_CRATE).as_str();
1189         self.sess.consider_optimizing(&cname, msg)
1190     }
1191
1192     pub fn lang_items(self) -> Lrc<middle::lang_items::LanguageItems> {
1193         self.get_lang_items(LOCAL_CRATE)
1194     }
1195
1196     /// Due to missing llvm support for lowering 128 bit math to software emulation
1197     /// (on some targets), the lowering can be done in MIR.
1198     ///
1199     /// This function only exists until said support is implemented.
1200     pub fn is_binop_lang_item(&self, def_id: DefId) -> Option<(mir::BinOp, bool)> {
1201         let items = self.lang_items();
1202         let def_id = Some(def_id);
1203         if items.i128_add_fn() == def_id { Some((mir::BinOp::Add, false)) }
1204         else if items.u128_add_fn() == def_id { Some((mir::BinOp::Add, false)) }
1205         else if items.i128_sub_fn() == def_id { Some((mir::BinOp::Sub, false)) }
1206         else if items.u128_sub_fn() == def_id { Some((mir::BinOp::Sub, false)) }
1207         else if items.i128_mul_fn() == def_id { Some((mir::BinOp::Mul, false)) }
1208         else if items.u128_mul_fn() == def_id { Some((mir::BinOp::Mul, false)) }
1209         else if items.i128_div_fn() == def_id { Some((mir::BinOp::Div, false)) }
1210         else if items.u128_div_fn() == def_id { Some((mir::BinOp::Div, false)) }
1211         else if items.i128_rem_fn() == def_id { Some((mir::BinOp::Rem, false)) }
1212         else if items.u128_rem_fn() == def_id { Some((mir::BinOp::Rem, false)) }
1213         else if items.i128_shl_fn() == def_id { Some((mir::BinOp::Shl, false)) }
1214         else if items.u128_shl_fn() == def_id { Some((mir::BinOp::Shl, false)) }
1215         else if items.i128_shr_fn() == def_id { Some((mir::BinOp::Shr, false)) }
1216         else if items.u128_shr_fn() == def_id { Some((mir::BinOp::Shr, false)) }
1217         else if items.i128_addo_fn() == def_id { Some((mir::BinOp::Add, true)) }
1218         else if items.u128_addo_fn() == def_id { Some((mir::BinOp::Add, true)) }
1219         else if items.i128_subo_fn() == def_id { Some((mir::BinOp::Sub, true)) }
1220         else if items.u128_subo_fn() == def_id { Some((mir::BinOp::Sub, true)) }
1221         else if items.i128_mulo_fn() == def_id { Some((mir::BinOp::Mul, true)) }
1222         else if items.u128_mulo_fn() == def_id { Some((mir::BinOp::Mul, true)) }
1223         else if items.i128_shlo_fn() == def_id { Some((mir::BinOp::Shl, true)) }
1224         else if items.u128_shlo_fn() == def_id { Some((mir::BinOp::Shl, true)) }
1225         else if items.i128_shro_fn() == def_id { Some((mir::BinOp::Shr, true)) }
1226         else if items.u128_shro_fn() == def_id { Some((mir::BinOp::Shr, true)) }
1227         else { None }
1228     }
1229
1230     pub fn stability(self) -> Lrc<stability::Index<'tcx>> {
1231         self.stability_index(LOCAL_CRATE)
1232     }
1233
1234     pub fn crates(self) -> Lrc<Vec<CrateNum>> {
1235         self.all_crate_nums(LOCAL_CRATE)
1236     }
1237
1238     pub fn features(self) -> Lrc<feature_gate::Features> {
1239         self.features_query(LOCAL_CRATE)
1240     }
1241
1242     pub fn def_key(self, id: DefId) -> hir_map::DefKey {
1243         if id.is_local() {
1244             self.hir.def_key(id)
1245         } else {
1246             self.cstore.def_key(id)
1247         }
1248     }
1249
1250     /// Convert a `DefId` into its fully expanded `DefPath` (every
1251     /// `DefId` is really just an interned def-path).
1252     ///
1253     /// Note that if `id` is not local to this crate, the result will
1254     ///  be a non-local `DefPath`.
1255     pub fn def_path(self, id: DefId) -> hir_map::DefPath {
1256         if id.is_local() {
1257             self.hir.def_path(id)
1258         } else {
1259             self.cstore.def_path(id)
1260         }
1261     }
1262
1263     #[inline]
1264     pub fn def_path_hash(self, def_id: DefId) -> hir_map::DefPathHash {
1265         if def_id.is_local() {
1266             self.hir.definitions().def_path_hash(def_id.index)
1267         } else {
1268             self.cstore.def_path_hash(def_id)
1269         }
1270     }
1271
1272     pub fn def_path_debug_str(self, def_id: DefId) -> String {
1273         // We are explicitly not going through queries here in order to get
1274         // crate name and disambiguator since this code is called from debug!()
1275         // statements within the query system and we'd run into endless
1276         // recursion otherwise.
1277         let (crate_name, crate_disambiguator) = if def_id.is_local() {
1278             (self.crate_name.clone(),
1279              self.sess.local_crate_disambiguator())
1280         } else {
1281             (self.cstore.crate_name_untracked(def_id.krate),
1282              self.cstore.crate_disambiguator_untracked(def_id.krate))
1283         };
1284
1285         format!("{}[{}]{}",
1286                 crate_name,
1287                 // Don't print the whole crate disambiguator. That's just
1288                 // annoying in debug output.
1289                 &(crate_disambiguator.to_fingerprint().to_hex())[..4],
1290                 self.def_path(def_id).to_string_no_crate())
1291     }
1292
1293     pub fn metadata_encoding_version(self) -> Vec<u8> {
1294         self.cstore.metadata_encoding_version().to_vec()
1295     }
1296
1297     // Note that this is *untracked* and should only be used within the query
1298     // system if the result is otherwise tracked through queries
1299     pub fn crate_data_as_rc_any(self, cnum: CrateNum) -> Lrc<dyn Any> {
1300         self.cstore.crate_data_as_rc_any(cnum)
1301     }
1302
1303     pub fn create_stable_hashing_context(self) -> StableHashingContext<'a> {
1304         let krate = self.dep_graph.with_ignore(|| self.gcx.hir.krate());
1305
1306         StableHashingContext::new(self.sess,
1307                                   krate,
1308                                   self.hir.definitions(),
1309                                   self.cstore)
1310     }
1311
1312     // This method makes sure that we have a DepNode and a Fingerprint for
1313     // every upstream crate. It needs to be called once right after the tcx is
1314     // created.
1315     // With full-fledged red/green, the method will probably become unnecessary
1316     // as this will be done on-demand.
1317     pub fn allocate_metadata_dep_nodes(self) {
1318         // We cannot use the query versions of crates() and crate_hash(), since
1319         // those would need the DepNodes that we are allocating here.
1320         for cnum in self.cstore.crates_untracked() {
1321             let dep_node = DepNode::new(self, DepConstructor::CrateMetadata(cnum));
1322             let crate_hash = self.cstore.crate_hash_untracked(cnum);
1323             self.dep_graph.with_task(dep_node,
1324                                      self,
1325                                      crate_hash,
1326                                      |_, x| x // No transformation needed
1327             );
1328         }
1329     }
1330
1331     // This method exercises the `in_scope_traits_map` query for all possible
1332     // values so that we have their fingerprints available in the DepGraph.
1333     // This is only required as long as we still use the old dependency tracking
1334     // which needs to have the fingerprints of all input nodes beforehand.
1335     pub fn precompute_in_scope_traits_hashes(self) {
1336         for &def_index in self.trait_map.keys() {
1337             self.in_scope_traits_map(def_index);
1338         }
1339     }
1340
1341     pub fn serialize_query_result_cache<E>(self,
1342                                            encoder: &mut E)
1343                                            -> Result<(), E::Error>
1344         where E: ty::codec::TyEncoder
1345     {
1346         self.on_disk_query_result_cache.serialize(self.global_tcx(), encoder)
1347     }
1348
1349     /// If true, we should use a naive AST walk to determine if match
1350     /// guard could perform bad mutations (or mutable-borrows).
1351     pub fn check_for_mutation_in_guard_via_ast_walk(self) -> bool {
1352         !self.sess.opts.debugging_opts.disable_ast_check_for_mutation_in_guard
1353     }
1354
1355     /// If true, we should use the MIR-based borrowck (we may *also* use
1356     /// the AST-based borrowck).
1357     pub fn use_mir_borrowck(self) -> bool {
1358         self.borrowck_mode().use_mir()
1359     }
1360
1361     /// If true, make MIR codegen for `match` emit a temp that holds a
1362     /// borrow of the input to the match expression.
1363     pub fn generate_borrow_of_any_match_input(&self) -> bool {
1364         self.emit_read_for_match()
1365     }
1366
1367     /// If true, make MIR codegen for `match` emit ReadForMatch
1368     /// statements (which simulate the maximal effect of executing the
1369     /// patterns in a match arm).
1370     pub fn emit_read_for_match(&self) -> bool {
1371         self.use_mir_borrowck() && !self.sess.opts.debugging_opts.nll_dont_emit_read_for_match
1372     }
1373
1374     /// If true, pattern variables for use in guards on match arms
1375     /// will be bound as references to the data, and occurrences of
1376     /// those variables in the guard expression will implicitly
1377     /// dereference those bindings. (See rust-lang/rust#27282.)
1378     pub fn all_pat_vars_are_implicit_refs_within_guards(self) -> bool {
1379         self.borrowck_mode().use_mir()
1380     }
1381
1382     /// If true, we should enable two-phase borrows checks. This is
1383     /// done with either `-Ztwo-phase-borrows` or with
1384     /// `#![feature(nll)]`.
1385     pub fn two_phase_borrows(self) -> bool {
1386         self.features().nll || self.sess.opts.debugging_opts.two_phase_borrows
1387     }
1388
1389     /// What mode(s) of borrowck should we run? AST? MIR? both?
1390     /// (Also considers the `#![feature(nll)]` setting.)
1391     pub fn borrowck_mode(&self) -> BorrowckMode {
1392         match self.sess.opts.borrowck_mode {
1393             mode @ BorrowckMode::Mir |
1394             mode @ BorrowckMode::Compare => mode,
1395
1396             mode @ BorrowckMode::Ast => {
1397                 if self.features().nll {
1398                     BorrowckMode::Mir
1399                 } else {
1400                     mode
1401                 }
1402             }
1403
1404         }
1405     }
1406
1407     /// Should we emit EndRegion MIR statements? These are consumed by
1408     /// MIR borrowck, but not when NLL is used. They are also consumed
1409     /// by the validation stuff.
1410     pub fn emit_end_regions(self) -> bool {
1411         self.sess.opts.debugging_opts.emit_end_regions ||
1412             self.sess.opts.debugging_opts.mir_emit_validate > 0 ||
1413             self.use_mir_borrowck()
1414     }
1415
1416     #[inline]
1417     pub fn share_generics(self) -> bool {
1418         match self.sess.opts.debugging_opts.share_generics {
1419             Some(setting) => setting,
1420             None => {
1421                 self.sess.opts.incremental.is_some() ||
1422                 match self.sess.opts.optimize {
1423                     OptLevel::No   |
1424                     OptLevel::Less |
1425                     OptLevel::Size |
1426                     OptLevel::SizeMin => true,
1427                     OptLevel::Default    |
1428                     OptLevel::Aggressive => false,
1429                 }
1430             }
1431         }
1432     }
1433
1434     #[inline]
1435     pub fn local_crate_exports_generics(self) -> bool {
1436         debug_assert!(self.share_generics());
1437
1438         self.sess.crate_types.borrow().iter().any(|crate_type| {
1439             match crate_type {
1440                 CrateTypeExecutable |
1441                 CrateTypeStaticlib  |
1442                 CrateTypeProcMacro  |
1443                 CrateTypeCdylib     => false,
1444                 CrateTypeRlib       |
1445                 CrateTypeDylib      => true,
1446             }
1447         })
1448     }
1449 }
1450
1451 impl<'a, 'tcx> TyCtxt<'a, 'tcx, 'tcx> {
1452     pub fn encode_metadata(self, link_meta: &LinkMeta)
1453         -> EncodedMetadata
1454     {
1455         self.cstore.encode_metadata(self, link_meta)
1456     }
1457 }
1458
1459 impl<'gcx: 'tcx, 'tcx> GlobalCtxt<'gcx> {
1460     /// Call the closure with a local `TyCtxt` using the given arena.
1461     pub fn enter_local<F, R>(
1462         &self,
1463         arena: &'tcx SyncDroplessArena,
1464         f: F
1465     ) -> R
1466     where
1467         F: for<'a> FnOnce(TyCtxt<'a, 'gcx, 'tcx>) -> R
1468     {
1469         let interners = CtxtInterners::new(arena);
1470         let tcx = TyCtxt {
1471             gcx: self,
1472             interners: &interners,
1473         };
1474         ty::tls::with_related_context(tcx.global_tcx(), |icx| {
1475             let new_icx = ty::tls::ImplicitCtxt {
1476                 tcx,
1477                 query: icx.query.clone(),
1478                 layout_depth: icx.layout_depth,
1479                 task: icx.task,
1480             };
1481             ty::tls::enter_context(&new_icx, |new_icx| {
1482                 f(new_icx.tcx)
1483             })
1484         })
1485     }
1486 }
1487
1488 /// A trait implemented for all X<'a> types which can be safely and
1489 /// efficiently converted to X<'tcx> as long as they are part of the
1490 /// provided TyCtxt<'tcx>.
1491 /// This can be done, for example, for Ty<'tcx> or &'tcx Substs<'tcx>
1492 /// by looking them up in their respective interners.
1493 ///
1494 /// However, this is still not the best implementation as it does
1495 /// need to compare the components, even for interned values.
1496 /// It would be more efficient if TypedArena provided a way to
1497 /// determine whether the address is in the allocated range.
1498 ///
1499 /// None is returned if the value or one of the components is not part
1500 /// of the provided context.
1501 /// For Ty, None can be returned if either the type interner doesn't
1502 /// contain the TypeVariants key or if the address of the interned
1503 /// pointer differs. The latter case is possible if a primitive type,
1504 /// e.g. `()` or `u8`, was interned in a different context.
1505 pub trait Lift<'tcx> {
1506     type Lifted: 'tcx;
1507     fn lift_to_tcx<'a, 'gcx>(&self, tcx: TyCtxt<'a, 'gcx, 'tcx>) -> Option<Self::Lifted>;
1508 }
1509
1510 impl<'a, 'tcx> Lift<'tcx> for Ty<'a> {
1511     type Lifted = Ty<'tcx>;
1512     fn lift_to_tcx<'b, 'gcx>(&self, tcx: TyCtxt<'b, 'gcx, 'tcx>) -> Option<Ty<'tcx>> {
1513         if tcx.interners.arena.in_arena(*self as *const _) {
1514             return Some(unsafe { mem::transmute(*self) });
1515         }
1516         // Also try in the global tcx if we're not that.
1517         if !tcx.is_global() {
1518             self.lift_to_tcx(tcx.global_tcx())
1519         } else {
1520             None
1521         }
1522     }
1523 }
1524
1525 impl<'a, 'tcx> Lift<'tcx> for Region<'a> {
1526     type Lifted = Region<'tcx>;
1527     fn lift_to_tcx<'b, 'gcx>(&self, tcx: TyCtxt<'b, 'gcx, 'tcx>) -> Option<Region<'tcx>> {
1528         if tcx.interners.arena.in_arena(*self as *const _) {
1529             return Some(unsafe { mem::transmute(*self) });
1530         }
1531         // Also try in the global tcx if we're not that.
1532         if !tcx.is_global() {
1533             self.lift_to_tcx(tcx.global_tcx())
1534         } else {
1535             None
1536         }
1537     }
1538 }
1539
1540 impl<'a, 'tcx> Lift<'tcx> for &'a Goal<'a> {
1541     type Lifted = &'tcx Goal<'tcx>;
1542     fn lift_to_tcx<'b, 'gcx>(&self, tcx: TyCtxt<'b, 'gcx, 'tcx>) -> Option<&'tcx Goal<'tcx>> {
1543         if tcx.interners.arena.in_arena(*self as *const _) {
1544             return Some(unsafe { mem::transmute(*self) });
1545         }
1546         // Also try in the global tcx if we're not that.
1547         if !tcx.is_global() {
1548             self.lift_to_tcx(tcx.global_tcx())
1549         } else {
1550             None
1551         }
1552     }
1553 }
1554
1555 impl<'a, 'tcx> Lift<'tcx> for &'a Slice<Goal<'a>> {
1556     type Lifted = &'tcx Slice<Goal<'tcx>>;
1557     fn lift_to_tcx<'b, 'gcx>(
1558         &self,
1559         tcx: TyCtxt<'b, 'gcx, 'tcx>,
1560     ) -> Option<&'tcx Slice<Goal<'tcx>>> {
1561         if tcx.interners.arena.in_arena(*self as *const _) {
1562             return Some(unsafe { mem::transmute(*self) });
1563         }
1564         // Also try in the global tcx if we're not that.
1565         if !tcx.is_global() {
1566             self.lift_to_tcx(tcx.global_tcx())
1567         } else {
1568             None
1569         }
1570     }
1571 }
1572
1573 impl<'a, 'tcx> Lift<'tcx> for &'a Slice<Clause<'a>> {
1574     type Lifted = &'tcx Slice<Clause<'tcx>>;
1575     fn lift_to_tcx<'b, 'gcx>(
1576         &self,
1577         tcx: TyCtxt<'b, 'gcx, 'tcx>,
1578     ) -> Option<&'tcx Slice<Clause<'tcx>>> {
1579         if tcx.interners.arena.in_arena(*self as *const _) {
1580             return Some(unsafe { mem::transmute(*self) });
1581         }
1582         // Also try in the global tcx if we're not that.
1583         if !tcx.is_global() {
1584             self.lift_to_tcx(tcx.global_tcx())
1585         } else {
1586             None
1587         }
1588     }
1589 }
1590
1591 impl<'a, 'tcx> Lift<'tcx> for &'a Const<'a> {
1592     type Lifted = &'tcx Const<'tcx>;
1593     fn lift_to_tcx<'b, 'gcx>(&self, tcx: TyCtxt<'b, 'gcx, 'tcx>) -> Option<&'tcx Const<'tcx>> {
1594         if tcx.interners.arena.in_arena(*self as *const _) {
1595             return Some(unsafe { mem::transmute(*self) });
1596         }
1597         // Also try in the global tcx if we're not that.
1598         if !tcx.is_global() {
1599             self.lift_to_tcx(tcx.global_tcx())
1600         } else {
1601             None
1602         }
1603     }
1604 }
1605
1606 impl<'a, 'tcx> Lift<'tcx> for &'a Substs<'a> {
1607     type Lifted = &'tcx Substs<'tcx>;
1608     fn lift_to_tcx<'b, 'gcx>(&self, tcx: TyCtxt<'b, 'gcx, 'tcx>) -> Option<&'tcx Substs<'tcx>> {
1609         if self.len() == 0 {
1610             return Some(Slice::empty());
1611         }
1612         if tcx.interners.arena.in_arena(&self[..] as *const _) {
1613             return Some(unsafe { mem::transmute(*self) });
1614         }
1615         // Also try in the global tcx if we're not that.
1616         if !tcx.is_global() {
1617             self.lift_to_tcx(tcx.global_tcx())
1618         } else {
1619             None
1620         }
1621     }
1622 }
1623
1624 impl<'a, 'tcx> Lift<'tcx> for &'a Slice<Ty<'a>> {
1625     type Lifted = &'tcx Slice<Ty<'tcx>>;
1626     fn lift_to_tcx<'b, 'gcx>(&self, tcx: TyCtxt<'b, 'gcx, 'tcx>)
1627                              -> Option<&'tcx Slice<Ty<'tcx>>> {
1628         if self.len() == 0 {
1629             return Some(Slice::empty());
1630         }
1631         if tcx.interners.arena.in_arena(*self as *const _) {
1632             return Some(unsafe { mem::transmute(*self) });
1633         }
1634         // Also try in the global tcx if we're not that.
1635         if !tcx.is_global() {
1636             self.lift_to_tcx(tcx.global_tcx())
1637         } else {
1638             None
1639         }
1640     }
1641 }
1642
1643 impl<'a, 'tcx> Lift<'tcx> for &'a Slice<ExistentialPredicate<'a>> {
1644     type Lifted = &'tcx Slice<ExistentialPredicate<'tcx>>;
1645     fn lift_to_tcx<'b, 'gcx>(&self, tcx: TyCtxt<'b, 'gcx, 'tcx>)
1646         -> Option<&'tcx Slice<ExistentialPredicate<'tcx>>> {
1647         if self.is_empty() {
1648             return Some(Slice::empty());
1649         }
1650         if tcx.interners.arena.in_arena(*self as *const _) {
1651             return Some(unsafe { mem::transmute(*self) });
1652         }
1653         // Also try in the global tcx if we're not that.
1654         if !tcx.is_global() {
1655             self.lift_to_tcx(tcx.global_tcx())
1656         } else {
1657             None
1658         }
1659     }
1660 }
1661
1662 impl<'a, 'tcx> Lift<'tcx> for &'a Slice<Predicate<'a>> {
1663     type Lifted = &'tcx Slice<Predicate<'tcx>>;
1664     fn lift_to_tcx<'b, 'gcx>(&self, tcx: TyCtxt<'b, 'gcx, 'tcx>)
1665         -> Option<&'tcx Slice<Predicate<'tcx>>> {
1666         if self.is_empty() {
1667             return Some(Slice::empty());
1668         }
1669         if tcx.interners.arena.in_arena(*self as *const _) {
1670             return Some(unsafe { mem::transmute(*self) });
1671         }
1672         // Also try in the global tcx if we're not that.
1673         if !tcx.is_global() {
1674             self.lift_to_tcx(tcx.global_tcx())
1675         } else {
1676             None
1677         }
1678     }
1679 }
1680
1681 impl<'a, 'tcx> Lift<'tcx> for &'a Slice<CanonicalVarInfo> {
1682     type Lifted = &'tcx Slice<CanonicalVarInfo>;
1683     fn lift_to_tcx<'b, 'gcx>(&self, tcx: TyCtxt<'b, 'gcx, 'tcx>) -> Option<Self::Lifted> {
1684         if self.len() == 0 {
1685             return Some(Slice::empty());
1686         }
1687         if tcx.interners.arena.in_arena(*self as *const _) {
1688             return Some(unsafe { mem::transmute(*self) });
1689         }
1690         // Also try in the global tcx if we're not that.
1691         if !tcx.is_global() {
1692             self.lift_to_tcx(tcx.global_tcx())
1693         } else {
1694             None
1695         }
1696     }
1697 }
1698
1699 pub mod tls {
1700     use super::{GlobalCtxt, TyCtxt};
1701
1702     use std::fmt;
1703     use std::mem;
1704     use syntax_pos;
1705     use ty::maps;
1706     use errors::{Diagnostic, TRACK_DIAGNOSTICS};
1707     use rustc_data_structures::OnDrop;
1708     use rustc_data_structures::sync::{self, Lrc, Lock};
1709     use dep_graph::OpenTask;
1710
1711     #[cfg(not(parallel_queries))]
1712     use std::cell::Cell;
1713
1714     #[cfg(parallel_queries)]
1715     use rayon_core;
1716
1717     /// This is the implicit state of rustc. It contains the current
1718     /// TyCtxt and query. It is updated when creating a local interner or
1719     /// executing a new query. Whenever there's a TyCtxt value available
1720     /// you should also have access to an ImplicitCtxt through the functions
1721     /// in this module.
1722     #[derive(Clone)]
1723     pub struct ImplicitCtxt<'a, 'gcx: 'a+'tcx, 'tcx: 'a> {
1724         /// The current TyCtxt. Initially created by `enter_global` and updated
1725         /// by `enter_local` with a new local interner
1726         pub tcx: TyCtxt<'a, 'gcx, 'tcx>,
1727
1728         /// The current query job, if any. This is updated by start_job in
1729         /// ty::maps::plumbing when executing a query
1730         pub query: Option<Lrc<maps::QueryJob<'gcx>>>,
1731
1732         /// Used to prevent layout from recursing too deeply.
1733         pub layout_depth: usize,
1734
1735         /// The current dep graph task. This is used to add dependencies to queries
1736         /// when executing them
1737         pub task: &'a OpenTask,
1738     }
1739
1740     #[cfg(parallel_queries)]
1741     fn set_tlv<F: FnOnce() -> R, R>(value: usize, f: F) -> R {
1742         rayon_core::tlv::with(value, f)
1743     }
1744
1745     #[cfg(parallel_queries)]
1746     fn get_tlv() -> usize {
1747         rayon_core::tlv::get()
1748     }
1749
1750     // A thread local value which stores a pointer to the current ImplicitCtxt
1751     #[cfg(not(parallel_queries))]
1752     thread_local!(static TLV: Cell<usize> = Cell::new(0));
1753
1754     #[cfg(not(parallel_queries))]
1755     fn set_tlv<F: FnOnce() -> R, R>(value: usize, f: F) -> R {
1756         let old = get_tlv();
1757         let _reset = OnDrop(move || TLV.with(|tlv| tlv.set(old)));
1758         TLV.with(|tlv| tlv.set(value));
1759         f()
1760     }
1761
1762     #[cfg(not(parallel_queries))]
1763     fn get_tlv() -> usize {
1764         TLV.with(|tlv| tlv.get())
1765     }
1766
1767     /// This is a callback from libsyntax as it cannot access the implicit state
1768     /// in librustc otherwise
1769     fn span_debug(span: syntax_pos::Span, f: &mut fmt::Formatter) -> fmt::Result {
1770         with(|tcx| {
1771             write!(f, "{}", tcx.sess.codemap().span_to_string(span))
1772         })
1773     }
1774
1775     /// This is a callback from libsyntax as it cannot access the implicit state
1776     /// in librustc otherwise. It is used to when diagnostic messages are
1777     /// emitted and stores them in the current query, if there is one.
1778     fn track_diagnostic(diagnostic: &Diagnostic) {
1779         with_context_opt(|icx| {
1780             if let Some(icx) = icx {
1781                 if let Some(ref query) = icx.query {
1782                     query.diagnostics.lock().push(diagnostic.clone());
1783                 }
1784             }
1785         })
1786     }
1787
1788     /// Sets up the callbacks from libsyntax on the current thread
1789     pub fn with_thread_locals<F, R>(f: F) -> R
1790         where F: FnOnce() -> R
1791     {
1792         syntax_pos::SPAN_DEBUG.with(|span_dbg| {
1793             let original_span_debug = span_dbg.get();
1794             span_dbg.set(span_debug);
1795
1796             let _on_drop = OnDrop(move || {
1797                 span_dbg.set(original_span_debug);
1798             });
1799
1800             TRACK_DIAGNOSTICS.with(|current| {
1801                 let original = current.get();
1802                 current.set(track_diagnostic);
1803
1804                 let _on_drop = OnDrop(move || {
1805                     current.set(original);
1806                 });
1807
1808                 f()
1809             })
1810         })
1811     }
1812
1813     /// Sets `context` as the new current ImplicitCtxt for the duration of the function `f`
1814     pub fn enter_context<'a, 'gcx: 'tcx, 'tcx, F, R>(context: &ImplicitCtxt<'a, 'gcx, 'tcx>,
1815                                                      f: F) -> R
1816         where F: FnOnce(&ImplicitCtxt<'a, 'gcx, 'tcx>) -> R
1817     {
1818         set_tlv(context as *const _ as usize, || {
1819             f(&context)
1820         })
1821     }
1822
1823     /// Enters GlobalCtxt by setting up libsyntax callbacks and
1824     /// creating a initial TyCtxt and ImplicitCtxt.
1825     /// This happens once per rustc session and TyCtxts only exists
1826     /// inside the `f` function.
1827     pub fn enter_global<'gcx, F, R>(gcx: &GlobalCtxt<'gcx>, f: F) -> R
1828         where F: for<'a> FnOnce(TyCtxt<'a, 'gcx, 'gcx>) -> R
1829     {
1830         with_thread_locals(|| {
1831             GCX_PTR.with(|lock| {
1832                 *lock.lock() = gcx as *const _ as usize;
1833             });
1834             let _on_drop = OnDrop(move || {
1835                 GCX_PTR.with(|lock| *lock.lock() = 0);
1836             });
1837
1838             let tcx = TyCtxt {
1839                 gcx,
1840                 interners: &gcx.global_interners,
1841             };
1842             let icx = ImplicitCtxt {
1843                 tcx,
1844                 query: None,
1845                 layout_depth: 0,
1846                 task: &OpenTask::Ignore,
1847             };
1848             enter_context(&icx, |_| {
1849                 f(tcx)
1850             })
1851         })
1852     }
1853
1854     scoped_thread_local!(pub static GCX_PTR: Lock<usize>);
1855
1856     pub unsafe fn with_global<F, R>(f: F) -> R
1857         where F: for<'a, 'gcx, 'tcx> FnOnce(TyCtxt<'a, 'gcx, 'tcx>) -> R
1858     {
1859         let gcx = GCX_PTR.with(|lock| *lock.lock());
1860         assert!(gcx != 0);
1861         let gcx = &*(gcx as *const GlobalCtxt<'_>);
1862         let tcx = TyCtxt {
1863             gcx,
1864             interners: &gcx.global_interners,
1865         };
1866         let icx = ImplicitCtxt {
1867             query: None,
1868             tcx,
1869             layout_depth: 0,
1870             task: &OpenTask::Ignore,
1871         };
1872         enter_context(&icx, |_| f(tcx))
1873     }
1874
1875     /// Allows access to the current ImplicitCtxt in a closure if one is available
1876     pub fn with_context_opt<F, R>(f: F) -> R
1877         where F: for<'a, 'gcx, 'tcx> FnOnce(Option<&ImplicitCtxt<'a, 'gcx, 'tcx>>) -> R
1878     {
1879         let context = get_tlv();
1880         if context == 0 {
1881             f(None)
1882         } else {
1883             // We could get a ImplicitCtxt pointer from another thread.
1884             // Ensure that ImplicitCtxt is Sync
1885             sync::assert_sync::<ImplicitCtxt>();
1886
1887             unsafe { f(Some(&*(context as *const ImplicitCtxt))) }
1888         }
1889     }
1890
1891     /// Allows access to the current ImplicitCtxt.
1892     /// Panics if there is no ImplicitCtxt available
1893     pub fn with_context<F, R>(f: F) -> R
1894         where F: for<'a, 'gcx, 'tcx> FnOnce(&ImplicitCtxt<'a, 'gcx, 'tcx>) -> R
1895     {
1896         with_context_opt(|opt_context| f(opt_context.expect("no ImplicitCtxt stored in tls")))
1897     }
1898
1899     /// Allows access to the current ImplicitCtxt whose tcx field has the same global
1900     /// interner as the tcx argument passed in. This means the closure is given an ImplicitCtxt
1901     /// with the same 'gcx lifetime as the TyCtxt passed in.
1902     /// This will panic if you pass it a TyCtxt which has a different global interner from
1903     /// the current ImplicitCtxt's tcx field.
1904     pub fn with_related_context<'a, 'gcx, 'tcx1, F, R>(tcx: TyCtxt<'a, 'gcx, 'tcx1>, f: F) -> R
1905         where F: for<'b, 'tcx2> FnOnce(&ImplicitCtxt<'b, 'gcx, 'tcx2>) -> R
1906     {
1907         with_context(|context| {
1908             unsafe {
1909                 let gcx = tcx.gcx as *const _ as usize;
1910                 assert!(context.tcx.gcx as *const _ as usize == gcx);
1911                 let context: &ImplicitCtxt = mem::transmute(context);
1912                 f(context)
1913             }
1914         })
1915     }
1916
1917     /// Allows access to the current ImplicitCtxt whose tcx field has the same global
1918     /// interner and local interner as the tcx argument passed in. This means the closure
1919     /// is given an ImplicitCtxt with the same 'tcx and 'gcx lifetimes as the TyCtxt passed in.
1920     /// This will panic if you pass it a TyCtxt which has a different global interner or
1921     /// a different local interner from the current ImplicitCtxt's tcx field.
1922     pub fn with_fully_related_context<'a, 'gcx, 'tcx, F, R>(tcx: TyCtxt<'a, 'gcx, 'tcx>, f: F) -> R
1923         where F: for<'b> FnOnce(&ImplicitCtxt<'b, 'gcx, 'tcx>) -> R
1924     {
1925         with_context(|context| {
1926             unsafe {
1927                 let gcx = tcx.gcx as *const _ as usize;
1928                 let interners = tcx.interners as *const _ as usize;
1929                 assert!(context.tcx.gcx as *const _ as usize == gcx);
1930                 assert!(context.tcx.interners as *const _ as usize == interners);
1931                 let context: &ImplicitCtxt = mem::transmute(context);
1932                 f(context)
1933             }
1934         })
1935     }
1936
1937     /// Allows access to the TyCtxt in the current ImplicitCtxt.
1938     /// Panics if there is no ImplicitCtxt available
1939     pub fn with<F, R>(f: F) -> R
1940         where F: for<'a, 'gcx, 'tcx> FnOnce(TyCtxt<'a, 'gcx, 'tcx>) -> R
1941     {
1942         with_context(|context| f(context.tcx))
1943     }
1944
1945     /// Allows access to the TyCtxt in the current ImplicitCtxt.
1946     /// The closure is passed None if there is no ImplicitCtxt available
1947     pub fn with_opt<F, R>(f: F) -> R
1948         where F: for<'a, 'gcx, 'tcx> FnOnce(Option<TyCtxt<'a, 'gcx, 'tcx>>) -> R
1949     {
1950         with_context_opt(|opt_context| f(opt_context.map(|context| context.tcx)))
1951     }
1952 }
1953
1954 macro_rules! sty_debug_print {
1955     ($ctxt: expr, $($variant: ident),*) => {{
1956         // curious inner module to allow variant names to be used as
1957         // variable names.
1958         #[allow(non_snake_case)]
1959         mod inner {
1960             use ty::{self, TyCtxt};
1961             use ty::context::Interned;
1962
1963             #[derive(Copy, Clone)]
1964             struct DebugStat {
1965                 total: usize,
1966                 region_infer: usize,
1967                 ty_infer: usize,
1968                 both_infer: usize,
1969             }
1970
1971             pub fn go(tcx: TyCtxt) {
1972                 let mut total = DebugStat {
1973                     total: 0,
1974                     region_infer: 0, ty_infer: 0, both_infer: 0,
1975                 };
1976                 $(let mut $variant = total;)*
1977
1978
1979                 for &Interned(t) in tcx.interners.type_.borrow().iter() {
1980                     let variant = match t.sty {
1981                         ty::TyBool | ty::TyChar | ty::TyInt(..) | ty::TyUint(..) |
1982                             ty::TyFloat(..) | ty::TyStr | ty::TyNever => continue,
1983                         ty::TyError => /* unimportant */ continue,
1984                         $(ty::$variant(..) => &mut $variant,)*
1985                     };
1986                     let region = t.flags.intersects(ty::TypeFlags::HAS_RE_INFER);
1987                     let ty = t.flags.intersects(ty::TypeFlags::HAS_TY_INFER);
1988
1989                     variant.total += 1;
1990                     total.total += 1;
1991                     if region { total.region_infer += 1; variant.region_infer += 1 }
1992                     if ty { total.ty_infer += 1; variant.ty_infer += 1 }
1993                     if region && ty { total.both_infer += 1; variant.both_infer += 1 }
1994                 }
1995                 println!("Ty interner             total           ty region  both");
1996                 $(println!("    {:18}: {uses:6} {usespc:4.1}%, \
1997 {ty:4.1}% {region:5.1}% {both:4.1}%",
1998                            stringify!($variant),
1999                            uses = $variant.total,
2000                            usespc = $variant.total as f64 * 100.0 / total.total as f64,
2001                            ty = $variant.ty_infer as f64 * 100.0  / total.total as f64,
2002                            region = $variant.region_infer as f64 * 100.0  / total.total as f64,
2003                            both = $variant.both_infer as f64 * 100.0  / total.total as f64);
2004                   )*
2005                 println!("                  total {uses:6}        \
2006 {ty:4.1}% {region:5.1}% {both:4.1}%",
2007                          uses = total.total,
2008                          ty = total.ty_infer as f64 * 100.0  / total.total as f64,
2009                          region = total.region_infer as f64 * 100.0  / total.total as f64,
2010                          both = total.both_infer as f64 * 100.0  / total.total as f64)
2011             }
2012         }
2013
2014         inner::go($ctxt)
2015     }}
2016 }
2017
2018 impl<'a, 'tcx> TyCtxt<'a, 'tcx, 'tcx> {
2019     pub fn print_debug_stats(self) {
2020         sty_debug_print!(
2021             self,
2022             TyAdt, TyArray, TySlice, TyRawPtr, TyRef, TyFnDef, TyFnPtr,
2023             TyGenerator, TyGeneratorWitness, TyDynamic, TyClosure, TyTuple,
2024             TyParam, TyInfer, TyProjection, TyAnon, TyForeign);
2025
2026         println!("Substs interner: #{}", self.interners.substs.borrow().len());
2027         println!("Region interner: #{}", self.interners.region.borrow().len());
2028         println!("Stability interner: #{}", self.stability_interner.borrow().len());
2029         println!("Allocation interner: #{}", self.allocation_interner.borrow().len());
2030         println!("Layout interner: #{}", self.layout_interner.borrow().len());
2031     }
2032 }
2033
2034
2035 /// An entry in an interner.
2036 struct Interned<'tcx, T: 'tcx+?Sized>(&'tcx T);
2037
2038 // NB: An Interned<Ty> compares and hashes as a sty.
2039 impl<'tcx> PartialEq for Interned<'tcx, TyS<'tcx>> {
2040     fn eq(&self, other: &Interned<'tcx, TyS<'tcx>>) -> bool {
2041         self.0.sty == other.0.sty
2042     }
2043 }
2044
2045 impl<'tcx> Eq for Interned<'tcx, TyS<'tcx>> {}
2046
2047 impl<'tcx> Hash for Interned<'tcx, TyS<'tcx>> {
2048     fn hash<H: Hasher>(&self, s: &mut H) {
2049         self.0.sty.hash(s)
2050     }
2051 }
2052
2053 impl<'tcx: 'lcx, 'lcx> Borrow<TypeVariants<'lcx>> for Interned<'tcx, TyS<'tcx>> {
2054     fn borrow<'a>(&'a self) -> &'a TypeVariants<'lcx> {
2055         &self.0.sty
2056     }
2057 }
2058
2059 // NB: An Interned<Slice<T>> compares and hashes as its elements.
2060 impl<'tcx, T: PartialEq> PartialEq for Interned<'tcx, Slice<T>> {
2061     fn eq(&self, other: &Interned<'tcx, Slice<T>>) -> bool {
2062         self.0[..] == other.0[..]
2063     }
2064 }
2065
2066 impl<'tcx, T: Eq> Eq for Interned<'tcx, Slice<T>> {}
2067
2068 impl<'tcx, T: Hash> Hash for Interned<'tcx, Slice<T>> {
2069     fn hash<H: Hasher>(&self, s: &mut H) {
2070         self.0[..].hash(s)
2071     }
2072 }
2073
2074 impl<'tcx: 'lcx, 'lcx> Borrow<[Ty<'lcx>]> for Interned<'tcx, Slice<Ty<'tcx>>> {
2075     fn borrow<'a>(&'a self) -> &'a [Ty<'lcx>] {
2076         &self.0[..]
2077     }
2078 }
2079
2080 impl<'tcx: 'lcx, 'lcx> Borrow<[CanonicalVarInfo]> for Interned<'tcx, Slice<CanonicalVarInfo>> {
2081     fn borrow<'a>(&'a self) -> &'a [CanonicalVarInfo] {
2082         &self.0[..]
2083     }
2084 }
2085
2086 impl<'tcx: 'lcx, 'lcx> Borrow<[Kind<'lcx>]> for Interned<'tcx, Substs<'tcx>> {
2087     fn borrow<'a>(&'a self) -> &'a [Kind<'lcx>] {
2088         &self.0[..]
2089     }
2090 }
2091
2092 impl<'tcx> Borrow<RegionKind> for Interned<'tcx, RegionKind> {
2093     fn borrow<'a>(&'a self) -> &'a RegionKind {
2094         &self.0
2095     }
2096 }
2097
2098 impl<'tcx: 'lcx, 'lcx> Borrow<[ExistentialPredicate<'lcx>]>
2099     for Interned<'tcx, Slice<ExistentialPredicate<'tcx>>> {
2100     fn borrow<'a>(&'a self) -> &'a [ExistentialPredicate<'lcx>] {
2101         &self.0[..]
2102     }
2103 }
2104
2105 impl<'tcx: 'lcx, 'lcx> Borrow<[Predicate<'lcx>]>
2106     for Interned<'tcx, Slice<Predicate<'tcx>>> {
2107     fn borrow<'a>(&'a self) -> &'a [Predicate<'lcx>] {
2108         &self.0[..]
2109     }
2110 }
2111
2112 impl<'tcx: 'lcx, 'lcx> Borrow<Const<'lcx>> for Interned<'tcx, Const<'tcx>> {
2113     fn borrow<'a>(&'a self) -> &'a Const<'lcx> {
2114         &self.0
2115     }
2116 }
2117
2118 impl<'tcx: 'lcx, 'lcx> Borrow<[Clause<'lcx>]>
2119 for Interned<'tcx, Slice<Clause<'tcx>>> {
2120     fn borrow<'a>(&'a self) -> &'a [Clause<'lcx>] {
2121         &self.0[..]
2122     }
2123 }
2124
2125 impl<'tcx: 'lcx, 'lcx> Borrow<[Goal<'lcx>]>
2126 for Interned<'tcx, Slice<Goal<'tcx>>> {
2127     fn borrow<'a>(&'a self) -> &'a [Goal<'lcx>] {
2128         &self.0[..]
2129     }
2130 }
2131
2132 macro_rules! intern_method {
2133     ($lt_tcx:tt, $name:ident: $method:ident($alloc:ty,
2134                                             $alloc_method:expr,
2135                                             $alloc_to_key:expr,
2136                                             $keep_in_local_tcx:expr) -> $ty:ty) => {
2137         impl<'a, 'gcx, $lt_tcx> TyCtxt<'a, 'gcx, $lt_tcx> {
2138             pub fn $method(self, v: $alloc) -> &$lt_tcx $ty {
2139                 let key = ($alloc_to_key)(&v);
2140
2141                 // HACK(eddyb) Depend on flags being accurate to
2142                 // determine that all contents are in the global tcx.
2143                 // See comments on Lift for why we can't use that.
2144                 if ($keep_in_local_tcx)(&v) {
2145                     let mut interner = self.interners.$name.borrow_mut();
2146                     if let Some(&Interned(v)) = interner.get(key) {
2147                         return v;
2148                     }
2149
2150                     // Make sure we don't end up with inference
2151                     // types/regions in the global tcx.
2152                     if self.is_global() {
2153                         bug!("Attempted to intern `{:?}` which contains \
2154                               inference types/regions in the global type context",
2155                              v);
2156                     }
2157
2158                     let i = $alloc_method(&self.interners.arena, v);
2159                     interner.insert(Interned(i));
2160                     i
2161                 } else {
2162                     let mut interner = self.global_interners.$name.borrow_mut();
2163                     if let Some(&Interned(v)) = interner.get(key) {
2164                         return v;
2165                     }
2166
2167                     // This transmutes $alloc<'tcx> to $alloc<'gcx>
2168                     let v = unsafe {
2169                         mem::transmute(v)
2170                     };
2171                     let i: &$lt_tcx $ty = $alloc_method(&self.global_interners.arena, v);
2172                     // Cast to 'gcx
2173                     let i = unsafe { mem::transmute(i) };
2174                     interner.insert(Interned(i));
2175                     i
2176                 }
2177             }
2178         }
2179     }
2180 }
2181
2182 macro_rules! direct_interners {
2183     ($lt_tcx:tt, $($name:ident: $method:ident($keep_in_local_tcx:expr) -> $ty:ty),+) => {
2184         $(impl<$lt_tcx> PartialEq for Interned<$lt_tcx, $ty> {
2185             fn eq(&self, other: &Self) -> bool {
2186                 self.0 == other.0
2187             }
2188         }
2189
2190         impl<$lt_tcx> Eq for Interned<$lt_tcx, $ty> {}
2191
2192         impl<$lt_tcx> Hash for Interned<$lt_tcx, $ty> {
2193             fn hash<H: Hasher>(&self, s: &mut H) {
2194                 self.0.hash(s)
2195             }
2196         }
2197
2198         intern_method!(
2199             $lt_tcx,
2200             $name: $method($ty,
2201                            |a: &$lt_tcx SyncDroplessArena, v| -> &$lt_tcx $ty { a.alloc(v) },
2202                            |x| x,
2203                            $keep_in_local_tcx) -> $ty);)+
2204     }
2205 }
2206
2207 pub fn keep_local<'tcx, T: ty::TypeFoldable<'tcx>>(x: &T) -> bool {
2208     x.has_type_flags(ty::TypeFlags::KEEP_IN_LOCAL_TCX)
2209 }
2210
2211 direct_interners!('tcx,
2212     region: mk_region(|r: &RegionKind| r.keep_in_local_tcx()) -> RegionKind,
2213     const_: mk_const(|c: &Const| keep_local(&c.ty) || keep_local(&c.val)) -> Const<'tcx>
2214 );
2215
2216 macro_rules! slice_interners {
2217     ($($field:ident: $method:ident($ty:ident)),+) => (
2218         $(intern_method!( 'tcx, $field: $method(
2219             &[$ty<'tcx>],
2220             |a, v| Slice::from_arena(a, v),
2221             Deref::deref,
2222             |xs: &[$ty]| xs.iter().any(keep_local)) -> Slice<$ty<'tcx>>);)+
2223     )
2224 }
2225
2226 slice_interners!(
2227     existential_predicates: _intern_existential_predicates(ExistentialPredicate),
2228     predicates: _intern_predicates(Predicate),
2229     type_list: _intern_type_list(Ty),
2230     substs: _intern_substs(Kind),
2231     clauses: _intern_clauses(Clause),
2232     goals: _intern_goals(Goal)
2233 );
2234
2235 // This isn't a perfect fit: CanonicalVarInfo slices are always
2236 // allocated in the global arena, so this `intern_method!` macro is
2237 // overly general.  But we just return false for the code that checks
2238 // whether they belong in the thread-local arena, so no harm done, and
2239 // seems better than open-coding the rest.
2240 intern_method! {
2241     'tcx,
2242     canonical_var_infos: _intern_canonical_var_infos(
2243         &[CanonicalVarInfo],
2244         |a, v| Slice::from_arena(a, v),
2245         Deref::deref,
2246         |_xs: &[CanonicalVarInfo]| -> bool { false }
2247     ) -> Slice<CanonicalVarInfo>
2248 }
2249
2250 impl<'a, 'gcx, 'tcx> TyCtxt<'a, 'gcx, 'tcx> {
2251     /// Given a `fn` type, returns an equivalent `unsafe fn` type;
2252     /// that is, a `fn` type that is equivalent in every way for being
2253     /// unsafe.
2254     pub fn safe_to_unsafe_fn_ty(self, sig: PolyFnSig<'tcx>) -> Ty<'tcx> {
2255         assert_eq!(sig.unsafety(), hir::Unsafety::Normal);
2256         self.mk_fn_ptr(sig.map_bound(|sig| ty::FnSig {
2257             unsafety: hir::Unsafety::Unsafe,
2258             ..sig
2259         }))
2260     }
2261
2262     /// Given a closure signature `sig`, returns an equivalent `fn`
2263     /// type with the same signature. Detuples and so forth -- so
2264     /// e.g. if we have a sig with `Fn<(u32, i32)>` then you would get
2265     /// a `fn(u32, i32)`.
2266     pub fn coerce_closure_fn_ty(self, sig: PolyFnSig<'tcx>) -> Ty<'tcx> {
2267         let converted_sig = sig.map_bound(|s| {
2268             let params_iter = match s.inputs()[0].sty {
2269                 ty::TyTuple(params) => {
2270                     params.into_iter().cloned()
2271                 }
2272                 _ => bug!(),
2273             };
2274             self.mk_fn_sig(
2275                 params_iter,
2276                 s.output(),
2277                 s.variadic,
2278                 hir::Unsafety::Normal,
2279                 abi::Abi::Rust,
2280             )
2281         });
2282
2283         self.mk_fn_ptr(converted_sig)
2284     }
2285
2286     pub fn mk_ty(&self, st: TypeVariants<'tcx>) -> Ty<'tcx> {
2287         CtxtInterners::intern_ty(&self.interners, &self.global_interners, st)
2288     }
2289
2290     pub fn mk_mach_int(self, tm: ast::IntTy) -> Ty<'tcx> {
2291         match tm {
2292             ast::IntTy::Isize   => self.types.isize,
2293             ast::IntTy::I8   => self.types.i8,
2294             ast::IntTy::I16  => self.types.i16,
2295             ast::IntTy::I32  => self.types.i32,
2296             ast::IntTy::I64  => self.types.i64,
2297             ast::IntTy::I128  => self.types.i128,
2298         }
2299     }
2300
2301     pub fn mk_mach_uint(self, tm: ast::UintTy) -> Ty<'tcx> {
2302         match tm {
2303             ast::UintTy::Usize   => self.types.usize,
2304             ast::UintTy::U8   => self.types.u8,
2305             ast::UintTy::U16  => self.types.u16,
2306             ast::UintTy::U32  => self.types.u32,
2307             ast::UintTy::U64  => self.types.u64,
2308             ast::UintTy::U128  => self.types.u128,
2309         }
2310     }
2311
2312     pub fn mk_mach_float(self, tm: ast::FloatTy) -> Ty<'tcx> {
2313         match tm {
2314             ast::FloatTy::F32  => self.types.f32,
2315             ast::FloatTy::F64  => self.types.f64,
2316         }
2317     }
2318
2319     pub fn mk_str(self) -> Ty<'tcx> {
2320         self.mk_ty(TyStr)
2321     }
2322
2323     pub fn mk_static_str(self) -> Ty<'tcx> {
2324         self.mk_imm_ref(self.types.re_static, self.mk_str())
2325     }
2326
2327     pub fn mk_adt(self, def: &'tcx AdtDef, substs: &'tcx Substs<'tcx>) -> Ty<'tcx> {
2328         // take a copy of substs so that we own the vectors inside
2329         self.mk_ty(TyAdt(def, substs))
2330     }
2331
2332     pub fn mk_foreign(self, def_id: DefId) -> Ty<'tcx> {
2333         self.mk_ty(TyForeign(def_id))
2334     }
2335
2336     pub fn mk_box(self, ty: Ty<'tcx>) -> Ty<'tcx> {
2337         let def_id = self.require_lang_item(lang_items::OwnedBoxLangItem);
2338         let adt_def = self.adt_def(def_id);
2339         let substs = Substs::for_item(self, def_id, |param, substs| {
2340             match param.kind {
2341                 GenericParamDefKind::Lifetime => bug!(),
2342                 GenericParamDefKind::Type { has_default, .. } => {
2343                     if param.index == 0 {
2344                         ty.into()
2345                     } else {
2346                         assert!(has_default);
2347                         self.type_of(param.def_id).subst(self, substs).into()
2348                     }
2349                 }
2350             }
2351         });
2352         self.mk_ty(TyAdt(adt_def, substs))
2353     }
2354
2355     pub fn mk_ptr(self, tm: TypeAndMut<'tcx>) -> Ty<'tcx> {
2356         self.mk_ty(TyRawPtr(tm))
2357     }
2358
2359     pub fn mk_ref(self, r: Region<'tcx>, tm: TypeAndMut<'tcx>) -> Ty<'tcx> {
2360         self.mk_ty(TyRef(r, tm.ty, tm.mutbl))
2361     }
2362
2363     pub fn mk_mut_ref(self, r: Region<'tcx>, ty: Ty<'tcx>) -> Ty<'tcx> {
2364         self.mk_ref(r, TypeAndMut {ty: ty, mutbl: hir::MutMutable})
2365     }
2366
2367     pub fn mk_imm_ref(self, r: Region<'tcx>, ty: Ty<'tcx>) -> Ty<'tcx> {
2368         self.mk_ref(r, TypeAndMut {ty: ty, mutbl: hir::MutImmutable})
2369     }
2370
2371     pub fn mk_mut_ptr(self, ty: Ty<'tcx>) -> Ty<'tcx> {
2372         self.mk_ptr(TypeAndMut {ty: ty, mutbl: hir::MutMutable})
2373     }
2374
2375     pub fn mk_imm_ptr(self, ty: Ty<'tcx>) -> Ty<'tcx> {
2376         self.mk_ptr(TypeAndMut {ty: ty, mutbl: hir::MutImmutable})
2377     }
2378
2379     pub fn mk_nil_ptr(self) -> Ty<'tcx> {
2380         self.mk_imm_ptr(self.mk_nil())
2381     }
2382
2383     pub fn mk_array(self, ty: Ty<'tcx>, n: u64) -> Ty<'tcx> {
2384         self.mk_ty(TyArray(ty, ty::Const::from_usize(self, n)))
2385     }
2386
2387     pub fn mk_slice(self, ty: Ty<'tcx>) -> Ty<'tcx> {
2388         self.mk_ty(TySlice(ty))
2389     }
2390
2391     pub fn intern_tup(self, ts: &[Ty<'tcx>]) -> Ty<'tcx> {
2392         self.mk_ty(TyTuple(self.intern_type_list(ts)))
2393     }
2394
2395     pub fn mk_tup<I: InternAs<[Ty<'tcx>], Ty<'tcx>>>(self, iter: I) -> I::Output {
2396         iter.intern_with(|ts| self.mk_ty(TyTuple(self.intern_type_list(ts))))
2397     }
2398
2399     pub fn mk_nil(self) -> Ty<'tcx> {
2400         self.intern_tup(&[])
2401     }
2402
2403     pub fn mk_diverging_default(self) -> Ty<'tcx> {
2404         if self.features().never_type {
2405             self.types.never
2406         } else {
2407             self.intern_tup(&[])
2408         }
2409     }
2410
2411     pub fn mk_bool(self) -> Ty<'tcx> {
2412         self.mk_ty(TyBool)
2413     }
2414
2415     pub fn mk_fn_def(self, def_id: DefId,
2416                      substs: &'tcx Substs<'tcx>) -> Ty<'tcx> {
2417         self.mk_ty(TyFnDef(def_id, substs))
2418     }
2419
2420     pub fn mk_fn_ptr(self, fty: PolyFnSig<'tcx>) -> Ty<'tcx> {
2421         self.mk_ty(TyFnPtr(fty))
2422     }
2423
2424     pub fn mk_dynamic(
2425         self,
2426         obj: ty::Binder<&'tcx Slice<ExistentialPredicate<'tcx>>>,
2427         reg: ty::Region<'tcx>
2428     ) -> Ty<'tcx> {
2429         self.mk_ty(TyDynamic(obj, reg))
2430     }
2431
2432     pub fn mk_projection(self,
2433                          item_def_id: DefId,
2434                          substs: &'tcx Substs<'tcx>)
2435         -> Ty<'tcx> {
2436             self.mk_ty(TyProjection(ProjectionTy {
2437                 item_def_id,
2438                 substs,
2439             }))
2440         }
2441
2442     pub fn mk_closure(self, closure_id: DefId, closure_substs: ClosureSubsts<'tcx>)
2443                                           -> Ty<'tcx> {
2444         self.mk_ty(TyClosure(closure_id, closure_substs))
2445     }
2446
2447     pub fn mk_generator(self,
2448                         id: DefId,
2449                         generator_substs: GeneratorSubsts<'tcx>,
2450                         movability: hir::GeneratorMovability)
2451                         -> Ty<'tcx> {
2452         self.mk_ty(TyGenerator(id, generator_substs, movability))
2453     }
2454
2455     pub fn mk_generator_witness(self, types: ty::Binder<&'tcx Slice<Ty<'tcx>>>) -> Ty<'tcx> {
2456         self.mk_ty(TyGeneratorWitness(types))
2457     }
2458
2459     pub fn mk_var(self, v: TyVid) -> Ty<'tcx> {
2460         self.mk_infer(TyVar(v))
2461     }
2462
2463     pub fn mk_int_var(self, v: IntVid) -> Ty<'tcx> {
2464         self.mk_infer(IntVar(v))
2465     }
2466
2467     pub fn mk_float_var(self, v: FloatVid) -> Ty<'tcx> {
2468         self.mk_infer(FloatVar(v))
2469     }
2470
2471     pub fn mk_infer(self, it: InferTy) -> Ty<'tcx> {
2472         self.mk_ty(TyInfer(it))
2473     }
2474
2475     pub fn mk_ty_param(self,
2476                     index: u32,
2477                     name: InternedString) -> Ty<'tcx> {
2478         self.mk_ty(TyParam(ParamTy { idx: index, name: name }))
2479     }
2480
2481     pub fn mk_self_type(self) -> Ty<'tcx> {
2482         self.mk_ty_param(0, keywords::SelfType.name().as_interned_str())
2483     }
2484
2485     pub fn mk_param_from_def(self, param: &ty::GenericParamDef) -> Kind<'tcx> {
2486         match param.kind {
2487             GenericParamDefKind::Lifetime => {
2488                 self.mk_region(ty::ReEarlyBound(param.to_early_bound_region_data())).into()
2489             }
2490             GenericParamDefKind::Type {..} => self.mk_ty_param(param.index, param.name).into(),
2491         }
2492     }
2493
2494     pub fn mk_anon(self, def_id: DefId, substs: &'tcx Substs<'tcx>) -> Ty<'tcx> {
2495         self.mk_ty(TyAnon(def_id, substs))
2496     }
2497
2498     pub fn intern_existential_predicates(self, eps: &[ExistentialPredicate<'tcx>])
2499         -> &'tcx Slice<ExistentialPredicate<'tcx>> {
2500         assert!(!eps.is_empty());
2501         assert!(eps.windows(2).all(|w| w[0].cmp(self, &w[1]) != Ordering::Greater));
2502         self._intern_existential_predicates(eps)
2503     }
2504
2505     pub fn intern_predicates(self, preds: &[Predicate<'tcx>])
2506         -> &'tcx Slice<Predicate<'tcx>> {
2507         // FIXME consider asking the input slice to be sorted to avoid
2508         // re-interning permutations, in which case that would be asserted
2509         // here.
2510         if preds.len() == 0 {
2511             // The macro-generated method below asserts we don't intern an empty slice.
2512             Slice::empty()
2513         } else {
2514             self._intern_predicates(preds)
2515         }
2516     }
2517
2518     pub fn intern_type_list(self, ts: &[Ty<'tcx>]) -> &'tcx Slice<Ty<'tcx>> {
2519         if ts.len() == 0 {
2520             Slice::empty()
2521         } else {
2522             self._intern_type_list(ts)
2523         }
2524     }
2525
2526     pub fn intern_substs(self, ts: &[Kind<'tcx>]) -> &'tcx Slice<Kind<'tcx>> {
2527         if ts.len() == 0 {
2528             Slice::empty()
2529         } else {
2530             self._intern_substs(ts)
2531         }
2532     }
2533
2534     pub fn intern_canonical_var_infos(self, ts: &[CanonicalVarInfo]) -> CanonicalVarInfos<'gcx> {
2535         if ts.len() == 0 {
2536             Slice::empty()
2537         } else {
2538             self.global_tcx()._intern_canonical_var_infos(ts)
2539         }
2540     }
2541
2542     pub fn intern_clauses(self, ts: &[Clause<'tcx>]) -> Clauses<'tcx> {
2543         if ts.len() == 0 {
2544             Slice::empty()
2545         } else {
2546             self._intern_clauses(ts)
2547         }
2548     }
2549
2550     pub fn intern_goals(self, ts: &[Goal<'tcx>]) -> Goals<'tcx> {
2551         if ts.len() == 0 {
2552             Slice::empty()
2553         } else {
2554             self._intern_goals(ts)
2555         }
2556     }
2557
2558     pub fn mk_fn_sig<I>(self,
2559                         inputs: I,
2560                         output: I::Item,
2561                         variadic: bool,
2562                         unsafety: hir::Unsafety,
2563                         abi: abi::Abi)
2564         -> <I::Item as InternIteratorElement<Ty<'tcx>, ty::FnSig<'tcx>>>::Output
2565         where I: Iterator,
2566               I::Item: InternIteratorElement<Ty<'tcx>, ty::FnSig<'tcx>>
2567     {
2568         inputs.chain(iter::once(output)).intern_with(|xs| ty::FnSig {
2569             inputs_and_output: self.intern_type_list(xs),
2570             variadic, unsafety, abi
2571         })
2572     }
2573
2574     pub fn mk_existential_predicates<I: InternAs<[ExistentialPredicate<'tcx>],
2575                                      &'tcx Slice<ExistentialPredicate<'tcx>>>>(self, iter: I)
2576                                      -> I::Output {
2577         iter.intern_with(|xs| self.intern_existential_predicates(xs))
2578     }
2579
2580     pub fn mk_predicates<I: InternAs<[Predicate<'tcx>],
2581                                      &'tcx Slice<Predicate<'tcx>>>>(self, iter: I)
2582                                      -> I::Output {
2583         iter.intern_with(|xs| self.intern_predicates(xs))
2584     }
2585
2586     pub fn mk_type_list<I: InternAs<[Ty<'tcx>],
2587                         &'tcx Slice<Ty<'tcx>>>>(self, iter: I) -> I::Output {
2588         iter.intern_with(|xs| self.intern_type_list(xs))
2589     }
2590
2591     pub fn mk_substs<I: InternAs<[Kind<'tcx>],
2592                      &'tcx Slice<Kind<'tcx>>>>(self, iter: I) -> I::Output {
2593         iter.intern_with(|xs| self.intern_substs(xs))
2594     }
2595
2596     pub fn mk_substs_trait(self,
2597                      self_ty: Ty<'tcx>,
2598                      rest: &[Kind<'tcx>])
2599                     -> &'tcx Substs<'tcx>
2600     {
2601         self.mk_substs(iter::once(self_ty.into()).chain(rest.iter().cloned()))
2602     }
2603
2604     pub fn mk_clauses<I: InternAs<[Clause<'tcx>], Clauses<'tcx>>>(self, iter: I) -> I::Output {
2605         iter.intern_with(|xs| self.intern_clauses(xs))
2606     }
2607
2608     pub fn mk_goals<I: InternAs<[Goal<'tcx>], Goals<'tcx>>>(self, iter: I) -> I::Output {
2609         iter.intern_with(|xs| self.intern_goals(xs))
2610     }
2611
2612     pub fn mk_goal(self, goal: Goal<'tcx>) -> &'tcx Goal {
2613         &self.intern_goals(&[goal])[0]
2614     }
2615
2616     pub fn lint_hir<S: Into<MultiSpan>>(self,
2617                                         lint: &'static Lint,
2618                                         hir_id: HirId,
2619                                         span: S,
2620                                         msg: &str) {
2621         self.struct_span_lint_hir(lint, hir_id, span.into(), msg).emit()
2622     }
2623
2624     pub fn lint_node<S: Into<MultiSpan>>(self,
2625                                          lint: &'static Lint,
2626                                          id: NodeId,
2627                                          span: S,
2628                                          msg: &str) {
2629         self.struct_span_lint_node(lint, id, span.into(), msg).emit()
2630     }
2631
2632     pub fn lint_hir_note<S: Into<MultiSpan>>(self,
2633                                               lint: &'static Lint,
2634                                               hir_id: HirId,
2635                                               span: S,
2636                                               msg: &str,
2637                                               note: &str) {
2638         let mut err = self.struct_span_lint_hir(lint, hir_id, span.into(), msg);
2639         err.note(note);
2640         err.emit()
2641     }
2642
2643     pub fn lint_node_note<S: Into<MultiSpan>>(self,
2644                                               lint: &'static Lint,
2645                                               id: NodeId,
2646                                               span: S,
2647                                               msg: &str,
2648                                               note: &str) {
2649         let mut err = self.struct_span_lint_node(lint, id, span.into(), msg);
2650         err.note(note);
2651         err.emit()
2652     }
2653
2654     pub fn lint_level_at_node(self, lint: &'static Lint, mut id: NodeId)
2655         -> (lint::Level, lint::LintSource)
2656     {
2657         // Right now we insert a `with_ignore` node in the dep graph here to
2658         // ignore the fact that `lint_levels` below depends on the entire crate.
2659         // For now this'll prevent false positives of recompiling too much when
2660         // anything changes.
2661         //
2662         // Once red/green incremental compilation lands we should be able to
2663         // remove this because while the crate changes often the lint level map
2664         // will change rarely.
2665         self.dep_graph.with_ignore(|| {
2666             let sets = self.lint_levels(LOCAL_CRATE);
2667             loop {
2668                 let hir_id = self.hir.definitions().node_to_hir_id(id);
2669                 if let Some(pair) = sets.level_and_source(lint, hir_id, self.sess) {
2670                     return pair
2671                 }
2672                 let next = self.hir.get_parent_node(id);
2673                 if next == id {
2674                     bug!("lint traversal reached the root of the crate");
2675                 }
2676                 id = next;
2677             }
2678         })
2679     }
2680
2681     pub fn struct_span_lint_hir<S: Into<MultiSpan>>(self,
2682                                                     lint: &'static Lint,
2683                                                     hir_id: HirId,
2684                                                     span: S,
2685                                                     msg: &str)
2686         -> DiagnosticBuilder<'tcx>
2687     {
2688         let node_id = self.hir.hir_to_node_id(hir_id);
2689         let (level, src) = self.lint_level_at_node(lint, node_id);
2690         lint::struct_lint_level(self.sess, lint, level, src, Some(span.into()), msg)
2691     }
2692
2693     pub fn struct_span_lint_node<S: Into<MultiSpan>>(self,
2694                                                      lint: &'static Lint,
2695                                                      id: NodeId,
2696                                                      span: S,
2697                                                      msg: &str)
2698         -> DiagnosticBuilder<'tcx>
2699     {
2700         let (level, src) = self.lint_level_at_node(lint, id);
2701         lint::struct_lint_level(self.sess, lint, level, src, Some(span.into()), msg)
2702     }
2703
2704     pub fn struct_lint_node(self, lint: &'static Lint, id: NodeId, msg: &str)
2705         -> DiagnosticBuilder<'tcx>
2706     {
2707         let (level, src) = self.lint_level_at_node(lint, id);
2708         lint::struct_lint_level(self.sess, lint, level, src, None, msg)
2709     }
2710
2711     pub fn in_scope_traits(self, id: HirId) -> Option<Lrc<StableVec<TraitCandidate>>> {
2712         self.in_scope_traits_map(id.owner)
2713             .and_then(|map| map.get(&id.local_id).cloned())
2714     }
2715
2716     pub fn named_region(self, id: HirId) -> Option<resolve_lifetime::Region> {
2717         self.named_region_map(id.owner)
2718             .and_then(|map| map.get(&id.local_id).cloned())
2719     }
2720
2721     pub fn is_late_bound(self, id: HirId) -> bool {
2722         self.is_late_bound_map(id.owner)
2723             .map(|set| set.contains(&id.local_id))
2724             .unwrap_or(false)
2725     }
2726
2727     pub fn object_lifetime_defaults(self, id: HirId)
2728         -> Option<Lrc<Vec<ObjectLifetimeDefault>>>
2729     {
2730         self.object_lifetime_defaults_map(id.owner)
2731             .and_then(|map| map.get(&id.local_id).cloned())
2732     }
2733 }
2734
2735 pub trait InternAs<T: ?Sized, R> {
2736     type Output;
2737     fn intern_with<F>(self, f: F) -> Self::Output
2738         where F: FnOnce(&T) -> R;
2739 }
2740
2741 impl<I, T, R, E> InternAs<[T], R> for I
2742     where E: InternIteratorElement<T, R>,
2743           I: Iterator<Item=E> {
2744     type Output = E::Output;
2745     fn intern_with<F>(self, f: F) -> Self::Output
2746         where F: FnOnce(&[T]) -> R {
2747         E::intern_with(self, f)
2748     }
2749 }
2750
2751 pub trait InternIteratorElement<T, R>: Sized {
2752     type Output;
2753     fn intern_with<I: Iterator<Item=Self>, F: FnOnce(&[T]) -> R>(iter: I, f: F) -> Self::Output;
2754 }
2755
2756 impl<T, R> InternIteratorElement<T, R> for T {
2757     type Output = R;
2758     fn intern_with<I: Iterator<Item=Self>, F: FnOnce(&[T]) -> R>(iter: I, f: F) -> Self::Output {
2759         f(&iter.collect::<AccumulateVec<[_; 8]>>())
2760     }
2761 }
2762
2763 impl<'a, T, R> InternIteratorElement<T, R> for &'a T
2764     where T: Clone + 'a
2765 {
2766     type Output = R;
2767     fn intern_with<I: Iterator<Item=Self>, F: FnOnce(&[T]) -> R>(iter: I, f: F) -> Self::Output {
2768         f(&iter.cloned().collect::<AccumulateVec<[_; 8]>>())
2769     }
2770 }
2771
2772 impl<T, R, E> InternIteratorElement<T, R> for Result<T, E> {
2773     type Output = Result<R, E>;
2774     fn intern_with<I: Iterator<Item=Self>, F: FnOnce(&[T]) -> R>(iter: I, f: F) -> Self::Output {
2775         Ok(f(&iter.collect::<Result<AccumulateVec<[_; 8]>, _>>()?))
2776     }
2777 }
2778
2779 pub fn provide(providers: &mut ty::maps::Providers) {
2780     // FIXME(#44234) - almost all of these queries have no sub-queries and
2781     // therefore no actual inputs, they're just reading tables calculated in
2782     // resolve! Does this work? Unsure! That's what the issue is about
2783     providers.in_scope_traits_map = |tcx, id| tcx.gcx.trait_map.get(&id).cloned();
2784     providers.module_exports = |tcx, id| tcx.gcx.export_map.get(&id).cloned();
2785     providers.crate_name = |tcx, id| {
2786         assert_eq!(id, LOCAL_CRATE);
2787         tcx.crate_name
2788     };
2789     providers.get_lang_items = |tcx, id| {
2790         assert_eq!(id, LOCAL_CRATE);
2791         // FIXME(#42293) Right now we insert a `with_ignore` node in the dep
2792         // graph here to ignore the fact that `get_lang_items` below depends on
2793         // the entire crate.  For now this'll prevent false positives of
2794         // recompiling too much when anything changes.
2795         //
2796         // Once red/green incremental compilation lands we should be able to
2797         // remove this because while the crate changes often the lint level map
2798         // will change rarely.
2799         tcx.dep_graph.with_ignore(|| Lrc::new(middle::lang_items::collect(tcx)))
2800     };
2801     providers.freevars = |tcx, id| tcx.gcx.freevars.get(&id).cloned();
2802     providers.maybe_unused_trait_import = |tcx, id| {
2803         tcx.maybe_unused_trait_imports.contains(&id)
2804     };
2805     providers.maybe_unused_extern_crates = |tcx, cnum| {
2806         assert_eq!(cnum, LOCAL_CRATE);
2807         Lrc::new(tcx.maybe_unused_extern_crates.clone())
2808     };
2809
2810     providers.stability_index = |tcx, cnum| {
2811         assert_eq!(cnum, LOCAL_CRATE);
2812         Lrc::new(stability::Index::new(tcx))
2813     };
2814     providers.lookup_stability = |tcx, id| {
2815         assert_eq!(id.krate, LOCAL_CRATE);
2816         let id = tcx.hir.definitions().def_index_to_hir_id(id.index);
2817         tcx.stability().local_stability(id)
2818     };
2819     providers.lookup_deprecation_entry = |tcx, id| {
2820         assert_eq!(id.krate, LOCAL_CRATE);
2821         let id = tcx.hir.definitions().def_index_to_hir_id(id.index);
2822         tcx.stability().local_deprecation_entry(id)
2823     };
2824     providers.extern_mod_stmt_cnum = |tcx, id| {
2825         let id = tcx.hir.as_local_node_id(id).unwrap();
2826         tcx.cstore.extern_mod_stmt_cnum_untracked(id)
2827     };
2828     providers.all_crate_nums = |tcx, cnum| {
2829         assert_eq!(cnum, LOCAL_CRATE);
2830         Lrc::new(tcx.cstore.crates_untracked())
2831     };
2832     providers.postorder_cnums = |tcx, cnum| {
2833         assert_eq!(cnum, LOCAL_CRATE);
2834         Lrc::new(tcx.cstore.postorder_cnums_untracked())
2835     };
2836     providers.output_filenames = |tcx, cnum| {
2837         assert_eq!(cnum, LOCAL_CRATE);
2838         tcx.output_filenames.clone()
2839     };
2840     providers.features_query = |tcx, cnum| {
2841         assert_eq!(cnum, LOCAL_CRATE);
2842         Lrc::new(tcx.sess.features_untracked().clone())
2843     };
2844     providers.is_panic_runtime = |tcx, cnum| {
2845         assert_eq!(cnum, LOCAL_CRATE);
2846         attr::contains_name(tcx.hir.krate_attrs(), "panic_runtime")
2847     };
2848     providers.is_compiler_builtins = |tcx, cnum| {
2849         assert_eq!(cnum, LOCAL_CRATE);
2850         attr::contains_name(tcx.hir.krate_attrs(), "compiler_builtins")
2851     };
2852 }