compiler/rustc_middle/src/hir/map/collector.rs

   1 use crate::arena::Arena;
   2 use crate::hir::map::{Entry, HirOwnerData, Map};
   3 use crate::hir::{Owner, OwnerNodes, ParentedNode};
   4 use crate::ich::StableHashingContext;
   5 use crate::middle::cstore::CrateStore;
   6 use rustc_data_structures::fingerprint::Fingerprint;
   7 use rustc_data_structures::fx::FxHashMap;
   8 use rustc_data_structures::stable_hasher::{HashStable, StableHasher};
   9 use rustc_data_structures::svh::Svh;
  10 use rustc_hir as hir;
  11 use rustc_hir::def_id::CRATE_DEF_INDEX;
  12 use rustc_hir::def_id::{LocalDefId, LOCAL_CRATE};
  13 use rustc_hir::definitions::{self, DefPathHash};
  14 use rustc_hir::intravisit::{self, NestedVisitorMap, Visitor};
  15 use rustc_hir::*;
  16 use rustc_index::vec::{Idx, IndexVec};
  17 use rustc_session::{CrateDisambiguator, Session};
  18 use rustc_span::source_map::SourceMap;
  19 use rustc_span::{Span, Symbol, DUMMY_SP};
  20
  21 use std::iter::repeat;
  22
  23 /// A visitor that walks over the HIR and collects `Node`s into a HIR map.
  24 pub(super) struct NodeCollector<'a, 'hir> {
  25     arena: &'hir Arena<'hir>,
  26
  27     /// The crate
  28     krate: &'hir Crate<'hir>,
  29
  30     /// Source map
  31     source_map: &'a SourceMap,
  32
  33     map: IndexVec<LocalDefId, HirOwnerData<'hir>>,
  34
  35     /// The parent of this node
  36     parent_node: hir::HirId,
  37
  38     current_dep_node_owner: LocalDefId,
  39
  40     definitions: &'a definitions::Definitions,
  41
  42     hcx: StableHashingContext<'a>,
  43
  44     // We are collecting HIR hashes here so we can compute the
  45     // crate hash from them later on.
  46     hir_body_nodes: Vec<(DefPathHash, Fingerprint)>,
  47 }
  48
  49 fn insert_vec_map<K: Idx, V: Clone>(map: &mut IndexVec<K, Option<V>>, k: K, v: V) {
  50     let i = k.index();
  51     let len = map.len();
  52     if i >= len {
  53         map.extend(repeat(None).take(i - len + 1));
  54     }
  55     map[k] = Some(v);
  56 }
  57
  58 fn hash_body(
  59     hcx: &mut StableHashingContext<'_>,
  60     def_path_hash: DefPathHash,
  61     item_like: impl for<'a> HashStable<StableHashingContext<'a>>,
  62     hir_body_nodes: &mut Vec<(DefPathHash, Fingerprint)>,
  63 ) -> Fingerprint {
  64     let hash = {
  65         let mut stable_hasher = StableHasher::new();
  66         hcx.while_hashing_hir_bodies(true, |hcx| {
  67             item_like.hash_stable(hcx, &mut stable_hasher);
  68         });
  69         stable_hasher.finish()
  70     };
  71     hir_body_nodes.push((def_path_hash, hash));
  72     hash
  73 }
  74
  75 fn upstream_crates(cstore: &dyn CrateStore) -> Vec<(Symbol, Fingerprint, Svh)> {
  76     let mut upstream_crates: Vec<_> = cstore
  77         .crates_untracked()
  78         .iter()
  79         .map(|&cnum| {
  80             let name = cstore.crate_name_untracked(cnum);
  81             let disambiguator = cstore.crate_disambiguator_untracked(cnum).to_fingerprint();
  82             let hash = cstore.crate_hash_untracked(cnum);
  83             (name, disambiguator, hash)
  84         })
  85         .collect();
  86     upstream_crates.sort_unstable_by_key(|&(name, dis, _)| (name.as_str(), dis));
  87     upstream_crates
  88 }
  89
  90 impl<'a, 'hir> NodeCollector<'a, 'hir> {
  91     pub(super) fn root(
  92         sess: &'a Session,
  93         arena: &'hir Arena<'hir>,
  94         krate: &'hir Crate<'hir>,
  95         definitions: &'a definitions::Definitions,
  96         mut hcx: StableHashingContext<'a>,
  97     ) -> NodeCollector<'a, 'hir> {
  98         let root_mod_def_path_hash =
  99             definitions.def_path_hash(LocalDefId { local_def_index: CRATE_DEF_INDEX });
 100
 101         let mut hir_body_nodes = Vec::new();
 102
 103         let hash = {
 104             let Crate {
 105                 ref item,
 106                 // These fields are handled separately:
 107                 exported_macros: _,
 108                 non_exported_macro_attrs: _,
 109                 items: _,
 110                 trait_items: _,
 111                 impl_items: _,
 112                 foreign_items: _,
 113                 bodies: _,
 114                 trait_impls: _,
 115                 body_ids: _,
 116                 modules: _,
 117                 proc_macros: _,
 118                 trait_map: _,
 119                 attrs: _,
 120             } = *krate;
 121
 122             hash_body(&mut hcx, root_mod_def_path_hash, item, &mut hir_body_nodes)
 123         };
 124
 125         let mut collector = NodeCollector {
 126             arena,
 127             krate,
 128             source_map: sess.source_map(),
 129             parent_node: hir::CRATE_HIR_ID,
 130             current_dep_node_owner: LocalDefId { local_def_index: CRATE_DEF_INDEX },
 131             definitions,
 132             hcx,
 133             hir_body_nodes,
 134             map: (0..definitions.def_index_count())
 135                 .map(|_| HirOwnerData { signature: None, with_bodies: None })
 136                 .collect(),
 137         };
 138         collector.insert_entry(
 139             hir::CRATE_HIR_ID,
 140             Entry { parent: hir::CRATE_HIR_ID, node: Node::Crate(&krate.item) },
 141             hash,
 142         );
 143
 144         collector
 145     }
 146
 147     pub(super) fn finalize_and_compute_crate_hash(
 148         mut self,
 149         crate_disambiguator: CrateDisambiguator,
 150         cstore: &dyn CrateStore,
 151         commandline_args_hash: u64,
 152     ) -> (IndexVec<LocalDefId, HirOwnerData<'hir>>, Svh) {
 153         // Insert bodies into the map
 154         for (id, body) in self.krate.bodies.iter() {
 155             let bodies = &mut self.map[id.hir_id.owner].with_bodies.as_mut().unwrap().bodies;
 156             assert!(bodies.insert(id.hir_id.local_id, body).is_none());
 157         }
 158
 159         self.hir_body_nodes.sort_unstable_by_key(|bn| bn.0);
 160
 161         let node_hashes = self.hir_body_nodes.iter().fold(
 162             Fingerprint::ZERO,
 163             |combined_fingerprint, &(def_path_hash, fingerprint)| {
 164                 combined_fingerprint.combine(def_path_hash.0.combine(fingerprint))
 165             },
 166         );
 167
 168         let upstream_crates = upstream_crates(cstore);
 169
 170         // We hash the final, remapped names of all local source files so we
 171         // don't have to include the path prefix remapping commandline args.
 172         // If we included the full mapping in the SVH, we could only have
 173         // reproducible builds by compiling from the same directory. So we just
 174         // hash the result of the mapping instead of the mapping itself.
 175         let mut source_file_names: Vec<_> = self
 176             .source_map
 177             .files()
 178             .iter()
 179             .filter(|source_file| source_file.cnum == LOCAL_CRATE)
 180             .map(|source_file| source_file.name_hash)
 181             .collect();
 182
 183         source_file_names.sort_unstable();
 184
 185         let crate_hash_input = (
 186             ((node_hashes, upstream_crates), source_file_names),
 187             (commandline_args_hash, crate_disambiguator.to_fingerprint()),
 188         );
 189
 190         let mut stable_hasher = StableHasher::new();
 191         crate_hash_input.hash_stable(&mut self.hcx, &mut stable_hasher);
 192         let crate_hash: Fingerprint = stable_hasher.finish();
 193
 194         let svh = Svh::new(crate_hash.to_smaller_hash());
 195         (self.map, svh)
 196     }
 197
 198     fn insert_entry(&mut self, id: HirId, entry: Entry<'hir>, hash: Fingerprint) {
 199         let i = id.local_id.as_u32() as usize;
 200
 201         let arena = self.arena;
 202
 203         let data = &mut self.map[id.owner];
 204
 205         if data.with_bodies.is_none() {
 206             data.with_bodies = Some(arena.alloc(OwnerNodes {
 207                 hash,
 208                 nodes: IndexVec::new(),
 209                 bodies: FxHashMap::default(),
 210             }));
 211         }
 212
 213         let nodes = data.with_bodies.as_mut().unwrap();
 214
 215         if i == 0 {
 216             // Overwrite the dummy hash with the real HIR owner hash.
 217             nodes.hash = hash;
 218
 219             // FIXME: feature(impl_trait_in_bindings) broken and trigger this assert
 220             //assert!(data.signature.is_none());
 221
 222             data.signature =
 223                 Some(self.arena.alloc(Owner { parent: entry.parent, node: entry.node }));
 224         } else {
 225             assert_eq!(entry.parent.owner, id.owner);
 226             insert_vec_map(
 227                 &mut nodes.nodes,
 228                 id.local_id,
 229                 ParentedNode { parent: entry.parent.local_id, node: entry.node },
 230             );
 231         }
 232     }
 233
 234     fn insert(&mut self, span: Span, hir_id: HirId, node: Node<'hir>) {
 235         self.insert_with_hash(span, hir_id, node, Fingerprint::ZERO)
 236     }
 237
 238     fn insert_with_hash(&mut self, span: Span, hir_id: HirId, node: Node<'hir>, hash: Fingerprint) {
 239         let entry = Entry { parent: self.parent_node, node };
 240
 241         // Make sure that the DepNode of some node coincides with the HirId
 242         // owner of that node.
 243         if cfg!(debug_assertions) {
 244             if hir_id.owner != self.current_dep_node_owner {
 245                 let node_str = match self.definitions.opt_hir_id_to_local_def_id(hir_id) {
 246                     Some(def_id) => self.definitions.def_path(def_id).to_string_no_crate_verbose(),
 247                     None => format!("{:?}", node),
 248                 };
 249
 250                 span_bug!(
 251                     span,
 252                     "inconsistent DepNode at `{:?}` for `{}`: \
 253                      current_dep_node_owner={} ({:?}), hir_id.owner={} ({:?})",
 254                     self.source_map.span_to_string(span),
 255                     node_str,
 256                     self.definitions
 257                         .def_path(self.current_dep_node_owner)
 258                         .to_string_no_crate_verbose(),
 259                     self.current_dep_node_owner,
 260                     self.definitions.def_path(hir_id.owner).to_string_no_crate_verbose(),
 261                     hir_id.owner,
 262                 )
 263             }
 264         }
 265
 266         self.insert_entry(hir_id, entry, hash);
 267     }
 268
 269     fn with_parent<F: FnOnce(&mut Self)>(&mut self, parent_node_id: HirId, f: F) {
 270         let parent_node = self.parent_node;
 271         self.parent_node = parent_node_id;
 272         f(self);
 273         self.parent_node = parent_node;
 274     }
 275
 276     fn with_dep_node_owner<
 277         T: for<'b> HashStable<StableHashingContext<'b>>,
 278         F: FnOnce(&mut Self, Fingerprint),
 279     >(
 280         &mut self,
 281         dep_node_owner: LocalDefId,
 282         item_like: &T,
 283         f: F,
 284     ) {
 285         let prev_owner = self.current_dep_node_owner;
 286
 287         let def_path_hash = self.definitions.def_path_hash(dep_node_owner);
 288
 289         let hash = hash_body(&mut self.hcx, def_path_hash, item_like, &mut self.hir_body_nodes);
 290
 291         self.current_dep_node_owner = dep_node_owner;
 292         f(self, hash);
 293         self.current_dep_node_owner = prev_owner;
 294     }
 295 }
 296
 297 impl<'a, 'hir> Visitor<'hir> for NodeCollector<'a, 'hir> {
 298     type Map = Map<'hir>;
 299
 300     /// Because we want to track parent items and so forth, enable
 301     /// deep walking so that we walk nested items in the context of
 302     /// their outer items.
 303
 304     fn nested_visit_map(&mut self) -> NestedVisitorMap<Self::Map> {
 305         panic!("`visit_nested_xxx` must be manually implemented in this visitor");
 306     }
 307
 308     fn visit_nested_item(&mut self, item: ItemId) {
 309         debug!("visit_nested_item: {:?}", item);
 310         self.visit_item(self.krate.item(item));
 311     }
 312
 313     fn visit_nested_trait_item(&mut self, item_id: TraitItemId) {
 314         self.visit_trait_item(self.krate.trait_item(item_id));
 315     }
 316
 317     fn visit_nested_impl_item(&mut self, item_id: ImplItemId) {
 318         self.visit_impl_item(self.krate.impl_item(item_id));
 319     }
 320
 321     fn visit_nested_foreign_item(&mut self, foreign_id: ForeignItemId) {
 322         self.visit_foreign_item(self.krate.foreign_item(foreign_id));
 323     }
 324
 325     fn visit_nested_body(&mut self, id: BodyId) {
 326         self.visit_body(self.krate.body(id));
 327     }
 328
 329     fn visit_param(&mut self, param: &'hir Param<'hir>) {
 330         let node = Node::Param(param);
 331         self.insert(param.pat.span, param.hir_id, node);
 332         self.with_parent(param.hir_id, |this| {
 333             intravisit::walk_param(this, param);
 334         });
 335     }
 336
 337     fn visit_item(&mut self, i: &'hir Item<'hir>) {
 338         debug!("visit_item: {:?}", i);
 339         self.with_dep_node_owner(i.def_id, i, |this, hash| {
 340             let hir_id = i.hir_id();
 341             this.insert_with_hash(i.span, hir_id, Node::Item(i), hash);
 342             this.with_parent(hir_id, |this| {
 343                 if let ItemKind::Struct(ref struct_def, _) = i.kind {
 344                     // If this is a tuple or unit-like struct, register the constructor.
 345                     if let Some(ctor_hir_id) = struct_def.ctor_hir_id() {
 346                         this.insert(i.span, ctor_hir_id, Node::Ctor(struct_def));
 347                     }
 348                 }
 349                 intravisit::walk_item(this, i);
 350             });
 351         });
 352     }
 353
 354     fn visit_foreign_item(&mut self, fi: &'hir ForeignItem<'hir>) {
 355         self.with_dep_node_owner(fi.def_id, fi, |this, hash| {
 356             this.insert_with_hash(fi.span, fi.hir_id(), Node::ForeignItem(fi), hash);
 357
 358             this.with_parent(fi.hir_id(), |this| {
 359                 intravisit::walk_foreign_item(this, fi);
 360             });
 361         });
 362     }
 363
 364     fn visit_generic_param(&mut self, param: &'hir GenericParam<'hir>) {
 365         if let hir::GenericParamKind::Type {
 366             synthetic: Some(hir::SyntheticTyParamKind::ImplTrait),
 367             ..
 368         } = param.kind
 369         {
 370             debug_assert_eq!(
 371                 param.hir_id.owner,
 372                 self.definitions.opt_hir_id_to_local_def_id(param.hir_id).unwrap()
 373             );
 374             self.with_dep_node_owner(param.hir_id.owner, param, |this, hash| {
 375                 this.insert_with_hash(param.span, param.hir_id, Node::GenericParam(param), hash);
 376
 377                 this.with_parent(param.hir_id, |this| {
 378                     intravisit::walk_generic_param(this, param);
 379                 });
 380             });
 381         } else {
 382             self.insert(param.span, param.hir_id, Node::GenericParam(param));
 383             intravisit::walk_generic_param(self, param);
 384         }
 385     }
 386
 387     fn visit_trait_item(&mut self, ti: &'hir TraitItem<'hir>) {
 388         self.with_dep_node_owner(ti.def_id, ti, |this, hash| {
 389             this.insert_with_hash(ti.span, ti.hir_id(), Node::TraitItem(ti), hash);
 390
 391             this.with_parent(ti.hir_id(), |this| {
 392                 intravisit::walk_trait_item(this, ti);
 393             });
 394         });
 395     }
 396
 397     fn visit_impl_item(&mut self, ii: &'hir ImplItem<'hir>) {
 398         self.with_dep_node_owner(ii.def_id, ii, |this, hash| {
 399             this.insert_with_hash(ii.span, ii.hir_id(), Node::ImplItem(ii), hash);
 400
 401             this.with_parent(ii.hir_id(), |this| {
 402                 intravisit::walk_impl_item(this, ii);
 403             });
 404         });
 405     }
 406
 407     fn visit_pat(&mut self, pat: &'hir Pat<'hir>) {
 408         let node =
 409             if let PatKind::Binding(..) = pat.kind { Node::Binding(pat) } else { Node::Pat(pat) };
 410         self.insert(pat.span, pat.hir_id, node);
 411
 412         self.with_parent(pat.hir_id, |this| {
 413             intravisit::walk_pat(this, pat);
 414         });
 415     }
 416
 417     fn visit_arm(&mut self, arm: &'hir Arm<'hir>) {
 418         let node = Node::Arm(arm);
 419
 420         self.insert(arm.span, arm.hir_id, node);
 421
 422         self.with_parent(arm.hir_id, |this| {
 423             intravisit::walk_arm(this, arm);
 424         });
 425     }
 426
 427     fn visit_anon_const(&mut self, constant: &'hir AnonConst) {
 428         self.insert(DUMMY_SP, constant.hir_id, Node::AnonConst(constant));
 429
 430         self.with_parent(constant.hir_id, |this| {
 431             intravisit::walk_anon_const(this, constant);
 432         });
 433     }
 434
 435     fn visit_expr(&mut self, expr: &'hir Expr<'hir>) {
 436         self.insert(expr.span, expr.hir_id, Node::Expr(expr));
 437
 438         self.with_parent(expr.hir_id, |this| {
 439             intravisit::walk_expr(this, expr);
 440         });
 441     }
 442
 443     fn visit_stmt(&mut self, stmt: &'hir Stmt<'hir>) {
 444         self.insert(stmt.span, stmt.hir_id, Node::Stmt(stmt));
 445
 446         self.with_parent(stmt.hir_id, |this| {
 447             intravisit::walk_stmt(this, stmt);
 448         });
 449     }
 450
 451     fn visit_path_segment(&mut self, path_span: Span, path_segment: &'hir PathSegment<'hir>) {
 452         if let Some(hir_id) = path_segment.hir_id {
 453             self.insert(path_span, hir_id, Node::PathSegment(path_segment));
 454         }
 455         intravisit::walk_path_segment(self, path_span, path_segment);
 456     }
 457
 458     fn visit_ty(&mut self, ty: &'hir Ty<'hir>) {
 459         self.insert(ty.span, ty.hir_id, Node::Ty(ty));
 460
 461         self.with_parent(ty.hir_id, |this| {
 462             intravisit::walk_ty(this, ty);
 463         });
 464     }
 465
 466     fn visit_trait_ref(&mut self, tr: &'hir TraitRef<'hir>) {
 467         self.insert(tr.path.span, tr.hir_ref_id, Node::TraitRef(tr));
 468
 469         self.with_parent(tr.hir_ref_id, |this| {
 470             intravisit::walk_trait_ref(this, tr);
 471         });
 472     }
 473
 474     fn visit_fn(
 475         &mut self,
 476         fk: intravisit::FnKind<'hir>,
 477         fd: &'hir FnDecl<'hir>,
 478         b: BodyId,
 479         s: Span,
 480         id: HirId,
 481     ) {
 482         assert_eq!(self.parent_node, id);
 483         intravisit::walk_fn(self, fk, fd, b, s, id);
 484     }
 485
 486     fn visit_block(&mut self, block: &'hir Block<'hir>) {
 487         self.insert(block.span, block.hir_id, Node::Block(block));
 488         self.with_parent(block.hir_id, |this| {
 489             intravisit::walk_block(this, block);
 490         });
 491     }
 492
 493     fn visit_local(&mut self, l: &'hir Local<'hir>) {
 494         self.insert(l.span, l.hir_id, Node::Local(l));
 495         self.with_parent(l.hir_id, |this| intravisit::walk_local(this, l))
 496     }
 497
 498     fn visit_lifetime(&mut self, lifetime: &'hir Lifetime) {
 499         self.insert(lifetime.span, lifetime.hir_id, Node::Lifetime(lifetime));
 500     }
 501
 502     fn visit_vis(&mut self, visibility: &'hir Visibility<'hir>) {
 503         match visibility.node {
 504             VisibilityKind::Public | VisibilityKind::Crate(_) | VisibilityKind::Inherited => {}
 505             VisibilityKind::Restricted { hir_id, .. } => {
 506                 self.insert(visibility.span, hir_id, Node::Visibility(visibility));
 507                 self.with_parent(hir_id, |this| {
 508                     intravisit::walk_vis(this, visibility);
 509                 });
 510             }
 511         }
 512     }
 513
 514     fn visit_macro_def(&mut self, macro_def: &'hir MacroDef<'hir>) {
 515         // Exported macros are visited directly from the crate root,
 516         // so they do not have `parent_node` set.
 517         // Find the correct enclosing module from their DefKey.
 518         let def_key = self.definitions.def_key(macro_def.def_id);
 519         let parent = def_key.parent.map_or(hir::CRATE_HIR_ID, |local_def_index| {
 520             self.definitions.local_def_id_to_hir_id(LocalDefId { local_def_index })
 521         });
 522         self.with_parent(parent, |this| {
 523             this.with_dep_node_owner(macro_def.def_id, macro_def, |this, hash| {
 524                 this.insert_with_hash(
 525                     macro_def.span,
 526                     macro_def.hir_id(),
 527                     Node::MacroDef(macro_def),
 528                     hash,
 529                 );
 530             })
 531         });
 532     }
 533
 534     fn visit_variant(&mut self, v: &'hir Variant<'hir>, g: &'hir Generics<'hir>, item_id: HirId) {
 535         self.insert(v.span, v.id, Node::Variant(v));
 536         self.with_parent(v.id, |this| {
 537             // Register the constructor of this variant.
 538             if let Some(ctor_hir_id) = v.data.ctor_hir_id() {
 539                 this.insert(v.span, ctor_hir_id, Node::Ctor(&v.data));
 540             }
 541             intravisit::walk_variant(this, v, g, item_id);
 542         });
 543     }
 544
 545     fn visit_struct_field(&mut self, field: &'hir StructField<'hir>) {
 546         self.insert(field.span, field.hir_id, Node::Field(field));
 547         self.with_parent(field.hir_id, |this| {
 548             intravisit::walk_struct_field(this, field);
 549         });
 550     }
 551
 552     fn visit_trait_item_ref(&mut self, ii: &'hir TraitItemRef) {
 553         // Do not visit the duplicate information in TraitItemRef. We want to
 554         // map the actual nodes, not the duplicate ones in the *Ref.
 555         let TraitItemRef { id, ident: _, kind: _, span: _, defaultness: _ } = *ii;
 556
 557         self.visit_nested_trait_item(id);
 558     }
 559
 560     fn visit_impl_item_ref(&mut self, ii: &'hir ImplItemRef<'hir>) {
 561         // Do not visit the duplicate information in ImplItemRef. We want to
 562         // map the actual nodes, not the duplicate ones in the *Ref.
 563         let ImplItemRef { id, ident: _, kind: _, span: _, vis: _, defaultness: _ } = *ii;
 564
 565         self.visit_nested_impl_item(id);
 566     }
 567
 568     fn visit_foreign_item_ref(&mut self, fi: &'hir ForeignItemRef<'hir>) {
 569         // Do not visit the duplicate information in ForeignItemRef. We want to
 570         // map the actual nodes, not the duplicate ones in the *Ref.
 571         let ForeignItemRef { id, ident: _, span: _, vis: _ } = *fi;
 572
 573         self.visit_nested_foreign_item(id);
 574     }
 575 }