src/librustc_incremental/persist/hash.rs

   1 // Copyright 2014 The Rust Project Developers. See the COPYRIGHT
   2 // file at the top-level directory of this distribution and at
   3 // http://rust-lang.org/COPYRIGHT.
   4 //
   5 // Licensed under the Apache License, Version 2.0 <LICENSE-APACHE or
   6 // http://www.apache.org/licenses/LICENSE-2.0> or the MIT license
   7 // <LICENSE-MIT or http://opensource.org/licenses/MIT>, at your
   8 // option. This file may not be copied, modified, or distributed
   9 // except according to those terms.
  10
  11 use rustc::dep_graph::DepNode;
  12 use rustc::hir::def_id::{CrateNum, DefId, LOCAL_CRATE, CRATE_DEF_INDEX};
  13 use rustc::hir::svh::Svh;
  14 use rustc::ich::Fingerprint;
  15 use rustc::ty::TyCtxt;
  16 use rustc_data_structures::fx::FxHashMap;
  17 use rustc_data_structures::flock;
  18 use rustc_serialize::Decodable;
  19 use rustc_serialize::opaque::Decoder;
  20
  21 use IncrementalHashesMap;
  22 use super::data::*;
  23 use super::fs::*;
  24 use super::file_format;
  25
  26 use std::hash::Hash;
  27 use std::fmt::Debug;
  28
  29 pub struct HashContext<'a, 'tcx: 'a> {
  30     pub tcx: TyCtxt<'a, 'tcx, 'tcx>,
  31     incremental_hashes_map: &'a IncrementalHashesMap,
  32     item_metadata_hashes: FxHashMap<DefId, Fingerprint>,
  33     crate_hashes: FxHashMap<CrateNum, Svh>,
  34     global_metadata_hashes: FxHashMap<DepNode<DefId>, Fingerprint>,
  35 }
  36
  37 impl<'a, 'tcx> HashContext<'a, 'tcx> {
  38     pub fn new(tcx: TyCtxt<'a, 'tcx, 'tcx>,
  39                incremental_hashes_map: &'a IncrementalHashesMap)
  40                -> Self {
  41         HashContext {
  42             tcx: tcx,
  43             incremental_hashes_map: incremental_hashes_map,
  44             item_metadata_hashes: FxHashMap(),
  45             crate_hashes: FxHashMap(),
  46             global_metadata_hashes: FxHashMap(),
  47         }
  48     }
  49
  50     pub fn is_hashable(dep_node: &DepNode<DefId>) -> bool {
  51         match *dep_node {
  52             DepNode::Krate |
  53             DepNode::Hir(_) |
  54             DepNode::HirBody(_) |
  55             DepNode::FileMap(..) =>
  56                 true,
  57             DepNode::MetaData(def_id) |
  58             DepNode::GlobalMetaData(def_id, _) => !def_id.is_local(),
  59             _ => false,
  60         }
  61     }
  62
  63     pub fn hash(&mut self, dep_node: &DepNode<DefId>) -> Option<Fingerprint> {
  64         match *dep_node {
  65             DepNode::Krate => {
  66                 Some(self.incremental_hashes_map[dep_node])
  67             }
  68
  69             // HIR nodes (which always come from our crate) are an input:
  70             DepNode::Hir(def_id) |
  71             DepNode::HirBody(def_id) => {
  72                 assert!(def_id.is_local(),
  73                         "cannot hash HIR for non-local def-id {:?} => {:?}",
  74                         def_id,
  75                         self.tcx.item_path_str(def_id));
  76
  77                 Some(self.incremental_hashes_map[dep_node])
  78             }
  79
  80             DepNode::FileMap(def_id, ref name) => {
  81                 if def_id.is_local() {
  82                     Some(self.incremental_hashes_map[dep_node])
  83                 } else {
  84                     Some(self.metadata_hash(DepNode::FileMap(def_id, name.clone()),
  85                                             def_id.krate,
  86                                             |this| &mut this.global_metadata_hashes))
  87                 }
  88             }
  89
  90             // MetaData from other crates is an *input* to us.
  91             // MetaData nodes from *our* crates are an *output*; we
  92             // don't hash them, but we do compute a hash for them and
  93             // save it for others to use.
  94             DepNode::MetaData(def_id) if !def_id.is_local() => {
  95                 Some(self.metadata_hash(def_id,
  96                                         def_id.krate,
  97                                         |this| &mut this.item_metadata_hashes))
  98             }
  99
 100             DepNode::GlobalMetaData(def_id, kind) => {
 101                 Some(self.metadata_hash(DepNode::GlobalMetaData(def_id, kind),
 102                                         def_id.krate,
 103                                         |this| &mut this.global_metadata_hashes))
 104             }
 105
 106             _ => {
 107                 // Other kinds of nodes represent computed by-products
 108                 // that we don't hash directly; instead, they should
 109                 // have some transitive dependency on a Hir or
 110                 // MetaData node, so we'll just hash that
 111                 None
 112             }
 113         }
 114     }
 115
 116     fn metadata_hash<K, C>(&mut self,
 117                            key: K,
 118                            cnum: CrateNum,
 119                            cache: C)
 120                            -> Fingerprint
 121         where K: Hash + Eq + Debug,
 122               C: Fn(&mut Self) -> &mut FxHashMap<K, Fingerprint>,
 123     {
 124         debug!("metadata_hash(key={:?})", key);
 125
 126         debug_assert!(cnum != LOCAL_CRATE);
 127         loop {
 128             // check whether we have a result cached for this def-id
 129             if let Some(&hash) = cache(self).get(&key) {
 130                 return hash;
 131             }
 132
 133             // check whether we did not find detailed metadata for this
 134             // krate; in that case, we just use the krate's overall hash
 135             if let Some(&svh) = self.crate_hashes.get(&cnum) {
 136                 // micro-"optimization": avoid a cache miss if we ask
 137                 // for metadata from this particular def-id again.
 138                 let fingerprint = svh_to_fingerprint(svh);
 139                 cache(self).insert(key, fingerprint);
 140
 141                 return fingerprint;
 142             }
 143
 144             // otherwise, load the data and repeat.
 145             self.load_data(cnum);
 146             assert!(self.crate_hashes.contains_key(&cnum));
 147         }
 148     }
 149
 150     fn load_data(&mut self, cnum: CrateNum) {
 151         debug!("load_data(cnum={})", cnum);
 152
 153         let svh = self.tcx.sess.cstore.crate_hash(cnum);
 154         let old = self.crate_hashes.insert(cnum, svh);
 155         debug!("load_data: svh={}", svh);
 156         assert!(old.is_none(), "loaded data for crate {:?} twice", cnum);
 157
 158         if let Some(session_dir) = find_metadata_hashes_for(self.tcx, cnum) {
 159             debug!("load_data: session_dir={:?}", session_dir);
 160
 161             // Lock the directory we'll be reading  the hashes from.
 162             let lock_file_path = lock_file_path(&session_dir);
 163             let _lock = match flock::Lock::new(&lock_file_path,
 164                                                false,   // don't wait
 165                                                false,   // don't create the lock-file
 166                                                false) { // shared lock
 167                 Ok(lock) => lock,
 168                 Err(err) => {
 169                     debug!("Could not acquire lock on `{}` while trying to \
 170                             load metadata hashes: {}",
 171                             lock_file_path.display(),
 172                             err);
 173
 174                     // Could not acquire the lock. The directory is probably in
 175                     // in the process of being deleted. It's OK to just exit
 176                     // here. It's the same scenario as if the file had not
 177                     // existed in the first place.
 178                     return
 179                 }
 180             };
 181
 182             let hashes_file_path = metadata_hash_import_path(&session_dir);
 183
 184             match file_format::read_file(self.tcx.sess, &hashes_file_path)
 185             {
 186                 Ok(Some(data)) => {
 187                     match self.load_from_data(cnum, &data, svh) {
 188                         Ok(()) => { }
 189                         Err(err) => {
 190                             bug!("decoding error in dep-graph from `{}`: {}",
 191                                  &hashes_file_path.display(), err);
 192                         }
 193                     }
 194                 }
 195                 Ok(None) => {
 196                     // If the file is not found, that's ok.
 197                 }
 198                 Err(err) => {
 199                     self.tcx.sess.err(
 200                         &format!("could not load dep information from `{}`: {}",
 201                                  hashes_file_path.display(), err));
 202                 }
 203             }
 204         }
 205     }
 206
 207     fn load_from_data(&mut self,
 208                       cnum: CrateNum,
 209                       data: &[u8],
 210                       expected_svh: Svh) -> Result<(), String> {
 211         debug!("load_from_data(cnum={})", cnum);
 212
 213         // Load up the hashes for the def-ids from this crate.
 214         let mut decoder = Decoder::new(data, 0);
 215         let svh_in_hashes_file = Svh::decode(&mut decoder)?;
 216
 217         if svh_in_hashes_file != expected_svh {
 218             // We should not be able to get here. If we do, then
 219             // `fs::find_metadata_hashes_for()` has messed up.
 220             bug!("mismatch between SVH in crate and SVH in incr. comp. hashes")
 221         }
 222
 223         let serialized_hashes = SerializedMetadataHashes::decode(&mut decoder)?;
 224         for serialized_hash in serialized_hashes.entry_hashes {
 225             // the hashes are stored with just a def-index, which is
 226             // always relative to the old crate; convert that to use
 227             // our internal crate number
 228             let def_id = DefId { krate: cnum, index: serialized_hash.def_index };
 229
 230             // record the hash for this dep-node
 231             let old = self.item_metadata_hashes.insert(def_id, serialized_hash.hash);
 232             debug!("load_from_data: def_id={:?} hash={}", def_id, serialized_hash.hash);
 233             assert!(old.is_none(), "already have hash for {:?}", def_id);
 234         }
 235
 236         for (dep_node, fingerprint) in serialized_hashes.global_hashes {
 237             // Here we need to remap the CrateNum in the DepNode.
 238             let def_id = DefId { krate: cnum, index: CRATE_DEF_INDEX };
 239             let dep_node = match dep_node {
 240                 DepNode::GlobalMetaData(_, kind) => DepNode::GlobalMetaData(def_id, kind),
 241                 DepNode::FileMap(_, name) => DepNode::FileMap(def_id, name),
 242                 other => {
 243                     bug!("unexpected DepNode variant: {:?}", other)
 244                 }
 245             };
 246
 247             // record the hash for this dep-node
 248             debug!("load_from_data: def_node={:?} hash={}", dep_node, fingerprint);
 249             let old = self.global_metadata_hashes.insert(dep_node.clone(), fingerprint);
 250             assert!(old.is_none(), "already have hash for {:?}", dep_node);
 251         }
 252
 253         Ok(())
 254     }
 255 }
 256
 257 fn svh_to_fingerprint(svh: Svh) -> Fingerprint {
 258     Fingerprint::from_smaller_hash(svh.as_u64())
 259 }