compiler/rustc_middle/src/mir/mono.rs

   1 use crate::dep_graph::{DepNode, WorkProduct, WorkProductId};
   2 use crate::ty::{subst::InternalSubsts, Instance, InstanceDef, SymbolName, TyCtxt};
   3 use rustc_attr::InlineAttr;
   4 use rustc_data_structures::base_n;
   5 use rustc_data_structures::fingerprint::Fingerprint;
   6 use rustc_data_structures::fx::FxHashMap;
   7 use rustc_data_structures::stable_hasher::{HashStable, StableHasher};
   8 use rustc_hir::def_id::{CrateNum, DefId, LOCAL_CRATE};
   9 use rustc_hir::ItemId;
  10 use rustc_index::vec::Idx;
  11 use rustc_query_system::ich::StableHashingContext;
  12 use rustc_session::config::OptLevel;
  13 use rustc_span::source_map::Span;
  14 use rustc_span::symbol::Symbol;
  15 use std::fmt;
  16 use std::hash::Hash;
  17
  18 /// Describes how a monomorphization will be instantiated in object files.
  19 #[derive(PartialEq)]
  20 pub enum InstantiationMode {
  21     /// There will be exactly one instance of the given MonoItem. It will have
  22     /// external linkage so that it can be linked to from other codegen units.
  23     GloballyShared {
  24         /// In some compilation scenarios we may decide to take functions that
  25         /// are typically `LocalCopy` and instead move them to `GloballyShared`
  26         /// to avoid codegenning them a bunch of times. In this situation,
  27         /// however, our local copy may conflict with other crates also
  28         /// inlining the same function.
  29         ///
  30         /// This flag indicates that this situation is occurring, and informs
  31         /// symbol name calculation that some extra mangling is needed to
  32         /// avoid conflicts. Note that this may eventually go away entirely if
  33         /// ThinLTO enables us to *always* have a globally shared instance of a
  34         /// function within one crate's compilation.
  35         may_conflict: bool,
  36     },
  37
  38     /// Each codegen unit containing a reference to the given MonoItem will
  39     /// have its own private copy of the function (with internal linkage).
  40     LocalCopy,
  41 }
  42
  43 #[derive(PartialEq, Eq, Clone, Copy, Debug, Hash, HashStable)]
  44 pub enum MonoItem<'tcx> {
  45     Fn(Instance<'tcx>),
  46     Static(DefId),
  47     GlobalAsm(ItemId),
  48 }
  49
  50 impl<'tcx> MonoItem<'tcx> {
  51     /// Returns `true` if the mono item is user-defined (i.e. not compiler-generated, like shims).
  52     pub fn is_user_defined(&self) -> bool {
  53         match *self {
  54             MonoItem::Fn(instance) => matches!(instance.def, InstanceDef::Item(..)),
  55             MonoItem::Static(..) | MonoItem::GlobalAsm(..) => true,
  56         }
  57     }
  58
  59     pub fn size_estimate(&self, tcx: TyCtxt<'tcx>) -> usize {
  60         match *self {
  61             MonoItem::Fn(instance) => {
  62                 // Estimate the size of a function based on how many statements
  63                 // it contains.
  64                 tcx.instance_def_size_estimate(instance.def)
  65             }
  66             // Conservatively estimate the size of a static declaration
  67             // or assembly to be 1.
  68             MonoItem::Static(_) | MonoItem::GlobalAsm(_) => 1,
  69         }
  70     }
  71
  72     pub fn is_generic_fn(&self) -> bool {
  73         match *self {
  74             MonoItem::Fn(ref instance) => instance.substs.non_erasable_generics().next().is_some(),
  75             MonoItem::Static(..) | MonoItem::GlobalAsm(..) => false,
  76         }
  77     }
  78
  79     pub fn symbol_name(&self, tcx: TyCtxt<'tcx>) -> SymbolName<'tcx> {
  80         match *self {
  81             MonoItem::Fn(instance) => tcx.symbol_name(instance),
  82             MonoItem::Static(def_id) => tcx.symbol_name(Instance::mono(tcx, def_id)),
  83             MonoItem::GlobalAsm(item_id) => {
  84                 SymbolName::new(tcx, &format!("global_asm_{:?}", item_id.owner_id))
  85             }
  86         }
  87     }
  88
  89     pub fn instantiation_mode(&self, tcx: TyCtxt<'tcx>) -> InstantiationMode {
  90         let generate_cgu_internal_copies = tcx
  91             .sess
  92             .opts
  93             .unstable_opts
  94             .inline_in_all_cgus
  95             .unwrap_or_else(|| tcx.sess.opts.optimize != OptLevel::No)
  96             && !tcx.sess.link_dead_code();
  97
  98         match *self {
  99             MonoItem::Fn(ref instance) => {
 100                 let entry_def_id = tcx.entry_fn(()).map(|(id, _)| id);
 101                 // If this function isn't inlined or otherwise has an extern
 102                 // indicator, then we'll be creating a globally shared version.
 103                 if tcx.codegen_fn_attrs(instance.def_id()).contains_extern_indicator()
 104                     || !instance.def.generates_cgu_internal_copy(tcx)
 105                     || Some(instance.def_id()) == entry_def_id
 106                 {
 107                     return InstantiationMode::GloballyShared { may_conflict: false };
 108                 }
 109
 110                 // At this point we don't have explicit linkage and we're an
 111                 // inlined function. If we're inlining into all CGUs then we'll
 112                 // be creating a local copy per CGU.
 113                 if generate_cgu_internal_copies {
 114                     return InstantiationMode::LocalCopy;
 115                 }
 116
 117                 // Finally, if this is `#[inline(always)]` we're sure to respect
 118                 // that with an inline copy per CGU, but otherwise we'll be
 119                 // creating one copy of this `#[inline]` function which may
 120                 // conflict with upstream crates as it could be an exported
 121                 // symbol.
 122                 match tcx.codegen_fn_attrs(instance.def_id()).inline {
 123                     InlineAttr::Always => InstantiationMode::LocalCopy,
 124                     _ => InstantiationMode::GloballyShared { may_conflict: true },
 125                 }
 126             }
 127             MonoItem::Static(..) | MonoItem::GlobalAsm(..) => {
 128                 InstantiationMode::GloballyShared { may_conflict: false }
 129             }
 130         }
 131     }
 132
 133     pub fn explicit_linkage(&self, tcx: TyCtxt<'tcx>) -> Option<Linkage> {
 134         let def_id = match *self {
 135             MonoItem::Fn(ref instance) => instance.def_id(),
 136             MonoItem::Static(def_id) => def_id,
 137             MonoItem::GlobalAsm(..) => return None,
 138         };
 139
 140         let codegen_fn_attrs = tcx.codegen_fn_attrs(def_id);
 141         codegen_fn_attrs.linkage
 142     }
 143
 144     /// Returns `true` if this instance is instantiable - whether it has no unsatisfied
 145     /// predicates.
 146     ///
 147     /// In order to codegen an item, all of its predicates must hold, because
 148     /// otherwise the item does not make sense. Type-checking ensures that
 149     /// the predicates of every item that is *used by* a valid item *do*
 150     /// hold, so we can rely on that.
 151     ///
 152     /// However, we codegen collector roots (reachable items) and functions
 153     /// in vtables when they are seen, even if they are not used, and so they
 154     /// might not be instantiable. For example, a programmer can define this
 155     /// public function:
 156     ///
 157     ///     pub fn foo<'a>(s: &'a mut ()) where &'a mut (): Clone {
 158     ///         <&mut () as Clone>::clone(&s);
 159     ///     }
 160     ///
 161     /// That function can't be codegened, because the method `<&mut () as Clone>::clone`
 162     /// does not exist. Luckily for us, that function can't ever be used,
 163     /// because that would require for `&'a mut (): Clone` to hold, so we
 164     /// can just not emit any code, or even a linker reference for it.
 165     ///
 166     /// Similarly, if a vtable method has such a signature, and therefore can't
 167     /// be used, we can just not emit it and have a placeholder (a null pointer,
 168     /// which will never be accessed) in its place.
 169     pub fn is_instantiable(&self, tcx: TyCtxt<'tcx>) -> bool {
 170         debug!("is_instantiable({:?})", self);
 171         let (def_id, substs) = match *self {
 172             MonoItem::Fn(ref instance) => (instance.def_id(), instance.substs),
 173             MonoItem::Static(def_id) => (def_id, InternalSubsts::empty()),
 174             // global asm never has predicates
 175             MonoItem::GlobalAsm(..) => return true,
 176         };
 177
 178         !tcx.subst_and_check_impossible_predicates((def_id, &substs))
 179     }
 180
 181     pub fn local_span(&self, tcx: TyCtxt<'tcx>) -> Option<Span> {
 182         match *self {
 183             MonoItem::Fn(Instance { def, .. }) => def.def_id().as_local(),
 184             MonoItem::Static(def_id) => def_id.as_local(),
 185             MonoItem::GlobalAsm(item_id) => Some(item_id.owner_id.def_id),
 186         }
 187         .map(|def_id| tcx.def_span(def_id))
 188     }
 189
 190     // Only used by rustc_codegen_cranelift
 191     pub fn codegen_dep_node(&self, tcx: TyCtxt<'tcx>) -> DepNode {
 192         crate::dep_graph::make_compile_mono_item(tcx, self)
 193     }
 194
 195     /// Returns the item's `CrateNum`
 196     pub fn krate(&self) -> CrateNum {
 197         match self {
 198             MonoItem::Fn(ref instance) => instance.def_id().krate,
 199             MonoItem::Static(def_id) => def_id.krate,
 200             MonoItem::GlobalAsm(..) => LOCAL_CRATE,
 201         }
 202     }
 203
 204     /// Returns the item's `DefId`
 205     pub fn def_id(&self) -> DefId {
 206         match *self {
 207             MonoItem::Fn(Instance { def, .. }) => def.def_id(),
 208             MonoItem::Static(def_id) => def_id,
 209             MonoItem::GlobalAsm(item_id) => item_id.owner_id.to_def_id(),
 210         }
 211     }
 212 }
 213
 214 impl<'tcx> fmt::Display for MonoItem<'tcx> {
 215     fn fmt(&self, f: &mut fmt::Formatter<'_>) -> fmt::Result {
 216         match *self {
 217             MonoItem::Fn(instance) => write!(f, "fn {}", instance),
 218             MonoItem::Static(def_id) => {
 219                 write!(f, "static {}", Instance::new(def_id, InternalSubsts::empty()))
 220             }
 221             MonoItem::GlobalAsm(..) => write!(f, "global_asm"),
 222         }
 223     }
 224 }
 225
 226 #[derive(Debug)]
 227 pub struct CodegenUnit<'tcx> {
 228     /// A name for this CGU. Incremental compilation requires that
 229     /// name be unique amongst **all** crates. Therefore, it should
 230     /// contain something unique to this crate (e.g., a module path)
 231     /// as well as the crate name and disambiguator.
 232     name: Symbol,
 233     items: FxHashMap<MonoItem<'tcx>, (Linkage, Visibility)>,
 234     size_estimate: Option<usize>,
 235     primary: bool,
 236     /// True if this is CGU is used to hold code coverage information for dead code,
 237     /// false otherwise.
 238     is_code_coverage_dead_code_cgu: bool,
 239 }
 240
 241 /// Specifies the linkage type for a `MonoItem`.
 242 ///
 243 /// See <https://llvm.org/docs/LangRef.html#linkage-types> for more details about these variants.
 244 #[derive(Copy, Clone, PartialEq, Debug, TyEncodable, TyDecodable, HashStable)]
 245 pub enum Linkage {
 246     External,
 247     AvailableExternally,
 248     LinkOnceAny,
 249     LinkOnceODR,
 250     WeakAny,
 251     WeakODR,
 252     Appending,
 253     Internal,
 254     Private,
 255     ExternalWeak,
 256     Common,
 257 }
 258
 259 #[derive(Copy, Clone, PartialEq, Debug, HashStable)]
 260 pub enum Visibility {
 261     Default,
 262     Hidden,
 263     Protected,
 264 }
 265
 266 impl<'tcx> CodegenUnit<'tcx> {
 267     #[inline]
 268     pub fn new(name: Symbol) -> CodegenUnit<'tcx> {
 269         CodegenUnit {
 270             name,
 271             items: Default::default(),
 272             size_estimate: None,
 273             primary: false,
 274             is_code_coverage_dead_code_cgu: false,
 275         }
 276     }
 277
 278     pub fn name(&self) -> Symbol {
 279         self.name
 280     }
 281
 282     pub fn set_name(&mut self, name: Symbol) {
 283         self.name = name;
 284     }
 285
 286     pub fn is_primary(&self) -> bool {
 287         self.primary
 288     }
 289
 290     pub fn make_primary(&mut self) {
 291         self.primary = true;
 292     }
 293
 294     pub fn items(&self) -> &FxHashMap<MonoItem<'tcx>, (Linkage, Visibility)> {
 295         &self.items
 296     }
 297
 298     pub fn items_mut(&mut self) -> &mut FxHashMap<MonoItem<'tcx>, (Linkage, Visibility)> {
 299         &mut self.items
 300     }
 301
 302     pub fn is_code_coverage_dead_code_cgu(&self) -> bool {
 303         self.is_code_coverage_dead_code_cgu
 304     }
 305
 306     /// Marks this CGU as the one used to contain code coverage information for dead code.
 307     pub fn make_code_coverage_dead_code_cgu(&mut self) {
 308         self.is_code_coverage_dead_code_cgu = true;
 309     }
 310
 311     pub fn mangle_name(human_readable_name: &str) -> String {
 312         // We generate a 80 bit hash from the name. This should be enough to
 313         // avoid collisions and is still reasonably short for filenames.
 314         let mut hasher = StableHasher::new();
 315         human_readable_name.hash(&mut hasher);
 316         let hash: u128 = hasher.finish();
 317         let hash = hash & ((1u128 << 80) - 1);
 318         base_n::encode(hash, base_n::CASE_INSENSITIVE)
 319     }
 320
 321     pub fn create_size_estimate(&mut self, tcx: TyCtxt<'tcx>) {
 322         // Estimate the size of a codegen unit as (approximately) the number of MIR
 323         // statements it corresponds to.
 324         self.size_estimate = Some(self.items.keys().map(|mi| mi.size_estimate(tcx)).sum());
 325     }
 326
 327     #[inline]
 328     /// Should only be called if [`create_size_estimate`] has previously been called.
 329     ///
 330     /// [`create_size_estimate`]: Self::create_size_estimate
 331     pub fn size_estimate(&self) -> usize {
 332         self.size_estimate
 333             .expect("create_size_estimate must be called before getting a size_estimate")
 334     }
 335
 336     pub fn modify_size_estimate(&mut self, delta: usize) {
 337         assert!(self.size_estimate.is_some());
 338         if let Some(size_estimate) = self.size_estimate {
 339             self.size_estimate = Some(size_estimate + delta);
 340         }
 341     }
 342
 343     pub fn contains_item(&self, item: &MonoItem<'tcx>) -> bool {
 344         self.items().contains_key(item)
 345     }
 346
 347     pub fn work_product_id(&self) -> WorkProductId {
 348         WorkProductId::from_cgu_name(self.name().as_str())
 349     }
 350
 351     pub fn previous_work_product(&self, tcx: TyCtxt<'_>) -> WorkProduct {
 352         let work_product_id = self.work_product_id();
 353         tcx.dep_graph
 354             .previous_work_product(&work_product_id)
 355             .unwrap_or_else(|| panic!("Could not find work-product for CGU `{}`", self.name()))
 356     }
 357
 358     pub fn items_in_deterministic_order(
 359         &self,
 360         tcx: TyCtxt<'tcx>,
 361     ) -> Vec<(MonoItem<'tcx>, (Linkage, Visibility))> {
 362         // The codegen tests rely on items being process in the same order as
 363         // they appear in the file, so for local items, we sort by node_id first
 364         #[derive(PartialEq, Eq, PartialOrd, Ord)]
 365         pub struct ItemSortKey<'tcx>(Option<usize>, SymbolName<'tcx>);
 366
 367         fn item_sort_key<'tcx>(tcx: TyCtxt<'tcx>, item: MonoItem<'tcx>) -> ItemSortKey<'tcx> {
 368             ItemSortKey(
 369                 match item {
 370                     MonoItem::Fn(ref instance) => {
 371                         match instance.def {
 372                             // We only want to take HirIds of user-defined
 373                             // instances into account. The others don't matter for
 374                             // the codegen tests and can even make item order
 375                             // unstable.
 376                             InstanceDef::Item(def) => def.did.as_local().map(Idx::index),
 377                             InstanceDef::VTableShim(..)
 378                             | InstanceDef::ReifyShim(..)
 379                             | InstanceDef::Intrinsic(..)
 380                             | InstanceDef::FnPtrShim(..)
 381                             | InstanceDef::Virtual(..)
 382                             | InstanceDef::ClosureOnceShim { .. }
 383                             | InstanceDef::DropGlue(..)
 384                             | InstanceDef::CloneShim(..) => None,
 385                         }
 386                     }
 387                     MonoItem::Static(def_id) => def_id.as_local().map(Idx::index),
 388                     MonoItem::GlobalAsm(item_id) => Some(item_id.owner_id.def_id.index()),
 389                 },
 390                 item.symbol_name(tcx),
 391             )
 392         }
 393
 394         let mut items: Vec<_> = self.items().iter().map(|(&i, &l)| (i, l)).collect();
 395         items.sort_by_cached_key(|&(i, _)| item_sort_key(tcx, i));
 396         items
 397     }
 398
 399     pub fn codegen_dep_node(&self, tcx: TyCtxt<'tcx>) -> DepNode {
 400         crate::dep_graph::make_compile_codegen_unit(tcx, self.name())
 401     }
 402 }
 403
 404 impl<'a, 'tcx> HashStable<StableHashingContext<'a>> for CodegenUnit<'tcx> {
 405     fn hash_stable(&self, hcx: &mut StableHashingContext<'a>, hasher: &mut StableHasher) {
 406         let CodegenUnit {
 407             ref items,
 408             name,
 409             // The size estimate is not relevant to the hash
 410             size_estimate: _,
 411             primary: _,
 412             is_code_coverage_dead_code_cgu,
 413         } = *self;
 414
 415         name.hash_stable(hcx, hasher);
 416         is_code_coverage_dead_code_cgu.hash_stable(hcx, hasher);
 417
 418         let mut items: Vec<(Fingerprint, _)> = items
 419             .iter()
 420             .map(|(mono_item, &attrs)| {
 421                 let mut hasher = StableHasher::new();
 422                 mono_item.hash_stable(hcx, &mut hasher);
 423                 let mono_item_fingerprint = hasher.finish();
 424                 (mono_item_fingerprint, attrs)
 425             })
 426             .collect();
 427
 428         items.sort_unstable_by_key(|i| i.0);
 429         items.hash_stable(hcx, hasher);
 430     }
 431 }
 432
 433 pub struct CodegenUnitNameBuilder<'tcx> {
 434     tcx: TyCtxt<'tcx>,
 435     cache: FxHashMap<CrateNum, String>,
 436 }
 437
 438 impl<'tcx> CodegenUnitNameBuilder<'tcx> {
 439     pub fn new(tcx: TyCtxt<'tcx>) -> Self {
 440         CodegenUnitNameBuilder { tcx, cache: Default::default() }
 441     }
 442
 443     /// CGU names should fulfill the following requirements:
 444     /// - They should be able to act as a file name on any kind of file system
 445     /// - They should not collide with other CGU names, even for different versions
 446     ///   of the same crate.
 447     ///
 448     /// Consequently, we don't use special characters except for '.' and '-' and we
 449     /// prefix each name with the crate-name and crate-disambiguator.
 450     ///
 451     /// This function will build CGU names of the form:
 452     ///
 453     /// ```text
 454     /// <crate-name>.<crate-disambiguator>[-in-<local-crate-id>](-<component>)*[.<special-suffix>]
 455     /// <local-crate-id> = <local-crate-name>.<local-crate-disambiguator>
 456     /// ```
 457     ///
 458     /// The '.' before `<special-suffix>` makes sure that names with a special
 459     /// suffix can never collide with a name built out of regular Rust
 460     /// identifiers (e.g., module paths).
 461     pub fn build_cgu_name<I, C, S>(
 462         &mut self,
 463         cnum: CrateNum,
 464         components: I,
 465         special_suffix: Option<S>,
 466     ) -> Symbol
 467     where
 468         I: IntoIterator<Item = C>,
 469         C: fmt::Display,
 470         S: fmt::Display,
 471     {
 472         let cgu_name = self.build_cgu_name_no_mangle(cnum, components, special_suffix);
 473
 474         if self.tcx.sess.opts.unstable_opts.human_readable_cgu_names {
 475             cgu_name
 476         } else {
 477             Symbol::intern(&CodegenUnit::mangle_name(cgu_name.as_str()))
 478         }
 479     }
 480
 481     /// Same as `CodegenUnit::build_cgu_name()` but will never mangle the
 482     /// resulting name.
 483     pub fn build_cgu_name_no_mangle<I, C, S>(
 484         &mut self,
 485         cnum: CrateNum,
 486         components: I,
 487         special_suffix: Option<S>,
 488     ) -> Symbol
 489     where
 490         I: IntoIterator<Item = C>,
 491         C: fmt::Display,
 492         S: fmt::Display,
 493     {
 494         use std::fmt::Write;
 495
 496         let mut cgu_name = String::with_capacity(64);
 497
 498         // Start out with the crate name and disambiguator
 499         let tcx = self.tcx;
 500         let crate_prefix = self.cache.entry(cnum).or_insert_with(|| {
 501             // Whenever the cnum is not LOCAL_CRATE we also mix in the
 502             // local crate's ID. Otherwise there can be collisions between CGUs
 503             // instantiating stuff for upstream crates.
 504             let local_crate_id = if cnum != LOCAL_CRATE {
 505                 let local_stable_crate_id = tcx.sess.local_stable_crate_id();
 506                 format!(
 507                     "-in-{}.{:08x}",
 508                     tcx.crate_name(LOCAL_CRATE),
 509                     local_stable_crate_id.to_u64() as u32,
 510                 )
 511             } else {
 512                 String::new()
 513             };
 514
 515             let stable_crate_id = tcx.sess.local_stable_crate_id();
 516             format!(
 517                 "{}.{:08x}{}",
 518                 tcx.crate_name(cnum),
 519                 stable_crate_id.to_u64() as u32,
 520                 local_crate_id,
 521             )
 522         });
 523
 524         write!(cgu_name, "{}", crate_prefix).unwrap();
 525
 526         // Add the components
 527         for component in components {
 528             write!(cgu_name, "-{}", component).unwrap();
 529         }
 530
 531         if let Some(special_suffix) = special_suffix {
 532             // We add a dot in here so it cannot clash with anything in a regular
 533             // Rust identifier
 534             write!(cgu_name, ".{}", special_suffix).unwrap();
 535         }
 536
 537         Symbol::intern(&cgu_name)
 538     }
 539 }