src/librustdoc/core.rs

   1 use rustc::lint;
   2 use rustc::middle::cstore::CrateStore;
   3 use rustc::middle::privacy::AccessLevels;
   4 use rustc::session::config::ErrorOutputType;
   5 use rustc::session::DiagnosticOutput;
   6 use rustc::session::{self, config};
   7 use rustc::ty::{Ty, TyCtxt};
   8 use rustc_data_structures::fx::{FxHashMap, FxHashSet};
   9 use rustc_driver::abort_on_err;
  10 use rustc_feature::UnstableFeatures;
  11 use rustc_hir::def::Namespace::TypeNS;
  12 use rustc_hir::def_id::{CrateNum, DefId, DefIndex, LOCAL_CRATE};
  13 use rustc_hir::HirId;
  14 use rustc_interface::interface;
  15 use rustc_lint;
  16 use rustc_resolve as resolve;
  17
  18 use errors::emitter::{Emitter, EmitterWriter};
  19 use errors::json::JsonEmitter;
  20 use rustc_span::source_map;
  21 use rustc_span::symbol::sym;
  22 use rustc_span::DUMMY_SP;
  23 use syntax::ast::CRATE_NODE_ID;
  24 use syntax::attr;
  25
  26 use rustc_data_structures::sync::{self, Lrc};
  27 use std::cell::RefCell;
  28 use std::mem;
  29 use std::rc::Rc;
  30
  31 use crate::clean;
  32 use crate::clean::{AttributesExt, MAX_DEF_ID};
  33 use crate::config::{Options as RustdocOptions, RenderOptions};
  34 use crate::html::render::RenderInfo;
  35
  36 use crate::passes;
  37
  38 pub use rustc::session::config::{CodegenOptions, DebuggingOptions, Input, Options};
  39 pub use rustc::session::search_paths::SearchPath;
  40
  41 pub type ExternalPaths = FxHashMap<DefId, (Vec<String>, clean::TypeKind)>;
  42
  43 pub struct DocContext<'tcx> {
  44     pub tcx: TyCtxt<'tcx>,
  45     pub resolver: Rc<RefCell<interface::BoxedResolver>>,
  46     /// Later on moved into `html::render::CACHE_KEY`
  47     pub renderinfo: RefCell<RenderInfo>,
  48     /// Later on moved through `clean::Crate` into `html::render::CACHE_KEY`
  49     pub external_traits: Rc<RefCell<FxHashMap<DefId, clean::Trait>>>,
  50     /// Used while populating `external_traits` to ensure we don't process the same trait twice at
  51     /// the same time.
  52     pub active_extern_traits: RefCell<FxHashSet<DefId>>,
  53     // The current set of type and lifetime substitutions,
  54     // for expanding type aliases at the HIR level:
  55     /// Table `DefId` of type parameter -> substituted type
  56     pub ty_substs: RefCell<FxHashMap<DefId, clean::Type>>,
  57     /// Table `DefId` of lifetime parameter -> substituted lifetime
  58     pub lt_substs: RefCell<FxHashMap<DefId, clean::Lifetime>>,
  59     /// Table `DefId` of const parameter -> substituted const
  60     pub ct_substs: RefCell<FxHashMap<DefId, clean::Constant>>,
  61     /// Table synthetic type parameter for `impl Trait` in argument position -> bounds
  62     pub impl_trait_bounds: RefCell<FxHashMap<ImplTraitParam, Vec<clean::GenericBound>>>,
  63     pub fake_def_ids: RefCell<FxHashMap<CrateNum, DefId>>,
  64     pub all_fake_def_ids: RefCell<FxHashSet<DefId>>,
  65     /// Auto-trait or blanket impls processed so far, as `(self_ty, trait_def_id)`.
  66     // FIXME(eddyb) make this a `ty::TraitRef<'tcx>` set.
  67     pub generated_synthetics: RefCell<FxHashSet<(Ty<'tcx>, DefId)>>,
  68     pub auto_traits: Vec<DefId>,
  69 }
  70
  71 impl<'tcx> DocContext<'tcx> {
  72     pub fn sess(&self) -> &session::Session {
  73         &self.tcx.sess
  74     }
  75
  76     pub fn enter_resolver<F, R>(&self, f: F) -> R
  77     where
  78         F: FnOnce(&mut resolve::Resolver<'_>) -> R,
  79     {
  80         self.resolver.borrow_mut().access(f)
  81     }
  82
  83     /// Call the closure with the given parameters set as
  84     /// the substitutions for a type alias' RHS.
  85     pub fn enter_alias<F, R>(
  86         &self,
  87         ty_substs: FxHashMap<DefId, clean::Type>,
  88         lt_substs: FxHashMap<DefId, clean::Lifetime>,
  89         ct_substs: FxHashMap<DefId, clean::Constant>,
  90         f: F,
  91     ) -> R
  92     where
  93         F: FnOnce() -> R,
  94     {
  95         let (old_tys, old_lts, old_cts) = (
  96             mem::replace(&mut *self.ty_substs.borrow_mut(), ty_substs),
  97             mem::replace(&mut *self.lt_substs.borrow_mut(), lt_substs),
  98             mem::replace(&mut *self.ct_substs.borrow_mut(), ct_substs),
  99         );
 100         let r = f();
 101         *self.ty_substs.borrow_mut() = old_tys;
 102         *self.lt_substs.borrow_mut() = old_lts;
 103         *self.ct_substs.borrow_mut() = old_cts;
 104         r
 105     }
 106
 107     // This is an ugly hack, but it's the simplest way to handle synthetic impls without greatly
 108     // refactoring either librustdoc or librustc. In particular, allowing new DefIds to be
 109     // registered after the AST is constructed would require storing the defid mapping in a
 110     // RefCell, decreasing the performance for normal compilation for very little gain.
 111     //
 112     // Instead, we construct 'fake' def ids, which start immediately after the last DefId.
 113     // In the Debug impl for clean::Item, we explicitly check for fake
 114     // def ids, as we'll end up with a panic if we use the DefId Debug impl for fake DefIds
 115     pub fn next_def_id(&self, crate_num: CrateNum) -> DefId {
 116         let start_def_id = {
 117             let next_id = if crate_num == LOCAL_CRATE {
 118                 self.tcx.hir().definitions().def_path_table().next_id()
 119             } else {
 120                 self.enter_resolver(|r| r.cstore().def_path_table(crate_num).next_id())
 121             };
 122
 123             DefId { krate: crate_num, index: next_id }
 124         };
 125
 126         let mut fake_ids = self.fake_def_ids.borrow_mut();
 127
 128         let def_id = fake_ids.entry(crate_num).or_insert(start_def_id).clone();
 129         fake_ids.insert(
 130             crate_num,
 131             DefId { krate: crate_num, index: DefIndex::from(def_id.index.index() + 1) },
 132         );
 133
 134         MAX_DEF_ID.with(|m| {
 135             m.borrow_mut().entry(def_id.krate.clone()).or_insert(start_def_id);
 136         });
 137
 138         self.all_fake_def_ids.borrow_mut().insert(def_id);
 139
 140         def_id.clone()
 141     }
 142
 143     /// Like the function of the same name on the HIR map, but skips calling it on fake DefIds.
 144     /// (This avoids a slice-index-out-of-bounds panic.)
 145     pub fn as_local_hir_id(&self, def_id: DefId) -> Option<HirId> {
 146         if self.all_fake_def_ids.borrow().contains(&def_id) {
 147             None
 148         } else {
 149             self.tcx.hir().as_local_hir_id(def_id)
 150         }
 151     }
 152
 153     pub fn stability(&self, id: HirId) -> Option<attr::Stability> {
 154         self.tcx
 155             .hir()
 156             .opt_local_def_id(id)
 157             .and_then(|def_id| self.tcx.lookup_stability(def_id))
 158             .cloned()
 159     }
 160
 161     pub fn deprecation(&self, id: HirId) -> Option<attr::Deprecation> {
 162         self.tcx.hir().opt_local_def_id(id).and_then(|def_id| self.tcx.lookup_deprecation(def_id))
 163     }
 164 }
 165
 166 /// Creates a new diagnostic `Handler` that can be used to emit warnings and errors.
 167 ///
 168 /// If the given `error_format` is `ErrorOutputType::Json` and no `SourceMap` is given, a new one
 169 /// will be created for the handler.
 170 pub fn new_handler(
 171     error_format: ErrorOutputType,
 172     source_map: Option<Lrc<source_map::SourceMap>>,
 173     debugging_opts: &DebuggingOptions,
 174 ) -> errors::Handler {
 175     let emitter: Box<dyn Emitter + sync::Send> = match error_format {
 176         ErrorOutputType::HumanReadable(kind) => {
 177             let (short, color_config) = kind.unzip();
 178             Box::new(
 179                 EmitterWriter::stderr(
 180                     color_config,
 181                     source_map.map(|cm| cm as _),
 182                     short,
 183                     debugging_opts.teach,
 184                     debugging_opts.terminal_width,
 185                     false,
 186                 )
 187                 .ui_testing(debugging_opts.ui_testing()),
 188             )
 189         }
 190         ErrorOutputType::Json { pretty, json_rendered } => {
 191             let source_map = source_map.unwrap_or_else(|| {
 192                 Lrc::new(source_map::SourceMap::new(source_map::FilePathMapping::empty()))
 193             });
 194             Box::new(
 195                 JsonEmitter::stderr(None, source_map, pretty, json_rendered, false)
 196                     .ui_testing(debugging_opts.ui_testing()),
 197             )
 198         }
 199     };
 200
 201     errors::Handler::with_emitter_and_flags(emitter, debugging_opts.diagnostic_handler_flags(true))
 202 }
 203
 204 pub fn run_core(options: RustdocOptions) -> (clean::Crate, RenderInfo, RenderOptions) {
 205     // Parse, resolve, and typecheck the given crate.
 206
 207     let RustdocOptions {
 208         input,
 209         crate_name,
 210         proc_macro_crate,
 211         error_format,
 212         libs,
 213         externs,
 214         mut cfgs,
 215         codegen_options,
 216         debugging_options,
 217         target,
 218         edition,
 219         maybe_sysroot,
 220         lint_opts,
 221         describe_lints,
 222         lint_cap,
 223         mut default_passes,
 224         mut manual_passes,
 225         display_warnings,
 226         render_options,
 227         ..
 228     } = options;
 229
 230     let extern_names: Vec<String> = externs
 231         .iter()
 232         .filter(|(_, entry)| entry.add_prelude)
 233         .map(|(name, _)| name)
 234         .cloned()
 235         .collect();
 236
 237     // Add the doc cfg into the doc build.
 238     cfgs.push("doc".to_string());
 239
 240     let cpath = Some(input.clone());
 241     let input = Input::File(input);
 242
 243     let intra_link_resolution_failure_name = lint::builtin::INTRA_DOC_LINK_RESOLUTION_FAILURE.name;
 244     let warnings_lint_name = lint::builtin::WARNINGS.name;
 245     let missing_docs = rustc_lint::builtin::MISSING_DOCS.name;
 246     let missing_doc_example = rustc_lint::builtin::MISSING_DOC_CODE_EXAMPLES.name;
 247     let private_doc_tests = rustc_lint::builtin::PRIVATE_DOC_TESTS.name;
 248
 249     // In addition to those specific lints, we also need to whitelist those given through
 250     // command line, otherwise they'll get ignored and we don't want that.
 251     let mut whitelisted_lints = vec![
 252         warnings_lint_name.to_owned(),
 253         intra_link_resolution_failure_name.to_owned(),
 254         missing_docs.to_owned(),
 255         missing_doc_example.to_owned(),
 256         private_doc_tests.to_owned(),
 257     ];
 258
 259     whitelisted_lints.extend(lint_opts.iter().map(|(lint, _)| lint).cloned());
 260
 261     let lints = || {
 262         lint::builtin::HardwiredLints::get_lints()
 263             .into_iter()
 264             .chain(rustc_lint::SoftLints::get_lints().into_iter())
 265     };
 266
 267     let lint_opts = lints()
 268         .filter_map(|lint| {
 269             if lint.name == warnings_lint_name || lint.name == intra_link_resolution_failure_name {
 270                 None
 271             } else {
 272                 Some((lint.name_lower(), lint::Allow))
 273             }
 274         })
 275         .chain(lint_opts.into_iter())
 276         .collect::<Vec<_>>();
 277
 278     let lint_caps = lints()
 279         .filter_map(|lint| {
 280             // We don't want to whitelist *all* lints so let's
 281             // ignore those ones.
 282             if whitelisted_lints.iter().any(|l| &lint.name == l) {
 283                 None
 284             } else {
 285                 Some((lint::LintId::of(lint), lint::Allow))
 286             }
 287         })
 288         .collect();
 289
 290     let crate_types = if proc_macro_crate {
 291         vec![config::CrateType::ProcMacro]
 292     } else {
 293         vec![config::CrateType::Rlib]
 294     };
 295     // plays with error output here!
 296     let sessopts = config::Options {
 297         maybe_sysroot,
 298         search_paths: libs,
 299         crate_types,
 300         lint_opts: if !display_warnings { lint_opts } else { vec![] },
 301         lint_cap: Some(lint_cap.unwrap_or_else(|| lint::Forbid)),
 302         cg: codegen_options,
 303         externs,
 304         target_triple: target,
 305         // Ensure that rustdoc works even if rustc is feature-staged
 306         unstable_features: UnstableFeatures::Allow,
 307         actually_rustdoc: true,
 308         debugging_opts: debugging_options,
 309         error_format,
 310         edition,
 311         describe_lints,
 312         ..Options::default()
 313     };
 314
 315     let config = interface::Config {
 316         opts: sessopts,
 317         crate_cfg: interface::parse_cfgspecs(cfgs),
 318         input,
 319         input_path: cpath,
 320         output_file: None,
 321         output_dir: None,
 322         file_loader: None,
 323         diagnostic_output: DiagnosticOutput::Default,
 324         stderr: None,
 325         crate_name,
 326         lint_caps,
 327         register_lints: None,
 328         override_queries: None,
 329         registry: rustc_driver::diagnostics_registry(),
 330     };
 331
 332     interface::run_compiler_in_existing_thread_pool(config, |compiler| {
 333         compiler.enter(|queries| {
 334             let sess = compiler.session();
 335
 336             // We need to hold on to the complete resolver, so we cause everything to be
 337             // cloned for the analysis passes to use. Suboptimal, but necessary in the
 338             // current architecture.
 339             let resolver = {
 340                 let parts = abort_on_err(queries.expansion(), sess).peek();
 341                 let resolver = parts.1.borrow();
 342
 343                 // Before we actually clone it, let's force all the extern'd crates to
 344                 // actually be loaded, just in case they're only referred to inside
 345                 // intra-doc-links
 346                 resolver.borrow_mut().access(|resolver| {
 347                     for extern_name in &extern_names {
 348                         resolver
 349                             .resolve_str_path_error(DUMMY_SP, extern_name, TypeNS, CRATE_NODE_ID)
 350                             .unwrap_or_else(|()| {
 351                                 panic!("Unable to resolve external crate {}", extern_name)
 352                             });
 353                     }
 354                 });
 355
 356                 // Now we're good to clone the resolver because everything should be loaded
 357                 resolver.clone()
 358             };
 359
 360             if sess.has_errors() {
 361                 sess.fatal("Compilation failed, aborting rustdoc");
 362             }
 363
 364             let mut global_ctxt = abort_on_err(queries.global_ctxt(), sess).take();
 365
 366             global_ctxt.enter(|tcx| {
 367                 tcx.analysis(LOCAL_CRATE).ok();
 368
 369                 // Abort if there were any errors so far
 370                 sess.abort_if_errors();
 371
 372                 let access_levels = tcx.privacy_access_levels(LOCAL_CRATE);
 373                 // Convert from a HirId set to a DefId set since we don't always have easy access
 374                 // to the map from defid -> hirid
 375                 let access_levels = AccessLevels {
 376                     map: access_levels
 377                         .map
 378                         .iter()
 379                         .map(|(&k, &v)| (tcx.hir().local_def_id(k), v))
 380                         .collect(),
 381                 };
 382
 383                 let mut renderinfo = RenderInfo::default();
 384                 renderinfo.access_levels = access_levels;
 385
 386                 let mut ctxt = DocContext {
 387                     tcx,
 388                     resolver,
 389                     external_traits: Default::default(),
 390                     active_extern_traits: Default::default(),
 391                     renderinfo: RefCell::new(renderinfo),
 392                     ty_substs: Default::default(),
 393                     lt_substs: Default::default(),
 394                     ct_substs: Default::default(),
 395                     impl_trait_bounds: Default::default(),
 396                     fake_def_ids: Default::default(),
 397                     all_fake_def_ids: Default::default(),
 398                     generated_synthetics: Default::default(),
 399                     auto_traits: tcx
 400                         .all_traits(LOCAL_CRATE)
 401                         .iter()
 402                         .cloned()
 403                         .filter(|trait_def_id| tcx.trait_is_auto(*trait_def_id))
 404                         .collect(),
 405                 };
 406                 debug!("crate: {:?}", tcx.hir().krate());
 407
 408                 let mut krate = clean::krate(&mut ctxt);
 409
 410                 fn report_deprecated_attr(name: &str, diag: &errors::Handler) {
 411                     let mut msg = diag.struct_warn(&format!(
 412                         "the `#![doc({})]` attribute is \
 413                                                          considered deprecated",
 414                         name
 415                     ));
 416                     msg.warn("please see https://github.com/rust-lang/rust/issues/44136");
 417
 418                     if name == "no_default_passes" {
 419                         msg.help("you may want to use `#![doc(document_private_items)]`");
 420                     }
 421
 422                     msg.emit();
 423                 }
 424
 425                 // Process all of the crate attributes, extracting plugin metadata along
 426                 // with the passes which we are supposed to run.
 427                 for attr in krate.module.as_ref().unwrap().attrs.lists(sym::doc) {
 428                     let diag = ctxt.sess().diagnostic();
 429
 430                     let name = attr.name_or_empty();
 431                     if attr.is_word() {
 432                         if name == sym::no_default_passes {
 433                             report_deprecated_attr("no_default_passes", diag);
 434                             if default_passes == passes::DefaultPassOption::Default {
 435                                 default_passes = passes::DefaultPassOption::None;
 436                             }
 437                         }
 438                     } else if let Some(value) = attr.value_str() {
 439                         let sink = match name {
 440                             sym::passes => {
 441                                 report_deprecated_attr("passes = \"...\"", diag);
 442                                 &mut manual_passes
 443                             }
 444                             sym::plugins => {
 445                                 report_deprecated_attr("plugins = \"...\"", diag);
 446                                 eprintln!(
 447                                     "WARNING: `#![doc(plugins = \"...\")]` \
 448                                       no longer functions; see CVE-2018-1000622"
 449                                 );
 450                                 continue;
 451                             }
 452                             _ => continue,
 453                         };
 454                         for name in value.as_str().split_whitespace() {
 455                             sink.push(name.to_string());
 456                         }
 457                     }
 458
 459                     if attr.is_word() && name == sym::document_private_items {
 460                         if default_passes == passes::DefaultPassOption::Default {
 461                             default_passes = passes::DefaultPassOption::Private;
 462                         }
 463                     }
 464                 }
 465
 466                 let passes = passes::defaults(default_passes).iter().chain(
 467                     manual_passes.into_iter().flat_map(|name| {
 468                         if let Some(pass) = passes::find_pass(&name) {
 469                             Some(pass)
 470                         } else {
 471                             error!("unknown pass {}, skipping", name);
 472                             None
 473                         }
 474                     }),
 475                 );
 476
 477                 info!("Executing passes");
 478
 479                 for pass in passes {
 480                     debug!("running pass {}", pass.name);
 481                     krate = (pass.pass)(krate, &ctxt);
 482                 }
 483
 484                 ctxt.sess().abort_if_errors();
 485
 486                 (krate, ctxt.renderinfo.into_inner(), render_options)
 487             })
 488         })
 489     })
 490 }
 491
 492 /// `DefId` or parameter index (`ty::ParamTy.index`) of a synthetic type parameter
 493 /// for `impl Trait` in argument position.
 494 #[derive(Clone, Copy, PartialEq, Eq, Hash, PartialOrd, Ord)]
 495 pub enum ImplTraitParam {
 496     DefId(DefId),
 497     ParamIndex(u32),
 498 }
 499
 500 impl From<DefId> for ImplTraitParam {
 501     fn from(did: DefId) -> Self {
 502         ImplTraitParam::DefId(did)
 503     }
 504 }
 505
 506 impl From<u32> for ImplTraitParam {
 507     fn from(idx: u32) -> Self {
 508         ImplTraitParam::ParamIndex(idx)
 509     }
 510 }