crates/project_model/src/workspace.rs

   1 //! Handles lowering of build-system specific workspace information (`cargo
   2 //! metadata` or `rust-project.json`) into representation stored in the salsa
   3 //! database -- `CrateGraph`.
   4
   5 use std::{collections::VecDeque, convert::TryFrom, fmt, fs, process::Command};
   6
   7 use anyhow::{format_err, Context, Result};
   8 use base_db::{CrateDisplayName, CrateGraph, CrateId, CrateName, Edition, Env, FileId, ProcMacro};
   9 use cfg::{CfgDiff, CfgOptions};
  10 use paths::{AbsPath, AbsPathBuf};
  11 use proc_macro_api::ProcMacroClient;
  12 use rustc_hash::{FxHashMap, FxHashSet};
  13 use stdx::always;
  14
  15 use crate::{
  16     build_scripts::BuildScriptOutput,
  17     cargo_workspace::{DepKind, PackageData, RustcSource},
  18     cfg_flag::CfgFlag,
  19     rustc_cfg,
  20     sysroot::SysrootCrate,
  21     utf8_stdout, CargoConfig, CargoWorkspace, ManifestPath, ProjectJson, ProjectManifest, Sysroot,
  22     TargetKind, WorkspaceBuildScripts,
  23 };
  24
  25 pub type CfgOverrides = FxHashMap<String, CfgDiff>;
  26
  27 /// `PackageRoot` describes a package root folder.
  28 /// Which may be an external dependency, or a member of
  29 /// the current workspace.
  30 #[derive(Debug, Clone, Eq, PartialEq, Hash)]
  31 pub struct PackageRoot {
  32     /// Is a member of the current workspace
  33     pub is_member: bool,
  34     pub include: Vec<AbsPathBuf>,
  35     pub exclude: Vec<AbsPathBuf>,
  36 }
  37
  38 #[derive(Clone, Eq, PartialEq)]
  39 pub enum ProjectWorkspace {
  40     /// Project workspace was discovered by running `cargo metadata` and `rustc --print sysroot`.
  41     Cargo {
  42         cargo: CargoWorkspace,
  43         build_scripts: WorkspaceBuildScripts,
  44         sysroot: Sysroot,
  45         rustc: Option<CargoWorkspace>,
  46         /// Holds cfg flags for the current target. We get those by running
  47         /// `rustc --print cfg`.
  48         ///
  49         /// FIXME: make this a per-crate map, as, eg, build.rs might have a
  50         /// different target.
  51         rustc_cfg: Vec<CfgFlag>,
  52         cfg_overrides: CfgOverrides,
  53     },
  54     /// Project workspace was manually specified using a `rust-project.json` file.
  55     Json { project: ProjectJson, sysroot: Option<Sysroot>, rustc_cfg: Vec<CfgFlag> },
  56
  57     // FIXME: The primary limitation of this approach is that the set of detached files needs to be fixed at the beginning.
  58     // That's not the end user experience we should strive for.
  59     // Ideally, you should be able to just open a random detached file in existing cargo projects, and get the basic features working.
  60     // That needs some changes on the salsa-level though.
  61     // In particular, we should split the unified CrateGraph (which currently has maximal durability) into proper crate graph, and a set of ad hoc roots (with minimal durability).
  62     // Then, we need to hide the graph behind the queries such that most queries look only at the proper crate graph, and fall back to ad hoc roots only if there's no results.
  63     // After this, we should be able to tweak the logic in reload.rs to add newly opened files, which don't belong to any existing crates, to the set of the detached files.
  64     // //
  65     /// Project with a set of disjoint files, not belonging to any particular workspace.
  66     /// Backed by basic sysroot crates for basic completion and highlighting.
  67     DetachedFiles { files: Vec<AbsPathBuf>, sysroot: Sysroot, rustc_cfg: Vec<CfgFlag> },
  68 }
  69
  70 impl fmt::Debug for ProjectWorkspace {
  71     fn fmt(&self, f: &mut fmt::Formatter<'_>) -> fmt::Result {
  72         // Make sure this isn't too verbose.
  73         match self {
  74             ProjectWorkspace::Cargo {
  75                 cargo,
  76                 build_scripts: _,
  77                 sysroot,
  78                 rustc,
  79                 rustc_cfg,
  80                 cfg_overrides,
  81             } => f
  82                 .debug_struct("Cargo")
  83                 .field("root", &cargo.workspace_root().file_name())
  84                 .field("n_packages", &cargo.packages().len())
  85                 .field("n_sysroot_crates", &sysroot.crates().len())
  86                 .field(
  87                     "n_rustc_compiler_crates",
  88                     &rustc.as_ref().map_or(0, |rc| rc.packages().len()),
  89                 )
  90                 .field("n_rustc_cfg", &rustc_cfg.len())
  91                 .field("n_cfg_overrides", &cfg_overrides.len())
  92                 .finish(),
  93             ProjectWorkspace::Json { project, sysroot, rustc_cfg } => {
  94                 let mut debug_struct = f.debug_struct("Json");
  95                 debug_struct.field("n_crates", &project.n_crates());
  96                 if let Some(sysroot) = sysroot {
  97                     debug_struct.field("n_sysroot_crates", &sysroot.crates().len());
  98                 }
  99                 debug_struct.field("n_rustc_cfg", &rustc_cfg.len());
 100                 debug_struct.finish()
 101             }
 102             ProjectWorkspace::DetachedFiles { files, sysroot, rustc_cfg } => f
 103                 .debug_struct("DetachedFiles")
 104                 .field("n_files", &files.len())
 105                 .field("n_sysroot_crates", &sysroot.crates().len())
 106                 .field("n_rustc_cfg", &rustc_cfg.len())
 107                 .finish(),
 108         }
 109     }
 110 }
 111
 112 impl ProjectWorkspace {
 113     pub fn load(
 114         manifest: ProjectManifest,
 115         config: &CargoConfig,
 116         progress: &dyn Fn(String),
 117     ) -> Result<ProjectWorkspace> {
 118         let res = match manifest {
 119             ProjectManifest::ProjectJson(project_json) => {
 120                 let file = fs::read_to_string(&project_json).with_context(|| {
 121                     format!("Failed to read json file {}", project_json.display())
 122                 })?;
 123                 let data = serde_json::from_str(&file).with_context(|| {
 124                     format!("Failed to deserialize json file {}", project_json.display())
 125                 })?;
 126                 let project_location = project_json.parent().to_path_buf();
 127                 let project_json = ProjectJson::new(&project_location, data);
 128                 ProjectWorkspace::load_inline(project_json, config.target.as_deref())?
 129             }
 130             ProjectManifest::CargoToml(cargo_toml) => {
 131                 let cargo_version = utf8_stdout({
 132                     let mut cmd = Command::new(toolchain::cargo());
 133                     cmd.arg("--version");
 134                     cmd
 135                 })?;
 136
 137                 let meta = CargoWorkspace::fetch_metadata(&cargo_toml, config, progress)
 138                     .with_context(|| {
 139                         format!(
 140                             "Failed to read Cargo metadata from Cargo.toml file {}, {}",
 141                             cargo_toml.display(),
 142                             cargo_version
 143                         )
 144                     })?;
 145                 let cargo = CargoWorkspace::new(meta);
 146
 147                 let sysroot = if config.no_sysroot {
 148                     Sysroot::default()
 149                 } else {
 150                     Sysroot::discover(cargo_toml.parent()).with_context(|| {
 151                         format!(
 152                             "Failed to find sysroot for Cargo.toml file {}. Is rust-src installed?",
 153                             cargo_toml.display()
 154                         )
 155                     })?
 156                 };
 157
 158                 let rustc_dir = match &config.rustc_source {
 159                     Some(RustcSource::Path(path)) => ManifestPath::try_from(path.clone()).ok(),
 160                     Some(RustcSource::Discover) => Sysroot::discover_rustc(&cargo_toml),
 161                     None => None,
 162                 };
 163
 164                 let rustc = match rustc_dir {
 165                     Some(rustc_dir) => Some({
 166                         let meta = CargoWorkspace::fetch_metadata(&rustc_dir, config, progress)
 167                             .with_context(|| {
 168                                 format!("Failed to read Cargo metadata for Rust sources")
 169                             })?;
 170                         CargoWorkspace::new(meta)
 171                     }),
 172                     None => None,
 173                 };
 174
 175                 let rustc_cfg = rustc_cfg::get(Some(&cargo_toml), config.target.as_deref());
 176
 177                 let cfg_overrides = config.cfg_overrides();
 178                 ProjectWorkspace::Cargo {
 179                     cargo,
 180                     build_scripts: WorkspaceBuildScripts::default(),
 181                     sysroot,
 182                     rustc,
 183                     rustc_cfg,
 184                     cfg_overrides,
 185                 }
 186             }
 187         };
 188
 189         Ok(res)
 190     }
 191
 192     pub fn load_inline(
 193         project_json: ProjectJson,
 194         target: Option<&str>,
 195     ) -> Result<ProjectWorkspace> {
 196         let sysroot = match &project_json.sysroot_src {
 197             Some(path) => Some(Sysroot::load(path)?),
 198             None => None,
 199         };
 200         let rustc_cfg = rustc_cfg::get(None, target);
 201         Ok(ProjectWorkspace::Json { project: project_json, sysroot, rustc_cfg })
 202     }
 203
 204     pub fn load_detached_files(detached_files: Vec<AbsPathBuf>) -> Result<ProjectWorkspace> {
 205         let sysroot = Sysroot::discover(
 206             detached_files
 207                 .first()
 208                 .and_then(|it| it.parent())
 209                 .ok_or_else(|| format_err!("No detached files to load"))?,
 210         )?;
 211         let rustc_cfg = rustc_cfg::get(None, None);
 212         Ok(ProjectWorkspace::DetachedFiles { files: detached_files, sysroot, rustc_cfg })
 213     }
 214
 215     pub fn run_build_scripts(
 216         &self,
 217         config: &CargoConfig,
 218         progress: &dyn Fn(String),
 219     ) -> Result<WorkspaceBuildScripts> {
 220         match self {
 221             ProjectWorkspace::Cargo { cargo, .. } => {
 222                 WorkspaceBuildScripts::run(config, cargo, progress)
 223             }
 224             ProjectWorkspace::Json { .. } | ProjectWorkspace::DetachedFiles { .. } => {
 225                 Ok(WorkspaceBuildScripts::default())
 226             }
 227         }
 228     }
 229
 230     pub fn set_build_scripts(&mut self, bs: WorkspaceBuildScripts) {
 231         match self {
 232             ProjectWorkspace::Cargo { build_scripts, .. } => *build_scripts = bs,
 233             _ => {
 234                 always!(bs == WorkspaceBuildScripts::default());
 235             }
 236         }
 237     }
 238
 239     /// Returns the roots for the current `ProjectWorkspace`
 240     /// The return type contains the path and whether or not
 241     /// the root is a member of the current workspace
 242     pub fn to_roots(&self) -> Vec<PackageRoot> {
 243         match self {
 244             ProjectWorkspace::Json { project, sysroot, rustc_cfg: _ } => project
 245                 .crates()
 246                 .map(|(_, krate)| PackageRoot {
 247                     is_member: krate.is_workspace_member,
 248                     include: krate.include.clone(),
 249                     exclude: krate.exclude.clone(),
 250                 })
 251                 .collect::<FxHashSet<_>>()
 252                 .into_iter()
 253                 .chain(sysroot.as_ref().into_iter().flat_map(|sysroot| {
 254                     sysroot.crates().map(move |krate| PackageRoot {
 255                         is_member: false,
 256                         include: vec![sysroot[krate].root.parent().to_path_buf()],
 257                         exclude: Vec::new(),
 258                     })
 259                 }))
 260                 .collect::<Vec<_>>(),
 261             ProjectWorkspace::Cargo {
 262                 cargo,
 263                 sysroot,
 264                 rustc,
 265                 rustc_cfg: _,
 266                 cfg_overrides: _,
 267                 build_scripts,
 268             } => {
 269                 cargo
 270                     .packages()
 271                     .map(|pkg| {
 272                         let is_member = cargo[pkg].is_member;
 273                         let pkg_root = cargo[pkg].manifest.parent().to_path_buf();
 274
 275                         let mut include = vec![pkg_root.clone()];
 276                         include.extend(
 277                             build_scripts.outputs.get(pkg).and_then(|it| it.out_dir.clone()),
 278                         );
 279
 280                         // In case target's path is manually set in Cargo.toml to be
 281                         // outside the package root, add its parent as an extra include.
 282                         // An example of this situation would look like this:
 283                         //
 284                         // ```toml
 285                         // [lib]
 286                         // path = "../../src/lib.rs"
 287                         // ```
 288                         let extra_targets = cargo[pkg]
 289                             .targets
 290                             .iter()
 291                             .filter(|&&tgt| cargo[tgt].kind == TargetKind::Lib)
 292                             .filter_map(|&tgt| cargo[tgt].root.parent())
 293                             .map(|tgt| tgt.normalize().to_path_buf())
 294                             .filter(|path| !path.starts_with(&pkg_root));
 295                         include.extend(extra_targets);
 296
 297                         let mut exclude = vec![pkg_root.join(".git")];
 298                         if is_member {
 299                             exclude.push(pkg_root.join("target"));
 300                         } else {
 301                             exclude.push(pkg_root.join("tests"));
 302                             exclude.push(pkg_root.join("examples"));
 303                             exclude.push(pkg_root.join("benches"));
 304                         }
 305                         PackageRoot { is_member, include, exclude }
 306                     })
 307                     .chain(sysroot.crates().map(|krate| PackageRoot {
 308                         is_member: false,
 309                         include: vec![sysroot[krate].root.parent().to_path_buf()],
 310                         exclude: Vec::new(),
 311                     }))
 312                     .chain(rustc.into_iter().flat_map(|rustc| {
 313                         rustc.packages().map(move |krate| PackageRoot {
 314                             is_member: false,
 315                             include: vec![rustc[krate].manifest.parent().to_path_buf()],
 316                             exclude: Vec::new(),
 317                         })
 318                     }))
 319                     .collect()
 320             }
 321             ProjectWorkspace::DetachedFiles { files, sysroot, .. } => files
 322                 .into_iter()
 323                 .map(|detached_file| PackageRoot {
 324                     is_member: true,
 325                     include: vec![detached_file.clone()],
 326                     exclude: Vec::new(),
 327                 })
 328                 .chain(sysroot.crates().map(|krate| PackageRoot {
 329                     is_member: false,
 330                     include: vec![sysroot[krate].root.parent().to_path_buf()],
 331                     exclude: Vec::new(),
 332                 }))
 333                 .collect(),
 334         }
 335     }
 336
 337     pub fn n_packages(&self) -> usize {
 338         match self {
 339             ProjectWorkspace::Json { project, .. } => project.n_crates(),
 340             ProjectWorkspace::Cargo { cargo, sysroot, rustc, .. } => {
 341                 let rustc_package_len = rustc.as_ref().map_or(0, |rc| rc.packages().len());
 342                 cargo.packages().len() + sysroot.crates().len() + rustc_package_len
 343             }
 344             ProjectWorkspace::DetachedFiles { sysroot, files, .. } => {
 345                 sysroot.crates().len() + files.len()
 346             }
 347         }
 348     }
 349
 350     pub fn to_crate_graph(
 351         &self,
 352         proc_macro_client: Option<&ProcMacroClient>,
 353         load: &mut dyn FnMut(&AbsPath) -> Option<FileId>,
 354     ) -> CrateGraph {
 355         let _p = profile::span("ProjectWorkspace::to_crate_graph");
 356         let proc_macro_loader = |path: &AbsPath| match proc_macro_client {
 357             Some(client) => client.by_dylib_path(path),
 358             None => Vec::new(),
 359         };
 360
 361         let mut crate_graph = match self {
 362             ProjectWorkspace::Json { project, sysroot, rustc_cfg } => project_json_to_crate_graph(
 363                 rustc_cfg.clone(),
 364                 &proc_macro_loader,
 365                 load,
 366                 project,
 367                 sysroot,
 368             ),
 369             ProjectWorkspace::Cargo {
 370                 cargo,
 371                 sysroot,
 372                 rustc,
 373                 rustc_cfg,
 374                 cfg_overrides,
 375                 build_scripts,
 376             } => cargo_to_crate_graph(
 377                 rustc_cfg.clone(),
 378                 cfg_overrides,
 379                 &proc_macro_loader,
 380                 load,
 381                 cargo,
 382                 build_scripts,
 383                 sysroot,
 384                 rustc,
 385             ),
 386             ProjectWorkspace::DetachedFiles { files, sysroot, rustc_cfg } => {
 387                 detached_files_to_crate_graph(rustc_cfg.clone(), load, files, sysroot)
 388             }
 389         };
 390         if crate_graph.patch_cfg_if() {
 391             log::debug!("Patched std to depend on cfg-if")
 392         } else {
 393             log::debug!("Did not patch std to depend on cfg-if")
 394         }
 395         crate_graph
 396     }
 397 }
 398
 399 fn project_json_to_crate_graph(
 400     rustc_cfg: Vec<CfgFlag>,
 401     proc_macro_loader: &dyn Fn(&AbsPath) -> Vec<ProcMacro>,
 402     load: &mut dyn FnMut(&AbsPath) -> Option<FileId>,
 403     project: &ProjectJson,
 404     sysroot: &Option<Sysroot>,
 405 ) -> CrateGraph {
 406     let mut crate_graph = CrateGraph::default();
 407     let sysroot_deps = sysroot
 408         .as_ref()
 409         .map(|sysroot| sysroot_to_crate_graph(&mut crate_graph, sysroot, rustc_cfg.clone(), load));
 410
 411     let mut cfg_cache: FxHashMap<&str, Vec<CfgFlag>> = FxHashMap::default();
 412     let crates: FxHashMap<CrateId, CrateId> = project
 413         .crates()
 414         .filter_map(|(crate_id, krate)| {
 415             let file_path = &krate.root_module;
 416             let file_id = load(file_path)?;
 417             Some((crate_id, krate, file_id))
 418         })
 419         .map(|(crate_id, krate, file_id)| {
 420             let env = krate.env.clone().into_iter().collect();
 421             let proc_macro = krate.proc_macro_dylib_path.clone().map(|it| proc_macro_loader(&it));
 422
 423             let target_cfgs = match krate.target.as_deref() {
 424                 Some(target) => {
 425                     cfg_cache.entry(target).or_insert_with(|| rustc_cfg::get(None, Some(target)))
 426                 }
 427                 None => &rustc_cfg,
 428             };
 429
 430             let mut cfg_options = CfgOptions::default();
 431             cfg_options.extend(target_cfgs.iter().chain(krate.cfg.iter()).cloned());
 432             (
 433                 crate_id,
 434                 crate_graph.add_crate_root(
 435                     file_id,
 436                     krate.edition,
 437                     krate.display_name.clone(),
 438                     cfg_options.clone(),
 439                     cfg_options,
 440                     env,
 441                     proc_macro.unwrap_or_default(),
 442                 ),
 443             )
 444         })
 445         .collect();
 446
 447     for (from, krate) in project.crates() {
 448         if let Some(&from) = crates.get(&from) {
 449             if let Some((public_deps, _proc_macro)) = &sysroot_deps {
 450                 for (name, to) in public_deps.iter() {
 451                     add_dep(&mut crate_graph, from, name.clone(), *to)
 452                 }
 453             }
 454
 455             for dep in &krate.deps {
 456                 if let Some(&to) = crates.get(&dep.crate_id) {
 457                     add_dep(&mut crate_graph, from, dep.name.clone(), to)
 458                 }
 459             }
 460         }
 461     }
 462     crate_graph
 463 }
 464
 465 fn cargo_to_crate_graph(
 466     rustc_cfg: Vec<CfgFlag>,
 467     override_cfg: &CfgOverrides,
 468     proc_macro_loader: &dyn Fn(&AbsPath) -> Vec<ProcMacro>,
 469     load: &mut dyn FnMut(&AbsPath) -> Option<FileId>,
 470     cargo: &CargoWorkspace,
 471     build_scripts: &WorkspaceBuildScripts,
 472     sysroot: &Sysroot,
 473     rustc: &Option<CargoWorkspace>,
 474 ) -> CrateGraph {
 475     let _p = profile::span("cargo_to_crate_graph");
 476     let mut crate_graph = CrateGraph::default();
 477     let (public_deps, libproc_macro) =
 478         sysroot_to_crate_graph(&mut crate_graph, sysroot, rustc_cfg.clone(), load);
 479
 480     let mut cfg_options = CfgOptions::default();
 481     cfg_options.extend(rustc_cfg);
 482
 483     let mut pkg_to_lib_crate = FxHashMap::default();
 484
 485     // Add test cfg for non-sysroot crates
 486     cfg_options.insert_atom("test".into());
 487     cfg_options.insert_atom("debug_assertions".into());
 488
 489     let mut pkg_crates = FxHashMap::default();
 490     // Does any crate signal to rust-analyzer that they need the rustc_private crates?
 491     let mut has_private = false;
 492     // Next, create crates for each package, target pair
 493     for pkg in cargo.packages() {
 494         let mut cfg_options = &cfg_options;
 495         let mut replaced_cfg_options;
 496         if let Some(overrides) = override_cfg.get(&cargo[pkg].name) {
 497             // FIXME: this is sort of a hack to deal with #![cfg(not(test))] vanishing such as seen
 498             // in ed25519_dalek (#7243), and libcore (#9203) (although you only hit that one while
 499             // working on rust-lang/rust as that's the only time it appears outside sysroot).
 500             //
 501             // A more ideal solution might be to reanalyze crates based on where the cursor is and
 502             // figure out the set of cfgs that would have to apply to make it active.
 503
 504             replaced_cfg_options = cfg_options.clone();
 505             replaced_cfg_options.apply_diff(overrides.clone());
 506             cfg_options = &replaced_cfg_options;
 507         };
 508
 509         has_private |= cargo[pkg].metadata.rustc_private;
 510         let mut lib_tgt = None;
 511         for &tgt in cargo[pkg].targets.iter() {
 512             if let Some(file_id) = load(&cargo[tgt].root) {
 513                 let crate_id = add_target_crate_root(
 514                     &mut crate_graph,
 515                     &cargo[pkg],
 516                     build_scripts.outputs.get(pkg),
 517                     &cfg_options,
 518                     proc_macro_loader,
 519                     file_id,
 520                     &cargo[tgt].name,
 521                 );
 522                 if cargo[tgt].kind == TargetKind::Lib {
 523                     lib_tgt = Some((crate_id, cargo[tgt].name.clone()));
 524                     pkg_to_lib_crate.insert(pkg, crate_id);
 525                 }
 526                 if cargo[tgt].is_proc_macro {
 527                     if let Some(proc_macro) = libproc_macro {
 528                         add_dep(
 529                             &mut crate_graph,
 530                             crate_id,
 531                             CrateName::new("proc_macro").unwrap(),
 532                             proc_macro,
 533                         );
 534                     }
 535                 }
 536
 537                 pkg_crates.entry(pkg).or_insert_with(Vec::new).push((crate_id, cargo[tgt].kind));
 538             }
 539         }
 540
 541         // Set deps to the core, std and to the lib target of the current package
 542         for (from, kind) in pkg_crates.get(&pkg).into_iter().flatten() {
 543             if let Some((to, name)) = lib_tgt.clone() {
 544                 if to != *from && *kind != TargetKind::BuildScript {
 545                     // (build script can not depend on its library target)
 546
 547                     // For root projects with dashes in their name,
 548                     // cargo metadata does not do any normalization,
 549                     // so we do it ourselves currently
 550                     let name = CrateName::normalize_dashes(&name);
 551                     add_dep(&mut crate_graph, *from, name, to);
 552                 }
 553             }
 554             for (name, krate) in public_deps.iter() {
 555                 add_dep(&mut crate_graph, *from, name.clone(), *krate);
 556             }
 557         }
 558     }
 559
 560     // Now add a dep edge from all targets of upstream to the lib
 561     // target of downstream.
 562     for pkg in cargo.packages() {
 563         for dep in cargo[pkg].dependencies.iter() {
 564             let name = CrateName::new(&dep.name).unwrap();
 565             if let Some(&to) = pkg_to_lib_crate.get(&dep.pkg) {
 566                 for (from, kind) in pkg_crates.get(&pkg).into_iter().flatten() {
 567                     if dep.kind == DepKind::Build && *kind != TargetKind::BuildScript {
 568                         // Only build scripts may depend on build dependencies.
 569                         continue;
 570                     }
 571                     if dep.kind != DepKind::Build && *kind == TargetKind::BuildScript {
 572                         // Build scripts may only depend on build dependencies.
 573                         continue;
 574                     }
 575
 576                     add_dep(&mut crate_graph, *from, name.clone(), to)
 577                 }
 578             }
 579         }
 580     }
 581
 582     if has_private {
 583         // If the user provided a path to rustc sources, we add all the rustc_private crates
 584         // and create dependencies on them for the crates which opt-in to that
 585         if let Some(rustc_workspace) = rustc {
 586             handle_rustc_crates(
 587                 rustc_workspace,
 588                 load,
 589                 &mut crate_graph,
 590                 &cfg_options,
 591                 proc_macro_loader,
 592                 &mut pkg_to_lib_crate,
 593                 &public_deps,
 594                 cargo,
 595                 &pkg_crates,
 596             );
 597         }
 598     }
 599     crate_graph
 600 }
 601
 602 fn detached_files_to_crate_graph(
 603     rustc_cfg: Vec<CfgFlag>,
 604     load: &mut dyn FnMut(&AbsPath) -> Option<FileId>,
 605     detached_files: &[AbsPathBuf],
 606     sysroot: &Sysroot,
 607 ) -> CrateGraph {
 608     let _p = profile::span("detached_files_to_crate_graph");
 609     let mut crate_graph = CrateGraph::default();
 610     let (public_deps, _libproc_macro) =
 611         sysroot_to_crate_graph(&mut crate_graph, sysroot, rustc_cfg.clone(), load);
 612
 613     let mut cfg_options = CfgOptions::default();
 614     cfg_options.extend(rustc_cfg);
 615
 616     for detached_file in detached_files {
 617         let file_id = match load(detached_file) {
 618             Some(file_id) => file_id,
 619             None => {
 620                 log::error!("Failed to load detached file {:?}", detached_file);
 621                 continue;
 622             }
 623         };
 624         let display_name = detached_file
 625             .file_stem()
 626             .and_then(|os_str| os_str.to_str())
 627             .map(|file_stem| CrateDisplayName::from_canonical_name(file_stem.to_string()));
 628         let detached_file_crate = crate_graph.add_crate_root(
 629             file_id,
 630             Edition::CURRENT,
 631             display_name,
 632             cfg_options.clone(),
 633             cfg_options.clone(),
 634             Env::default(),
 635             Vec::new(),
 636         );
 637
 638         for (name, krate) in public_deps.iter() {
 639             add_dep(&mut crate_graph, detached_file_crate, name.clone(), *krate);
 640         }
 641     }
 642     crate_graph
 643 }
 644
 645 fn handle_rustc_crates(
 646     rustc_workspace: &CargoWorkspace,
 647     load: &mut dyn FnMut(&AbsPath) -> Option<FileId>,
 648     crate_graph: &mut CrateGraph,
 649     cfg_options: &CfgOptions,
 650     proc_macro_loader: &dyn Fn(&AbsPath) -> Vec<ProcMacro>,
 651     pkg_to_lib_crate: &mut FxHashMap<la_arena::Idx<crate::PackageData>, CrateId>,
 652     public_deps: &[(CrateName, CrateId)],
 653     cargo: &CargoWorkspace,
 654     pkg_crates: &FxHashMap<la_arena::Idx<crate::PackageData>, Vec<(CrateId, TargetKind)>>,
 655 ) {
 656     let mut rustc_pkg_crates = FxHashMap::default();
 657     // The root package of the rustc-dev component is rustc_driver, so we match that
 658     let root_pkg =
 659         rustc_workspace.packages().find(|package| rustc_workspace[*package].name == "rustc_driver");
 660     // The rustc workspace might be incomplete (such as if rustc-dev is not
 661     // installed for the current toolchain) and `rustcSource` is set to discover.
 662     if let Some(root_pkg) = root_pkg {
 663         // Iterate through every crate in the dependency subtree of rustc_driver using BFS
 664         let mut queue = VecDeque::new();
 665         queue.push_back(root_pkg);
 666         while let Some(pkg) = queue.pop_front() {
 667             // Don't duplicate packages if they are dependended on a diamond pattern
 668             // N.B. if this line is ommitted, we try to analyse over 4_800_000 crates
 669             // which is not ideal
 670             if rustc_pkg_crates.contains_key(&pkg) {
 671                 continue;
 672             }
 673             for dep in &rustc_workspace[pkg].dependencies {
 674                 queue.push_back(dep.pkg);
 675             }
 676             for &tgt in rustc_workspace[pkg].targets.iter() {
 677                 if rustc_workspace[tgt].kind != TargetKind::Lib {
 678                     continue;
 679                 }
 680                 if let Some(file_id) = load(&rustc_workspace[tgt].root) {
 681                     let crate_id = add_target_crate_root(
 682                         crate_graph,
 683                         &rustc_workspace[pkg],
 684                         None,
 685                         cfg_options,
 686                         proc_macro_loader,
 687                         file_id,
 688                         &rustc_workspace[tgt].name,
 689                     );
 690                     pkg_to_lib_crate.insert(pkg, crate_id);
 691                     // Add dependencies on core / std / alloc for this crate
 692                     for (name, krate) in public_deps.iter() {
 693                         add_dep(crate_graph, crate_id, name.clone(), *krate);
 694                     }
 695                     rustc_pkg_crates.entry(pkg).or_insert_with(Vec::new).push(crate_id);
 696                 }
 697             }
 698         }
 699     }
 700     // Now add a dep edge from all targets of upstream to the lib
 701     // target of downstream.
 702     for pkg in rustc_pkg_crates.keys().copied() {
 703         for dep in rustc_workspace[pkg].dependencies.iter() {
 704             let name = CrateName::new(&dep.name).unwrap();
 705             if let Some(&to) = pkg_to_lib_crate.get(&dep.pkg) {
 706                 for &from in rustc_pkg_crates.get(&pkg).into_iter().flatten() {
 707                     add_dep(crate_graph, from, name.clone(), to);
 708                 }
 709             }
 710         }
 711     }
 712     // Add a dependency on the rustc_private crates for all targets of each package
 713     // which opts in
 714     for dep in rustc_workspace.packages() {
 715         let name = CrateName::normalize_dashes(&rustc_workspace[dep].name);
 716
 717         if let Some(&to) = pkg_to_lib_crate.get(&dep) {
 718             for pkg in cargo.packages() {
 719                 let package = &cargo[pkg];
 720                 if !package.metadata.rustc_private {
 721                     continue;
 722                 }
 723                 for (from, _) in pkg_crates.get(&pkg).into_iter().flatten() {
 724                     // Avoid creating duplicate dependencies
 725                     // This avoids the situation where `from` depends on e.g. `arrayvec`, but
 726                     // `rust_analyzer` thinks that it should use the one from the `rustcSource`
 727                     // instead of the one from `crates.io`
 728                     if !crate_graph[*from].dependencies.iter().any(|d| d.name == name) {
 729                         add_dep(crate_graph, *from, name.clone(), to);
 730                     }
 731                 }
 732             }
 733         }
 734     }
 735 }
 736
 737 fn add_target_crate_root(
 738     crate_graph: &mut CrateGraph,
 739     pkg: &PackageData,
 740     build_data: Option<&BuildScriptOutput>,
 741     cfg_options: &CfgOptions,
 742     proc_macro_loader: &dyn Fn(&AbsPath) -> Vec<ProcMacro>,
 743     file_id: FileId,
 744     cargo_name: &str,
 745 ) -> CrateId {
 746     let edition = pkg.edition;
 747     let cfg_options = {
 748         let mut opts = cfg_options.clone();
 749         for feature in pkg.active_features.iter() {
 750             opts.insert_key_value("feature".into(), feature.into());
 751         }
 752         if let Some(cfgs) = build_data.as_ref().map(|it| &it.cfgs) {
 753             opts.extend(cfgs.iter().cloned());
 754         }
 755         opts
 756     };
 757
 758     let mut env = Env::default();
 759     inject_cargo_env(pkg, &mut env);
 760
 761     if let Some(envs) = build_data.map(|it| &it.envs) {
 762         for (k, v) in envs {
 763             env.set(k, v.clone());
 764         }
 765     }
 766
 767     let proc_macro = build_data
 768         .as_ref()
 769         .and_then(|it| it.proc_macro_dylib_path.as_ref())
 770         .map(|it| proc_macro_loader(it))
 771         .unwrap_or_default();
 772
 773     let display_name = CrateDisplayName::from_canonical_name(cargo_name.to_string());
 774     let mut potential_cfg_options = cfg_options.clone();
 775     potential_cfg_options.extend(
 776         pkg.features
 777             .iter()
 778             .map(|feat| CfgFlag::KeyValue { key: "feature".into(), value: feat.0.into() }),
 779     );
 780
 781     let crate_id = crate_graph.add_crate_root(
 782         file_id,
 783         edition,
 784         Some(display_name),
 785         cfg_options,
 786         potential_cfg_options,
 787         env,
 788         proc_macro,
 789     );
 790
 791     crate_id
 792 }
 793
 794 fn sysroot_to_crate_graph(
 795     crate_graph: &mut CrateGraph,
 796     sysroot: &Sysroot,
 797     rustc_cfg: Vec<CfgFlag>,
 798     load: &mut dyn FnMut(&AbsPath) -> Option<FileId>,
 799 ) -> (Vec<(CrateName, CrateId)>, Option<CrateId>) {
 800     let _p = profile::span("sysroot_to_crate_graph");
 801     let mut cfg_options = CfgOptions::default();
 802     cfg_options.extend(rustc_cfg);
 803     let sysroot_crates: FxHashMap<SysrootCrate, CrateId> = sysroot
 804         .crates()
 805         .filter_map(|krate| {
 806             let file_id = load(&sysroot[krate].root)?;
 807
 808             let env = Env::default();
 809             let proc_macro = vec![];
 810             let display_name = CrateDisplayName::from_canonical_name(sysroot[krate].name.clone());
 811             let crate_id = crate_graph.add_crate_root(
 812                 file_id,
 813                 Edition::CURRENT,
 814                 Some(display_name),
 815                 cfg_options.clone(),
 816                 cfg_options.clone(),
 817                 env,
 818                 proc_macro,
 819             );
 820             Some((krate, crate_id))
 821         })
 822         .collect();
 823
 824     for from in sysroot.crates() {
 825         for &to in sysroot[from].deps.iter() {
 826             let name = CrateName::new(&sysroot[to].name).unwrap();
 827             if let (Some(&from), Some(&to)) = (sysroot_crates.get(&from), sysroot_crates.get(&to)) {
 828                 add_dep(crate_graph, from, name, to);
 829             }
 830         }
 831     }
 832
 833     let public_deps = sysroot
 834         .public_deps()
 835         .map(|(name, idx)| (CrateName::new(name).unwrap(), sysroot_crates[&idx]))
 836         .collect::<Vec<_>>();
 837
 838     let libproc_macro = sysroot.proc_macro().and_then(|it| sysroot_crates.get(&it).copied());
 839     (public_deps, libproc_macro)
 840 }
 841
 842 fn add_dep(graph: &mut CrateGraph, from: CrateId, name: CrateName, to: CrateId) {
 843     if let Err(err) = graph.add_dep(from, name, to) {
 844         log::error!("{}", err)
 845     }
 846 }
 847
 848 /// Recreates the compile-time environment variables that Cargo sets.
 849 ///
 850 /// Should be synced with
 851 /// <https://doc.rust-lang.org/cargo/reference/environment-variables.html#environment-variables-cargo-sets-for-crates>
 852 ///
 853 /// FIXME: ask Cargo to provide this data instead of re-deriving.
 854 fn inject_cargo_env(package: &PackageData, env: &mut Env) {
 855     // FIXME: Missing variables:
 856     // CARGO_BIN_NAME, CARGO_BIN_EXE_<name>
 857
 858     let manifest_dir = package.manifest.parent();
 859     env.set("CARGO_MANIFEST_DIR".into(), manifest_dir.as_os_str().to_string_lossy().into_owned());
 860
 861     // Not always right, but works for common cases.
 862     env.set("CARGO".into(), "cargo".into());
 863
 864     env.set("CARGO_PKG_VERSION".into(), package.version.to_string());
 865     env.set("CARGO_PKG_VERSION_MAJOR".into(), package.version.major.to_string());
 866     env.set("CARGO_PKG_VERSION_MINOR".into(), package.version.minor.to_string());
 867     env.set("CARGO_PKG_VERSION_PATCH".into(), package.version.patch.to_string());
 868     env.set("CARGO_PKG_VERSION_PRE".into(), package.version.pre.to_string());
 869
 870     env.set("CARGO_PKG_AUTHORS".into(), String::new());
 871
 872     env.set("CARGO_PKG_NAME".into(), package.name.clone());
 873     // FIXME: This isn't really correct (a package can have many crates with different names), but
 874     // it's better than leaving the variable unset.
 875     env.set("CARGO_CRATE_NAME".into(), CrateName::normalize_dashes(&package.name).to_string());
 876     env.set("CARGO_PKG_DESCRIPTION".into(), String::new());
 877     env.set("CARGO_PKG_HOMEPAGE".into(), String::new());
 878     env.set("CARGO_PKG_REPOSITORY".into(), String::new());
 879     env.set("CARGO_PKG_LICENSE".into(), String::new());
 880
 881     env.set("CARGO_PKG_LICENSE_FILE".into(), String::new());
 882 }