src/bootstrap/bin/rustc.rs

   1 //! Shim which is passed to Cargo as "rustc" when running the bootstrap.
   2 //!
   3 //! This shim will take care of some various tasks that our build process
   4 //! requires that Cargo can't quite do through normal configuration:
   5 //!
   6 //! 1. When compiling build scripts and build dependencies, we need a guaranteed
   7 //!    full standard library available. The only compiler which actually has
   8 //!    this is the snapshot, so we detect this situation and always compile with
   9 //!    the snapshot compiler.
  10 //! 2. We pass a bunch of `--cfg` and other flags based on what we're compiling
  11 //!    (and this slightly differs based on a whether we're using a snapshot or
  12 //!    not), so we do that all here.
  13 //!
  14 //! This may one day be replaced by RUSTFLAGS, but the dynamic nature of
  15 //! switching compilers for the bootstrap and for build scripts will probably
  16 //! never get replaced.
  17
  18 include!("../dylib_util.rs");
  19
  20 use std::env;
  21 use std::path::PathBuf;
  22 use std::process::{Child, Command};
  23 use std::str::FromStr;
  24 use std::time::Instant;
  25
  26 fn main() {
  27     let args = env::args_os().skip(1).collect::<Vec<_>>();
  28     let arg = |name| args.windows(2).find(|args| args[0] == name).and_then(|args| args[1].to_str());
  29
  30     // Detect whether or not we're a build script depending on whether --target
  31     // is passed (a bit janky...)
  32     let target = arg("--target");
  33     let version = args.iter().find(|w| &**w == "-vV");
  34
  35     let verbose = match env::var("RUSTC_VERBOSE") {
  36         Ok(s) => usize::from_str(&s).expect("RUSTC_VERBOSE should be an integer"),
  37         Err(_) => 0,
  38     };
  39
  40     // Use a different compiler for build scripts, since there may not yet be a
  41     // libstd for the real compiler to use. However, if Cargo is attempting to
  42     // determine the version of the compiler, the real compiler needs to be
  43     // used. Currently, these two states are differentiated based on whether
  44     // --target and -vV is/isn't passed.
  45     let (rustc, libdir) = if target.is_none() && version.is_none() {
  46         ("RUSTC_SNAPSHOT", "RUSTC_SNAPSHOT_LIBDIR")
  47     } else {
  48         ("RUSTC_REAL", "RUSTC_LIBDIR")
  49     };
  50     let stage = env::var("RUSTC_STAGE").expect("RUSTC_STAGE was not set");
  51     let sysroot = env::var_os("RUSTC_SYSROOT").expect("RUSTC_SYSROOT was not set");
  52     let on_fail = env::var_os("RUSTC_ON_FAIL").map(Command::new);
  53
  54     let rustc = env::var_os(rustc).unwrap_or_else(|| panic!("{:?} was not set", rustc));
  55     let libdir = env::var_os(libdir).unwrap_or_else(|| panic!("{:?} was not set", libdir));
  56     let mut dylib_path = dylib_path();
  57     dylib_path.insert(0, PathBuf::from(&libdir));
  58
  59     let mut cmd = Command::new(rustc);
  60     cmd.args(&args).env(dylib_path_var(), env::join_paths(&dylib_path).unwrap());
  61
  62     // Get the name of the crate we're compiling, if any.
  63     let crate_name = arg("--crate-name");
  64
  65     if let Some(crate_name) = crate_name {
  66         if let Some(target) = env::var_os("RUSTC_TIME") {
  67             if target == "all"
  68                 || target.into_string().unwrap().split(',').any(|c| c.trim() == crate_name)
  69             {
  70                 cmd.arg("-Ztime");
  71             }
  72         }
  73     }
  74
  75     // Print backtrace in case of ICE
  76     if env::var("RUSTC_BACKTRACE_ON_ICE").is_ok() && env::var("RUST_BACKTRACE").is_err() {
  77         cmd.env("RUST_BACKTRACE", "1");
  78     }
  79
  80     if let Ok(lint_flags) = env::var("RUSTC_LINT_FLAGS") {
  81         cmd.args(lint_flags.split_whitespace());
  82     }
  83
  84     if target.is_some() {
  85         // The stage0 compiler has a special sysroot distinct from what we
  86         // actually downloaded, so we just always pass the `--sysroot` option,
  87         // unless one is already set.
  88         if !args.iter().any(|arg| arg == "--sysroot") {
  89             cmd.arg("--sysroot").arg(&sysroot);
  90         }
  91
  92         // If we're compiling specifically the `panic_abort` crate then we pass
  93         // the `-C panic=abort` option. Note that we do not do this for any
  94         // other crate intentionally as this is the only crate for now that we
  95         // ship with panic=abort.
  96         //
  97         // This... is a bit of a hack how we detect this. Ideally this
  98         // information should be encoded in the crate I guess? Would likely
  99         // require an RFC amendment to RFC 1513, however.
 100         //
 101         // `compiler_builtins` are unconditionally compiled with panic=abort to
 102         // workaround undefined references to `rust_eh_unwind_resume` generated
 103         // otherwise, see issue https://github.com/rust-lang/rust/issues/43095.
 104         if crate_name == Some("panic_abort")
 105             || crate_name == Some("compiler_builtins") && stage != "0"
 106         {
 107             cmd.arg("-C").arg("panic=abort");
 108         }
 109
 110         // `-Ztls-model=initial-exec` must not be applied to proc-macros, see
 111         // issue https://github.com/rust-lang/rust/issues/100530
 112         if env::var("RUSTC_TLS_MODEL_INITIAL_EXEC").is_ok()
 113             && arg("--crate-type") != Some("proc-macro")
 114             && !matches!(crate_name, Some("proc_macro2" | "quote" | "syn" | "synstructure"))
 115         {
 116             cmd.arg("-Ztls-model=initial-exec");
 117         }
 118     } else {
 119         // FIXME(rust-lang/cargo#5754) we shouldn't be using special env vars
 120         // here, but rather Cargo should know what flags to pass rustc itself.
 121
 122         // Override linker if necessary.
 123         if let Ok(host_linker) = env::var("RUSTC_HOST_LINKER") {
 124             cmd.arg(format!("-Clinker={}", host_linker));
 125         }
 126         if env::var_os("RUSTC_HOST_FUSE_LD_LLD").is_some() {
 127             cmd.arg("-Clink-args=-fuse-ld=lld");
 128         }
 129
 130         if let Ok(s) = env::var("RUSTC_HOST_CRT_STATIC") {
 131             if s == "true" {
 132                 cmd.arg("-C").arg("target-feature=+crt-static");
 133             }
 134             if s == "false" {
 135                 cmd.arg("-C").arg("target-feature=-crt-static");
 136             }
 137         }
 138
 139         // Cargo doesn't pass RUSTFLAGS to proc_macros:
 140         // https://github.com/rust-lang/cargo/issues/4423
 141         // Thus, if we are on stage 0, we explicitly set `--cfg=bootstrap`.
 142         // We also declare that the flag is expected, which is mainly needed for
 143         // later stages so that they don't warn about #[cfg(bootstrap)],
 144         // but enabling it for stage 0 too lets any warnings, if they occur,
 145         // occur more early on, e.g. about #[cfg(bootstrap = "foo")].
 146         if stage == "0" {
 147             cmd.arg("--cfg=bootstrap");
 148         }
 149         cmd.arg("-Zunstable-options");
 150         cmd.arg("--check-cfg=values(bootstrap)");
 151     }
 152
 153     if let Ok(map) = env::var("RUSTC_DEBUGINFO_MAP") {
 154         cmd.arg("--remap-path-prefix").arg(&map);
 155     }
 156
 157     // Force all crates compiled by this compiler to (a) be unstable and (b)
 158     // allow the `rustc_private` feature to link to other unstable crates
 159     // also in the sysroot. We also do this for host crates, since those
 160     // may be proc macros, in which case we might ship them.
 161     if env::var_os("RUSTC_FORCE_UNSTABLE").is_some() && (stage != "0" || target.is_some()) {
 162         cmd.arg("-Z").arg("force-unstable-if-unmarked");
 163     }
 164
 165     if let Ok(flags) = env::var("MAGIC_EXTRA_RUSTFLAGS") {
 166         for flag in flags.split(' ') {
 167             cmd.arg(flag);
 168         }
 169     }
 170
 171     let is_test = args.iter().any(|a| a == "--test");
 172     if verbose > 2 {
 173         let rust_env_vars =
 174             env::vars().filter(|(k, _)| k.starts_with("RUST") || k.starts_with("CARGO"));
 175         let prefix = if is_test { "[RUSTC-SHIM] rustc --test" } else { "[RUSTC-SHIM] rustc" };
 176         let prefix = match crate_name {
 177             Some(crate_name) => format!("{} {}", prefix, crate_name),
 178             None => prefix.to_string(),
 179         };
 180         for (i, (k, v)) in rust_env_vars.enumerate() {
 181             eprintln!("{} env[{}]: {:?}={:?}", prefix, i, k, v);
 182         }
 183         eprintln!("{} working directory: {}", prefix, env::current_dir().unwrap().display());
 184         eprintln!(
 185             "{} command: {:?}={:?} {:?}",
 186             prefix,
 187             dylib_path_var(),
 188             env::join_paths(&dylib_path).unwrap(),
 189             cmd,
 190         );
 191         eprintln!("{} sysroot: {:?}", prefix, sysroot);
 192         eprintln!("{} libdir: {:?}", prefix, libdir);
 193     }
 194
 195     let start = Instant::now();
 196     let (child, status) = {
 197         let errmsg = format!("\nFailed to run:\n{:?}\n-------------", cmd);
 198         let mut child = cmd.spawn().expect(&errmsg);
 199         let status = child.wait().expect(&errmsg);
 200         (child, status)
 201     };
 202
 203     if env::var_os("RUSTC_PRINT_STEP_TIMINGS").is_some()
 204         || env::var_os("RUSTC_PRINT_STEP_RUSAGE").is_some()
 205     {
 206         if let Some(crate_name) = crate_name {
 207             let dur = start.elapsed();
 208             // If the user requested resource usage data, then
 209             // include that in addition to the timing output.
 210             let rusage_data =
 211                 env::var_os("RUSTC_PRINT_STEP_RUSAGE").and_then(|_| format_rusage_data(child));
 212             eprintln!(
 213                 "[RUSTC-TIMING] {} test:{} {}.{:03}{}{}",
 214                 crate_name,
 215                 is_test,
 216                 dur.as_secs(),
 217                 dur.subsec_millis(),
 218                 if rusage_data.is_some() { " " } else { "" },
 219                 rusage_data.unwrap_or(String::new()),
 220             );
 221         }
 222     }
 223
 224     if status.success() {
 225         std::process::exit(0);
 226         // note: everything below here is unreachable. do not put code that
 227         // should run on success, after this block.
 228     }
 229     if verbose > 0 {
 230         println!("\nDid not run successfully: {}\n{:?}\n-------------", status, cmd);
 231     }
 232
 233     if let Some(mut on_fail) = on_fail {
 234         on_fail.status().expect("Could not run the on_fail command");
 235     }
 236
 237     // Preserve the exit code. In case of signal, exit with 0xfe since it's
 238     // awkward to preserve this status in a cross-platform way.
 239     match status.code() {
 240         Some(i) => std::process::exit(i),
 241         None => {
 242             eprintln!("rustc exited with {}", status);
 243             std::process::exit(0xfe);
 244         }
 245     }
 246 }
 247
 248 #[cfg(all(not(unix), not(windows)))]
 249 // In the future we can add this for more platforms
 250 fn format_rusage_data(_child: Child) -> Option<String> {
 251     None
 252 }
 253
 254 #[cfg(windows)]
 255 fn format_rusage_data(child: Child) -> Option<String> {
 256     use std::os::windows::io::AsRawHandle;
 257     use winapi::um::{processthreadsapi, psapi, timezoneapi};
 258     let handle = child.as_raw_handle();
 259     macro_rules! try_bool {
 260         ($e:expr) => {
 261             if $e != 1 {
 262                 return None;
 263             }
 264         };
 265     }
 266
 267     let mut user_filetime = Default::default();
 268     let mut user_time = Default::default();
 269     let mut kernel_filetime = Default::default();
 270     let mut kernel_time = Default::default();
 271     let mut memory_counters = psapi::PROCESS_MEMORY_COUNTERS::default();
 272
 273     unsafe {
 274         try_bool!(processthreadsapi::GetProcessTimes(
 275             handle,
 276             &mut Default::default(),
 277             &mut Default::default(),
 278             &mut kernel_filetime,
 279             &mut user_filetime,
 280         ));
 281         try_bool!(timezoneapi::FileTimeToSystemTime(&user_filetime, &mut user_time));
 282         try_bool!(timezoneapi::FileTimeToSystemTime(&kernel_filetime, &mut kernel_time));
 283
 284         // Unlike on Linux with RUSAGE_CHILDREN, this will only return memory information for the process
 285         // with the given handle and none of that process's children.
 286         try_bool!(psapi::GetProcessMemoryInfo(
 287             handle as _,
 288             &mut memory_counters as *mut _ as _,
 289             std::mem::size_of::<psapi::PROCESS_MEMORY_COUNTERS_EX>() as u32,
 290         ));
 291     }
 292
 293     // Guide on interpreting these numbers:
 294     // https://docs.microsoft.com/en-us/windows/win32/psapi/process-memory-usage-information
 295     let peak_working_set = memory_counters.PeakWorkingSetSize / 1024;
 296     let peak_page_file = memory_counters.PeakPagefileUsage / 1024;
 297     let peak_paged_pool = memory_counters.QuotaPeakPagedPoolUsage / 1024;
 298     let peak_nonpaged_pool = memory_counters.QuotaPeakNonPagedPoolUsage / 1024;
 299     Some(format!(
 300         "user: {USER_SEC}.{USER_USEC:03} \
 301          sys: {SYS_SEC}.{SYS_USEC:03} \
 302          peak working set (kb): {PEAK_WORKING_SET} \
 303          peak page file usage (kb): {PEAK_PAGE_FILE} \
 304          peak paged pool usage (kb): {PEAK_PAGED_POOL} \
 305          peak non-paged pool usage (kb): {PEAK_NONPAGED_POOL} \
 306          page faults: {PAGE_FAULTS}",
 307         USER_SEC = user_time.wSecond + (user_time.wMinute * 60),
 308         USER_USEC = user_time.wMilliseconds,
 309         SYS_SEC = kernel_time.wSecond + (kernel_time.wMinute * 60),
 310         SYS_USEC = kernel_time.wMilliseconds,
 311         PEAK_WORKING_SET = peak_working_set,
 312         PEAK_PAGE_FILE = peak_page_file,
 313         PEAK_PAGED_POOL = peak_paged_pool,
 314         PEAK_NONPAGED_POOL = peak_nonpaged_pool,
 315         PAGE_FAULTS = memory_counters.PageFaultCount,
 316     ))
 317 }
 318
 319 #[cfg(unix)]
 320 /// Tries to build a string with human readable data for several of the rusage
 321 /// fields. Note that we are focusing mainly on data that we believe to be
 322 /// supplied on Linux (the `rusage` struct has other fields in it but they are
 323 /// currently unsupported by Linux).
 324 fn format_rusage_data(_child: Child) -> Option<String> {
 325     let rusage: libc::rusage = unsafe {
 326         let mut recv = std::mem::zeroed();
 327         // -1 is RUSAGE_CHILDREN, which means to get the rusage for all children
 328         // (and grandchildren, etc) processes that have respectively terminated
 329         // and been waited for.
 330         let retval = libc::getrusage(-1, &mut recv);
 331         if retval != 0 {
 332             return None;
 333         }
 334         recv
 335     };
 336     // Mac OS X reports the maxrss in bytes, not kb.
 337     let divisor = if env::consts::OS == "macos" { 1024 } else { 1 };
 338     let maxrss = (rusage.ru_maxrss + (divisor - 1)) / divisor;
 339
 340     let mut init_str = format!(
 341         "user: {USER_SEC}.{USER_USEC:03} \
 342          sys: {SYS_SEC}.{SYS_USEC:03} \
 343          max rss (kb): {MAXRSS}",
 344         USER_SEC = rusage.ru_utime.tv_sec,
 345         USER_USEC = rusage.ru_utime.tv_usec,
 346         SYS_SEC = rusage.ru_stime.tv_sec,
 347         SYS_USEC = rusage.ru_stime.tv_usec,
 348         MAXRSS = maxrss
 349     );
 350
 351     // The remaining rusage stats vary in platform support. So we treat
 352     // uniformly zero values in each category as "not worth printing", since it
 353     // either means no events of that type occurred, or that the platform
 354     // does not support it.
 355
 356     let minflt = rusage.ru_minflt;
 357     let majflt = rusage.ru_majflt;
 358     if minflt != 0 || majflt != 0 {
 359         init_str.push_str(&format!(" page reclaims: {} page faults: {}", minflt, majflt));
 360     }
 361
 362     let inblock = rusage.ru_inblock;
 363     let oublock = rusage.ru_oublock;
 364     if inblock != 0 || oublock != 0 {
 365         init_str.push_str(&format!(" fs block inputs: {} fs block outputs: {}", inblock, oublock));
 366     }
 367
 368     let nvcsw = rusage.ru_nvcsw;
 369     let nivcsw = rusage.ru_nivcsw;
 370     if nvcsw != 0 || nivcsw != 0 {
 371         init_str.push_str(&format!(
 372             " voluntary ctxt switches: {} involuntary ctxt switches: {}",
 373             nvcsw, nivcsw
 374         ));
 375     }
 376
 377     return Some(init_str);
 378 }