]> git.lizzy.rs Git - rust.git/blob - cargo-miri/bin.rs
Add a custom ui test runner and move all tests to it
[rust.git] / cargo-miri / bin.rs
1 use std::env;
2 use std::ffi::{OsStr, OsString};
3 use std::fmt::Write as _;
4 use std::fs::{self, File};
5 use std::io::{self, BufRead, BufReader, BufWriter, Read, Write};
6 use std::iter::TakeWhile;
7 use std::ops::Not;
8 use std::path::{Path, PathBuf};
9 use std::process::{self, Command};
10
11 use serde::{Deserialize, Serialize};
12
13 use rustc_version::VersionMeta;
14
15 const XARGO_MIN_VERSION: (u32, u32, u32) = (0, 3, 23);
16
17 const CARGO_MIRI_HELP: &str = r#"Runs binary crates and tests in Miri
18
19 Usage:
20     cargo miri [subcommand] [<cargo options>...] [--] [<program/test suite options>...]
21
22 Subcommands:
23     run, r                   Run binaries
24     test, t                  Run tests
25     setup                    Only perform automatic setup, but without asking questions (for getting a proper libstd)
26
27 The cargo options are exactly the same as for `cargo run` and `cargo test`, respectively.
28
29 Examples:
30     cargo miri run
31     cargo miri test -- test-suite-filter
32 "#;
33
34 #[derive(Copy, Clone, Debug, PartialEq, Eq)]
35 enum MiriCommand {
36     Run,
37     Test,
38     Setup,
39 }
40
41 /// The information to run a crate with the given environment.
42 #[derive(Serialize, Deserialize)]
43 struct CrateRunEnv {
44     /// The command-line arguments.
45     args: Vec<String>,
46     /// The environment.
47     env: Vec<(OsString, OsString)>,
48     /// The current working directory.
49     current_dir: OsString,
50     /// The contents passed via standard input.
51     stdin: Vec<u8>,
52 }
53
54 impl CrateRunEnv {
55     /// Gather all the information we need.
56     fn collect(args: env::Args, capture_stdin: bool) -> Self {
57         let args = args.collect();
58         let env = env::vars_os().collect();
59         let current_dir = env::current_dir().unwrap().into_os_string();
60
61         let mut stdin = Vec::new();
62         if capture_stdin {
63             std::io::stdin().lock().read_to_end(&mut stdin).expect("cannot read stdin");
64         }
65
66         CrateRunEnv { args, env, current_dir, stdin }
67     }
68 }
69
70 /// The information Miri needs to run a crate. Stored as JSON when the crate is "compiled".
71 #[derive(Serialize, Deserialize)]
72 enum CrateRunInfo {
73     /// Run it with the given environment.
74     RunWith(CrateRunEnv),
75     /// Skip it as Miri does not support interpreting such kind of crates.
76     SkipProcMacroTest,
77 }
78
79 impl CrateRunInfo {
80     fn store(&self, filename: &Path) {
81         let file = File::create(filename)
82             .unwrap_or_else(|_| show_error(format!("cannot create `{}`", filename.display())));
83         let file = BufWriter::new(file);
84         serde_json::ser::to_writer(file, self)
85             .unwrap_or_else(|_| show_error(format!("cannot write to `{}`", filename.display())));
86     }
87 }
88
89 fn show_help() {
90     println!("{}", CARGO_MIRI_HELP);
91 }
92
93 fn show_version() {
94     let mut version = format!("miri {}", env!("CARGO_PKG_VERSION"));
95     // Only use `option_env` on vergen variables to ensure the build succeeds
96     // when vergen failed to find the git info.
97     if let Some(sha) = option_env!("VERGEN_GIT_SHA_SHORT") {
98         write!(&mut version, " ({} {})", sha, option_env!("VERGEN_GIT_COMMIT_DATE").unwrap())
99             .unwrap();
100     }
101     println!("{}", version);
102 }
103
104 fn show_error(msg: String) -> ! {
105     eprintln!("fatal error: {}", msg);
106     std::process::exit(1)
107 }
108
109 // Determines whether a `--flag` is present.
110 fn has_arg_flag(name: &str) -> bool {
111     let mut args = std::env::args().take_while(|val| val != "--");
112     args.any(|val| val == name)
113 }
114
115 /// Yields all values of command line flag `name` as `Ok(arg)`, and all other arguments except
116 /// the flag as `Err(arg)`. (The flag `name` itself is not yielded at all, only its values are.)
117 struct ArgSplitFlagValue<'a, I> {
118     args: TakeWhile<I, fn(&String) -> bool>,
119     name: &'a str,
120 }
121
122 impl<'a, I: Iterator<Item = String>> ArgSplitFlagValue<'a, I> {
123     fn new(args: I, name: &'a str) -> Self {
124         Self {
125             // Stop searching at `--`.
126             args: args.take_while(|val| val != "--"),
127             name,
128         }
129     }
130 }
131
132 impl<I: Iterator<Item = String>> Iterator for ArgSplitFlagValue<'_, I> {
133     type Item = Result<String, String>;
134
135     fn next(&mut self) -> Option<Self::Item> {
136         let arg = self.args.next()?;
137         if arg.starts_with(self.name) {
138             // Strip leading `name`.
139             let suffix = &arg[self.name.len()..];
140             if suffix.is_empty() {
141                 // This argument is exactly `name`; the next one is the value.
142                 return self.args.next().map(Ok);
143             } else if suffix.starts_with('=') {
144                 // This argument is `name=value`; get the value.
145                 // Strip leading `=`.
146                 return Some(Ok(suffix[1..].to_owned()));
147             }
148         }
149         Some(Err(arg))
150     }
151 }
152
153 /// Yields all values of command line flag `name`.
154 struct ArgFlagValueIter<'a>(ArgSplitFlagValue<'a, env::Args>);
155
156 impl<'a> ArgFlagValueIter<'a> {
157     fn new(name: &'a str) -> Self {
158         Self(ArgSplitFlagValue::new(env::args(), name))
159     }
160 }
161
162 impl Iterator for ArgFlagValueIter<'_> {
163     type Item = String;
164
165     fn next(&mut self) -> Option<Self::Item> {
166         loop {
167             if let Ok(value) = self.0.next()? {
168                 return Some(value);
169             }
170         }
171     }
172 }
173
174 /// Gets the value of a `--flag`.
175 fn get_arg_flag_value(name: &str) -> Option<String> {
176     ArgFlagValueIter::new(name).next()
177 }
178
179 fn forward_patched_extern_arg(args: &mut impl Iterator<Item = String>, cmd: &mut Command) {
180     cmd.arg("--extern"); // always forward flag, but adjust filename:
181     let path = args.next().expect("`--extern` should be followed by a filename");
182     if let Some(lib) = path.strip_suffix(".rlib") {
183         // If this is an rlib, make it an rmeta.
184         cmd.arg(format!("{}.rmeta", lib));
185     } else {
186         // Some other extern file (e.g. a `.so`). Forward unchanged.
187         cmd.arg(path);
188     }
189 }
190
191 fn forward_miri_sysroot(cmd: &mut Command) {
192     let sysroot = env::var_os("MIRI_SYSROOT").expect("the wrapper should have set MIRI_SYSROOT");
193     cmd.arg("--sysroot");
194     cmd.arg(sysroot);
195 }
196
197 /// Returns the path to the `miri` binary
198 fn find_miri() -> PathBuf {
199     if let Some(path) = env::var_os("MIRI") {
200         return path.into();
201     }
202     let mut path = std::env::current_exe().expect("current executable path invalid");
203     path.set_file_name("miri");
204     path
205 }
206
207 fn miri() -> Command {
208     Command::new(find_miri())
209 }
210
211 fn version_info() -> VersionMeta {
212     VersionMeta::for_command(miri()).expect("failed to determine underlying rustc version of Miri")
213 }
214
215 fn cargo() -> Command {
216     Command::new(env::var_os("CARGO").unwrap_or_else(|| OsString::from("cargo")))
217 }
218
219 fn xargo_check() -> Command {
220     Command::new(env::var_os("XARGO_CHECK").unwrap_or_else(|| OsString::from("xargo-check")))
221 }
222
223 /// Execute the command. If it fails, fail this process with the same exit code.
224 /// Otherwise, continue.
225 fn exec(mut cmd: Command) {
226     let exit_status = cmd.status().expect("failed to run command");
227     if exit_status.success().not() {
228         std::process::exit(exit_status.code().unwrap_or(-1))
229     }
230 }
231
232 /// Execute the command and pipe `input` into its stdin.
233 /// If it fails, fail this process with the same exit code.
234 /// Otherwise, continue.
235 fn exec_with_pipe(mut cmd: Command, input: &[u8]) {
236     cmd.stdin(process::Stdio::piped());
237     let mut child = cmd.spawn().expect("failed to spawn process");
238     {
239         let stdin = child.stdin.as_mut().expect("failed to open stdin");
240         stdin.write_all(input).expect("failed to write out test source");
241     }
242     let exit_status = child.wait().expect("failed to run command");
243     if exit_status.success().not() {
244         std::process::exit(exit_status.code().unwrap_or(-1))
245     }
246 }
247
248 fn xargo_version() -> Option<(u32, u32, u32)> {
249     let out = xargo_check().arg("--version").output().ok()?;
250     if !out.status.success() {
251         return None;
252     }
253     // Parse output. The first line looks like "xargo 0.3.12 (b004f1c 2018-12-13)".
254     let line = out
255         .stderr
256         .lines()
257         .nth(0)
258         .expect("malformed `xargo --version` output: not at least one line")
259         .expect("malformed `xargo --version` output: error reading first line");
260     let (name, version) = {
261         let mut split = line.split(' ');
262         (
263             split.next().expect("malformed `xargo --version` output: empty"),
264             split.next().expect("malformed `xargo --version` output: not at least two words"),
265         )
266     };
267     if name != "xargo" {
268         // This is some fork of xargo
269         return None;
270     }
271     let mut version_pieces = version.split('.');
272     let major = version_pieces
273         .next()
274         .expect("malformed `xargo --version` output: not a major version piece")
275         .parse()
276         .expect("malformed `xargo --version` output: major version is not an integer");
277     let minor = version_pieces
278         .next()
279         .expect("malformed `xargo --version` output: not a minor version piece")
280         .parse()
281         .expect("malformed `xargo --version` output: minor version is not an integer");
282     let patch = version_pieces
283         .next()
284         .expect("malformed `xargo --version` output: not a patch version piece")
285         .parse()
286         .expect("malformed `xargo --version` output: patch version is not an integer");
287     if !version_pieces.next().is_none() {
288         panic!("malformed `xargo --version` output: more than three pieces in version");
289     }
290     Some((major, minor, patch))
291 }
292
293 fn ask_to_run(mut cmd: Command, ask: bool, text: &str) {
294     // Disable interactive prompts in CI (GitHub Actions, Travis, AppVeyor, etc).
295     // Azure doesn't set `CI` though (nothing to see here, just Microsoft being Microsoft),
296     // so we also check their `TF_BUILD`.
297     let is_ci = env::var_os("CI").is_some() || env::var_os("TF_BUILD").is_some();
298     if ask && !is_ci {
299         let mut buf = String::new();
300         print!("I will run `{:?}` to {}. Proceed? [Y/n] ", cmd, text);
301         io::stdout().flush().unwrap();
302         io::stdin().read_line(&mut buf).unwrap();
303         match buf.trim().to_lowercase().as_ref() {
304             // Proceed.
305             "" | "y" | "yes" => {}
306             "n" | "no" => show_error(format!("aborting as per your request")),
307             a => show_error(format!("invalid answer `{}`", a)),
308         };
309     } else {
310         println!("Running `{:?}` to {}.", cmd, text);
311     }
312
313     if cmd.status().expect(&format!("failed to execute {:?}", cmd)).success().not() {
314         show_error(format!("failed to {}", text));
315     }
316 }
317
318 /// Performs the setup required to make `cargo miri` work: Getting a custom-built libstd. Then sets
319 /// `MIRI_SYSROOT`. Skipped if `MIRI_SYSROOT` is already set, in which case we expect the user has
320 /// done all this already.
321 fn setup(subcommand: MiriCommand) {
322     if std::env::var_os("MIRI_SYSROOT").is_some() {
323         if subcommand == MiriCommand::Setup {
324             println!("WARNING: MIRI_SYSROOT already set, not doing anything.")
325         }
326         return;
327     }
328
329     // Subcommands other than `setup` will do a setup if necessary, but
330     // interactively confirm first.
331     let ask_user = subcommand != MiriCommand::Setup;
332
333     // First, we need xargo.
334     if xargo_version().map_or(true, |v| v < XARGO_MIN_VERSION) {
335         if std::env::var_os("XARGO_CHECK").is_some() {
336             // The user manually gave us a xargo binary; don't do anything automatically.
337             show_error(format!("xargo is too old; please upgrade to the latest version"))
338         }
339         let mut cmd = cargo();
340         cmd.args(&["install", "xargo"]);
341         ask_to_run(cmd, ask_user, "install a recent enough xargo");
342     }
343
344     // Determine where the rust sources are located.  The env vars manually setting the source
345     // (`MIRI_LIB_SRC`, `XARGO_RUST_SRC`) trump auto-detection.
346     let rust_src_env_var =
347         std::env::var_os("MIRI_LIB_SRC").or_else(|| std::env::var_os("XARGO_RUST_SRC"));
348     let rust_src = match rust_src_env_var {
349         Some(path) => {
350             let path = PathBuf::from(path);
351             // Make path absolute if possible.
352             path.canonicalize().unwrap_or(path)
353         }
354         None => {
355             // Check for `rust-src` rustup component.
356             let sysroot = miri()
357                 .args(&["--print", "sysroot"])
358                 .output()
359                 .expect("failed to determine sysroot")
360                 .stdout;
361             let sysroot = std::str::from_utf8(&sysroot).unwrap();
362             let sysroot = Path::new(sysroot.trim_end_matches('\n'));
363             // Check for `$SYSROOT/lib/rustlib/src/rust/library`; test if that contains `std/Cargo.toml`.
364             let rustup_src =
365                 sysroot.join("lib").join("rustlib").join("src").join("rust").join("library");
366             if !rustup_src.join("std").join("Cargo.toml").exists() {
367                 // Ask the user to install the `rust-src` component, and use that.
368                 let mut cmd = Command::new("rustup");
369                 cmd.args(&["component", "add", "rust-src"]);
370                 ask_to_run(
371                     cmd,
372                     ask_user,
373                     "install the `rust-src` component for the selected toolchain",
374                 );
375             }
376             rustup_src
377         }
378     };
379     if !rust_src.exists() {
380         show_error(format!("given Rust source directory `{}` does not exist.", rust_src.display()));
381     }
382     if rust_src.file_name().and_then(OsStr::to_str) != Some("library") {
383         show_error(format!(
384             "given Rust source directory `{}` does not seem to be the `library` subdirectory of \
385              a Rust source checkout.",
386             rust_src.display()
387         ));
388     }
389
390     // Next, we need our own libstd. Prepare a xargo project for that purpose.
391     // We will do this work in whatever is a good cache dir for this platform.
392     let dirs = directories::ProjectDirs::from("org", "rust-lang", "miri").unwrap();
393     let dir = dirs.cache_dir();
394     if !dir.exists() {
395         fs::create_dir_all(&dir).unwrap();
396     }
397     // The interesting bit: Xargo.toml
398     File::create(dir.join("Xargo.toml"))
399         .unwrap()
400         .write_all(
401             br#"
402 [dependencies.std]
403 default_features = false
404 # We support unwinding, so enable that panic runtime.
405 features = ["panic_unwind", "backtrace"]
406
407 [dependencies.test]
408 "#,
409         )
410         .unwrap();
411     // The boring bits: a dummy project for xargo.
412     // FIXME: With xargo-check, can we avoid doing this?
413     File::create(dir.join("Cargo.toml"))
414         .unwrap()
415         .write_all(
416             br#"
417 [package]
418 name = "miri-xargo"
419 description = "A dummy project for building libstd with xargo."
420 version = "0.0.0"
421
422 [lib]
423 path = "lib.rs"
424 "#,
425         )
426         .unwrap();
427     File::create(dir.join("lib.rs")).unwrap();
428
429     // Determine architectures.
430     // We always need to set a target so rustc bootstrap can tell apart host from target crates.
431     let host = version_info().host;
432     let target = get_arg_flag_value("--target");
433     let target = target.as_ref().unwrap_or(&host);
434     // Now invoke xargo.
435     let mut command = xargo_check();
436     command.arg("check").arg("-q");
437     command.arg("--target").arg(target);
438     command.current_dir(&dir);
439     command.env("XARGO_HOME", &dir);
440     command.env("XARGO_RUST_SRC", &rust_src);
441     // Use Miri as rustc to build a libstd compatible with us (and use the right flags).
442     // However, when we are running in bootstrap, we cannot just overwrite `RUSTC`,
443     // because we still need bootstrap to distinguish between host and target crates.
444     // In that case we overwrite `RUSTC_REAL` instead which determines the rustc used
445     // for target crates.
446     // We set ourselves (`cargo-miri`) instead of Miri directly to be able to patch the flags
447     // for `libpanic_abort` (usually this is done by bootstrap but we have to do it ourselves).
448     // The `MIRI_CALLED_FROM_XARGO` will mean we dispatch to `phase_setup_rustc`.
449     let cargo_miri_path = std::env::current_exe().expect("current executable path invalid");
450     if env::var_os("RUSTC_STAGE").is_some() {
451         command.env("RUSTC_REAL", &cargo_miri_path);
452     } else {
453         command.env("RUSTC", &cargo_miri_path);
454     }
455     command.env("MIRI_CALLED_FROM_XARGO", "1");
456     // Make sure there are no other wrappers or flags getting in our way
457     // (Cc https://github.com/rust-lang/miri/issues/1421).
458     // This is consistent with normal `cargo build` that does not apply `RUSTFLAGS`
459     // to the sysroot either.
460     command.env_remove("RUSTC_WRAPPER");
461     command.env_remove("RUSTFLAGS");
462     // Disable debug assertions in the standard library -- Miri is already slow enough.
463     // But keep the overflow checks, they are cheap.
464     // Also remap the current directory to something that is stable across different
465     // machines. Otherwise ui output would contain the current directory.
466     command.env(
467         "RUSTFLAGS",
468         "-Cdebug-assertions=off -Coverflow-checks=on -Zremap-cwd-prefix=rustc_src",
469     );
470     // Finally run it!
471     if command.status().expect("failed to run xargo").success().not() {
472         show_error(format!("failed to run xargo"));
473     }
474
475     // That should be it! But we need to figure out where xargo built stuff.
476     // Unfortunately, it puts things into a different directory when the
477     // architecture matches the host.
478     let sysroot = if target == &host { dir.join("HOST") } else { PathBuf::from(dir) };
479     std::env::set_var("MIRI_SYSROOT", &sysroot); // pass the env var to the processes we spawn, which will turn it into "--sysroot" flags
480     // Figure out what to print.
481     let print_sysroot = subcommand == MiriCommand::Setup && has_arg_flag("--print-sysroot"); // whether we just print the sysroot path
482     if print_sysroot {
483         // Print just the sysroot and nothing else; this way we do not need any escaping.
484         println!("{}", sysroot.display());
485     } else if subcommand == MiriCommand::Setup {
486         println!("A libstd for Miri is now available in `{}`.", sysroot.display());
487     }
488 }
489
490 #[derive(Deserialize)]
491 struct Metadata {
492     target_directory: PathBuf,
493     workspace_members: Vec<String>,
494 }
495
496 fn get_cargo_metadata() -> Metadata {
497     let mut cmd = cargo();
498     // `-Zunstable-options` is required by `--config`.
499     cmd.args(["metadata", "--no-deps", "--format-version=1", "-Zunstable-options"]);
500     // The `build.target-dir` config can be passed by `--config` flags, so forward them to
501     // `cargo metadata`.
502     let config_flag = "--config";
503     for arg in ArgSplitFlagValue::new(
504         env::args().skip(3), // skip the program name, "miri" and "run" / "test"
505         config_flag,
506     ) {
507         if let Ok(config) = arg {
508             cmd.arg(config_flag).arg(config);
509         }
510     }
511     let mut child = cmd
512         .stdin(process::Stdio::null())
513         .stdout(process::Stdio::piped())
514         .spawn()
515         .expect("failed ro run `cargo metadata`");
516     // Check this `Result` after `status.success()` is checked, so we don't print the error
517     // to stderr if `cargo metadata` is also printing to stderr.
518     let metadata: Result<Metadata, _> = serde_json::from_reader(child.stdout.take().unwrap());
519     let status = child.wait().expect("failed to wait for `cargo metadata` to exit");
520     if !status.success() {
521         std::process::exit(status.code().unwrap_or(-1));
522     }
523     metadata.unwrap_or_else(|e| show_error(format!("invalid `cargo metadata` output: {}", e)))
524 }
525
526 /// Pulls all the crates in this workspace from the cargo metadata.
527 /// Workspace members are emitted like "miri 0.1.0 (path+file:///path/to/miri)"
528 /// Additionally, somewhere between cargo metadata and TyCtxt, '-' gets replaced with '_' so we
529 /// make that same transformation here.
530 fn local_crates(metadata: &Metadata) -> String {
531     assert!(metadata.workspace_members.len() > 0);
532     let mut local_crates = String::new();
533     for member in &metadata.workspace_members {
534         let name = member.split(" ").nth(0).unwrap();
535         let name = name.replace("-", "_");
536         local_crates.push_str(&name);
537         local_crates.push(',');
538     }
539     local_crates.pop(); // Remove the trailing ','
540
541     local_crates
542 }
543
544 fn phase_cargo_miri(mut args: env::Args) {
545     // Check for version and help flags even when invoked as `cargo-miri`.
546     if has_arg_flag("--help") || has_arg_flag("-h") {
547         show_help();
548         return;
549     }
550     if has_arg_flag("--version") || has_arg_flag("-V") {
551         show_version();
552         return;
553     }
554
555     // Require a subcommand before any flags.
556     // We cannot know which of those flags take arguments and which do not,
557     // so we cannot detect subcommands later.
558     let subcommand = match args.next().as_deref() {
559         Some("test" | "t") => MiriCommand::Test,
560         Some("run" | "r") => MiriCommand::Run,
561         Some("setup") => MiriCommand::Setup,
562         // Invalid command.
563         _ =>
564             show_error(format!(
565                 "`cargo miri` supports the following subcommands: `run`, `test`, and `setup`."
566             )),
567     };
568     let verbose = has_arg_flag("-v");
569
570     // We always setup.
571     setup(subcommand);
572
573     // Invoke actual cargo for the job, but with different flags.
574     // We re-use `cargo test` and `cargo run`, which makes target and binary handling very easy but
575     // requires some extra work to make the build check-only (see all the `--emit` hacks below).
576     // <https://github.com/rust-lang/miri/pull/1540#issuecomment-693553191> describes an alternative
577     // approach that uses `cargo check`, making that part easier but target and binary handling
578     // harder.
579     let cargo_miri_path = std::env::current_exe().expect("current executable path invalid");
580     let cargo_cmd = match subcommand {
581         MiriCommand::Test => "test",
582         MiriCommand::Run => "run",
583         MiriCommand::Setup => return, // `cargo miri setup` stops here.
584     };
585     let mut cmd = cargo();
586     cmd.arg(cargo_cmd);
587
588     // Make sure we know the build target, and cargo does, too.
589     // This is needed to make the `CARGO_TARGET_*_RUNNER` env var do something,
590     // and it later helps us detect which crates are proc-macro/build-script
591     // (host crates) and which crates are needed for the program itself.
592     let host = version_info().host;
593     let target = get_arg_flag_value("--target");
594     let target = if let Some(ref target) = target {
595         target
596     } else {
597         // No target given. Pick default and tell cargo about it.
598         cmd.arg("--target");
599         cmd.arg(&host);
600         &host
601     };
602
603     let mut target_dir = None;
604
605     // Forward all arguments before `--` other than `--target-dir` and its value to Cargo.
606     for arg in ArgSplitFlagValue::new(&mut args, "--target-dir") {
607         match arg {
608             Ok(value) => {
609                 if target_dir.is_some() {
610                     show_error(format!("`--target-dir` is provided more than once"));
611                 }
612                 target_dir = Some(value.into());
613             }
614             Err(arg) => {
615                 cmd.arg(arg);
616             }
617         }
618     }
619
620     let metadata = get_cargo_metadata();
621
622     // Detect the target directory if it's not specified via `--target-dir`.
623     let target_dir = target_dir.get_or_insert_with(|| metadata.target_directory.clone());
624
625     // Set `--target-dir` to `miri` inside the original target directory.
626     target_dir.push("miri");
627     cmd.arg("--target-dir").arg(target_dir);
628
629     // Forward all further arguments after `--` to cargo.
630     cmd.arg("--").args(args);
631
632     // Set `RUSTC_WRAPPER` to ourselves.  Cargo will prepend that binary to its usual invocation,
633     // i.e., the first argument is `rustc` -- which is what we use in `main` to distinguish
634     // the two codepaths. (That extra argument is why we prefer this over setting `RUSTC`.)
635     if env::var_os("RUSTC_WRAPPER").is_some() {
636         println!(
637             "WARNING: Ignoring `RUSTC_WRAPPER` environment variable, Miri does not support wrapping."
638         );
639     }
640     cmd.env("RUSTC_WRAPPER", &cargo_miri_path);
641
642     let runner_env_name =
643         |triple: &str| format!("CARGO_TARGET_{}_RUNNER", triple.to_uppercase().replace('-', "_"));
644     let host_runner_env_name = runner_env_name(&host);
645     let target_runner_env_name = runner_env_name(target);
646     // Set the target runner to us, so we can interpret the binaries.
647     cmd.env(&target_runner_env_name, &cargo_miri_path);
648     // Unit tests of `proc-macro` crates are run on the host, so we set the host runner to
649     // us in order to skip them.
650     cmd.env(&host_runner_env_name, &cargo_miri_path);
651
652     // Set rustdoc to us as well, so we can run doctests.
653     cmd.env("RUSTDOC", &cargo_miri_path);
654
655     cmd.env("MIRI_LOCAL_CRATES", local_crates(&metadata));
656
657     // Run cargo.
658     if verbose {
659         eprintln!("[cargo-miri miri] RUSTC_WRAPPER={:?}", cargo_miri_path);
660         eprintln!("[cargo-miri miri] {}={:?}", target_runner_env_name, cargo_miri_path);
661         if *target != host {
662             eprintln!("[cargo-miri miri] {}={:?}", host_runner_env_name, cargo_miri_path);
663         }
664         eprintln!("[cargo-miri miri] RUSTDOC={:?}", cargo_miri_path);
665         eprintln!("[cargo-miri miri] {:?}", cmd);
666         cmd.env("MIRI_VERBOSE", ""); // This makes the other phases verbose.
667     }
668     exec(cmd)
669 }
670
671 #[derive(Debug, Copy, Clone, PartialEq)]
672 enum RustcPhase {
673     /// `rustc` called via `xargo` for sysroot build.
674     Setup,
675     /// `rustc` called by `cargo` for regular build.
676     Build,
677     /// `rustc` called by `rustdoc` for doctest.
678     Rustdoc,
679 }
680
681 fn phase_rustc(mut args: env::Args, phase: RustcPhase) {
682     /// Determines if we are being invoked (as rustc) to build a crate for
683     /// the "target" architecture, in contrast to the "host" architecture.
684     /// Host crates are for build scripts and proc macros and still need to
685     /// be built like normal; target crates need to be built for or interpreted
686     /// by Miri.
687     ///
688     /// Currently, we detect this by checking for "--target=", which is
689     /// never set for host crates. This matches what rustc bootstrap does,
690     /// which hopefully makes it "reliable enough". This relies on us always
691     /// invoking cargo itself with `--target`, which `in_cargo_miri` ensures.
692     fn is_target_crate() -> bool {
693         get_arg_flag_value("--target").is_some()
694     }
695
696     /// Returns whether or not Cargo invoked the wrapper (this binary) to compile
697     /// the final, binary crate (either a test for 'cargo test', or a binary for 'cargo run')
698     /// Cargo does not give us this information directly, so we need to check
699     /// various command-line flags.
700     fn is_runnable_crate() -> bool {
701         let is_bin = get_arg_flag_value("--crate-type").as_deref().unwrap_or("bin") == "bin";
702         let is_test = has_arg_flag("--test");
703         is_bin || is_test
704     }
705
706     fn out_filename(prefix: &str, suffix: &str) -> PathBuf {
707         if let Some(out_dir) = get_arg_flag_value("--out-dir") {
708             let mut path = PathBuf::from(out_dir);
709             path.push(format!(
710                 "{}{}{}{}",
711                 prefix,
712                 get_arg_flag_value("--crate-name").unwrap(),
713                 // This is technically a `-C` flag but the prefix seems unique enough...
714                 // (and cargo passes this before the filename so it should be unique)
715                 get_arg_flag_value("extra-filename").unwrap_or(String::new()),
716                 suffix,
717             ));
718             path
719         } else {
720             let out_file = get_arg_flag_value("-o").unwrap();
721             PathBuf::from(out_file)
722         }
723     }
724
725     let verbose = std::env::var_os("MIRI_VERBOSE").is_some();
726     let target_crate = is_target_crate();
727     let print = get_arg_flag_value("--print").is_some() || has_arg_flag("-vV"); // whether this is cargo/xargo invoking rustc to get some infos
728
729     let store_json = |info: CrateRunInfo| {
730         // Create a stub .d file to stop Cargo from "rebuilding" the crate:
731         // https://github.com/rust-lang/miri/issues/1724#issuecomment-787115693
732         // As we store a JSON file instead of building the crate here, an empty file is fine.
733         let dep_info_name = out_filename("", ".d");
734         if verbose {
735             eprintln!("[cargo-miri rustc] writing stub dep-info to `{}`", dep_info_name.display());
736         }
737         File::create(dep_info_name).expect("failed to create fake .d file");
738
739         let filename = out_filename("", "");
740         if verbose {
741             eprintln!("[cargo-miri rustc] writing run info to `{}`", filename.display());
742         }
743         info.store(&filename);
744         // For Windows, do the same thing again with `.exe` appended to the filename.
745         // (Need to do this here as cargo moves that "binary" to a different place before running it.)
746         info.store(&out_filename("", ".exe"));
747     };
748
749     let runnable_crate = !print && is_runnable_crate();
750
751     if runnable_crate && target_crate {
752         assert!(
753             phase != RustcPhase::Setup,
754             "there should be no interpretation during sysroot build"
755         );
756         let inside_rustdoc = phase == RustcPhase::Rustdoc;
757         // This is the binary or test crate that we want to interpret under Miri.
758         // But we cannot run it here, as cargo invoked us as a compiler -- our stdin and stdout are not
759         // like we want them.
760         // Instead of compiling, we write JSON into the output file with all the relevant command-line flags
761         // and environment variables; this is used when cargo calls us again in the CARGO_TARGET_RUNNER phase.
762         let env = CrateRunEnv::collect(args, inside_rustdoc);
763
764         // Rustdoc expects us to exit with an error code if the test is marked as `compile_fail`,
765         // just creating the JSON file is not enough: we need to detect syntax errors,
766         // so we need to run Miri with `MIRI_BE_RUSTC` for a check-only build.
767         if inside_rustdoc {
768             let mut cmd = miri();
769
770             // Ensure --emit argument for a check-only build is present.
771             // We cannot use the usual helpers since we need to check specifically in `env.args`.
772             if let Some(i) = env.args.iter().position(|arg| arg.starts_with("--emit=")) {
773                 // For `no_run` tests, rustdoc passes a `--emit` flag; make sure it has the right shape.
774                 assert_eq!(env.args[i], "--emit=metadata");
775             } else {
776                 // For all other kinds of tests, we can just add our flag.
777                 cmd.arg("--emit=metadata");
778             }
779
780             cmd.args(&env.args);
781             cmd.env("MIRI_BE_RUSTC", "target");
782
783             if verbose {
784                 eprintln!(
785                     "[cargo-miri rustc] captured input:\n{}",
786                     std::str::from_utf8(&env.stdin).unwrap()
787                 );
788                 eprintln!("[cargo-miri rustc] {:?}", cmd);
789             }
790
791             exec_with_pipe(cmd, &env.stdin);
792         }
793
794         store_json(CrateRunInfo::RunWith(env));
795
796         return;
797     }
798
799     if runnable_crate && ArgFlagValueIter::new("--extern").any(|krate| krate == "proc_macro") {
800         // This is a "runnable" `proc-macro` crate (unit tests). We do not support
801         // interpreting that under Miri now, so we write a JSON file to (display a
802         // helpful message and) skip it in the runner phase.
803         store_json(CrateRunInfo::SkipProcMacroTest);
804         return;
805     }
806
807     let mut cmd = miri();
808     let mut emit_link_hack = false;
809     // Arguments are treated very differently depending on whether this crate is
810     // for interpretation by Miri, or for use by a build script / proc macro.
811     if !print && target_crate {
812         // Forward arguments, but remove "link" from "--emit" to make this a check-only build.
813         let emit_flag = "--emit";
814         while let Some(arg) = args.next() {
815             if arg.starts_with(emit_flag) {
816                 // Patch this argument. First, extract its value.
817                 let val = &arg[emit_flag.len()..];
818                 assert!(val.starts_with("="), "`cargo` should pass `--emit=X` as one argument");
819                 let val = &val[1..];
820                 let mut val: Vec<_> = val.split(',').collect();
821                 // Now make sure "link" is not in there, but "metadata" is.
822                 if let Some(i) = val.iter().position(|&s| s == "link") {
823                     emit_link_hack = true;
824                     val.remove(i);
825                     if !val.iter().any(|&s| s == "metadata") {
826                         val.push("metadata");
827                     }
828                 }
829                 cmd.arg(format!("{}={}", emit_flag, val.join(",")));
830             } else if arg == "--extern" {
831                 // Patch `--extern` filenames, since Cargo sometimes passes stub `.rlib` files:
832                 // https://github.com/rust-lang/miri/issues/1705
833                 forward_patched_extern_arg(&mut args, &mut cmd);
834             } else {
835                 cmd.arg(arg);
836             }
837         }
838
839         // Use our custom sysroot (but not if that is what we are currently building).
840         if phase != RustcPhase::Setup {
841             forward_miri_sysroot(&mut cmd);
842         }
843
844         // During setup, patch the panic runtime for `libpanic_abort` (mirroring what bootstrap usually does).
845         if phase == RustcPhase::Setup
846             && get_arg_flag_value("--crate-name").as_deref() == Some("panic_abort")
847         {
848             cmd.arg("-C").arg("panic=abort");
849         }
850     } else {
851         // For host crates or when we are printing, just forward everything.
852         cmd.args(args);
853     }
854
855     // We want to compile, not interpret. We still use Miri to make sure the compiler version etc
856     // are the exact same as what is used for interpretation.
857     // MIRI_DEFAULT_ARGS should not be used to build host crates, hence setting "target" or "host"
858     // as the value here to help Miri differentiate them.
859     cmd.env("MIRI_BE_RUSTC", if target_crate { "target" } else { "host" });
860
861     // Run it.
862     if verbose {
863         eprintln!("[cargo-miri rustc] {:?}", cmd);
864     }
865     exec(cmd);
866
867     // Create a stub .rlib file if "link" was requested by cargo.
868     // This is necessary to prevent cargo from doing rebuilds all the time.
869     if emit_link_hack {
870         // Some platforms prepend "lib", some do not... let's just create both files.
871         File::create(out_filename("lib", ".rlib")).expect("failed to create fake .rlib file");
872         File::create(out_filename("", ".rlib")).expect("failed to create fake .rlib file");
873         // Just in case this is a cdylib or staticlib, also create those fake files.
874         File::create(out_filename("lib", ".so")).expect("failed to create fake .so file");
875         File::create(out_filename("lib", ".a")).expect("failed to create fake .a file");
876         File::create(out_filename("lib", ".dylib")).expect("failed to create fake .dylib file");
877         File::create(out_filename("", ".dll")).expect("failed to create fake .dll file");
878         File::create(out_filename("", ".lib")).expect("failed to create fake .lib file");
879     }
880 }
881
882 #[derive(Debug, Copy, Clone, PartialEq)]
883 enum RunnerPhase {
884     /// `cargo` is running a binary
885     Cargo,
886     /// `rustdoc` is running a binary
887     Rustdoc,
888 }
889
890 fn phase_runner(binary: &Path, binary_args: env::Args, phase: RunnerPhase) {
891     let verbose = std::env::var_os("MIRI_VERBOSE").is_some();
892
893     let file = File::open(&binary)
894         .unwrap_or_else(|_| show_error(format!("file {:?} not found or `cargo-miri` invoked incorrectly; please only invoke this binary through `cargo miri`", binary)));
895     let file = BufReader::new(file);
896
897     let info = serde_json::from_reader(file).unwrap_or_else(|_| {
898         show_error(format!(
899             "file {:?} contains outdated or invalid JSON; try `cargo clean`",
900             binary
901         ))
902     });
903     let info = match info {
904         CrateRunInfo::RunWith(info) => info,
905         CrateRunInfo::SkipProcMacroTest => {
906             eprintln!(
907                 "Running unit tests of `proc-macro` crates is not currently supported by Miri."
908             );
909             return;
910         }
911     };
912
913     let mut cmd = miri();
914
915     // Set missing env vars. We prefer build-time env vars over run-time ones; see
916     // <https://github.com/rust-lang/miri/issues/1661> for the kind of issue that fixes.
917     for (name, val) in info.env {
918         if verbose {
919             if let Some(old_val) = env::var_os(&name) {
920                 if old_val != val {
921                     eprintln!(
922                         "[cargo-miri runner] Overwriting run-time env var {:?}={:?} with build-time value {:?}",
923                         name, old_val, val
924                     );
925                 }
926             }
927         }
928         cmd.env(name, val);
929     }
930
931     // Forward rustc arguments.
932     // We need to patch "--extern" filenames because we forced a check-only
933     // build without cargo knowing about that: replace `.rlib` suffix by
934     // `.rmeta`.
935     // We also need to remove `--error-format` as cargo specifies that to be JSON,
936     // but when we run here, cargo does not interpret the JSON any more. `--json`
937     // then also nees to be dropped.
938     let mut args = info.args.into_iter();
939     let error_format_flag = "--error-format";
940     let json_flag = "--json";
941     while let Some(arg) = args.next() {
942         if arg == "--extern" {
943             forward_patched_extern_arg(&mut args, &mut cmd);
944         } else if arg.starts_with(error_format_flag) {
945             let suffix = &arg[error_format_flag.len()..];
946             assert!(suffix.starts_with('='));
947             // Drop this argument.
948         } else if arg.starts_with(json_flag) {
949             let suffix = &arg[json_flag.len()..];
950             assert!(suffix.starts_with('='));
951             // Drop this argument.
952         } else {
953             cmd.arg(arg);
954         }
955     }
956     // Set sysroot (if we are inside rustdoc, we already did that in `phase_cargo_rustdoc`).
957     if phase != RunnerPhase::Rustdoc {
958         forward_miri_sysroot(&mut cmd);
959     }
960     // Respect `MIRIFLAGS`.
961     if let Ok(a) = env::var("MIRIFLAGS") {
962         // This code is taken from `RUSTFLAGS` handling in cargo.
963         let args = a.split(' ').map(str::trim).filter(|s| !s.is_empty()).map(str::to_string);
964         cmd.args(args);
965     }
966
967     // Then pass binary arguments.
968     cmd.arg("--");
969     cmd.args(binary_args);
970
971     // Make sure we use the build-time working directory for interpreting Miri/rustc arguments.
972     // But then we need to switch to the run-time one, which we instruct Miri do do by setting `MIRI_CWD`.
973     cmd.current_dir(info.current_dir);
974     cmd.env("MIRI_CWD", env::current_dir().unwrap());
975
976     // Run it.
977     if verbose {
978         eprintln!("[cargo-miri runner] {:?}", cmd);
979     }
980
981     match phase {
982         RunnerPhase::Rustdoc => exec_with_pipe(cmd, &info.stdin),
983         RunnerPhase::Cargo => exec(cmd),
984     }
985 }
986
987 fn phase_rustdoc(fst_arg: &str, mut args: env::Args) {
988     let verbose = std::env::var_os("MIRI_VERBOSE").is_some();
989
990     // phase_cargo_miri sets the RUSTDOC env var to ourselves, so we can't use that here;
991     // just default to a straight-forward invocation for now:
992     let mut cmd = Command::new("rustdoc");
993
994     // Because of the way the main function is structured, we have to take the first argument spearately
995     // from the rest; to simplify the following argument patching loop, we'll just skip that one.
996     // This is fine for now, because cargo will never pass --extern arguments in the first position,
997     // but we should defensively assert that this will work.
998     let extern_flag = "--extern";
999     assert!(fst_arg != extern_flag);
1000     cmd.arg(fst_arg);
1001
1002     let runtool_flag = "--runtool";
1003     // `crossmode` records if *any* argument matches `runtool_flag`; here we check the first one.
1004     let mut crossmode = fst_arg == runtool_flag;
1005     while let Some(arg) = args.next() {
1006         if arg == extern_flag {
1007             // Patch --extern arguments to use *.rmeta files, since phase_cargo_rustc only creates stub *.rlib files.
1008             forward_patched_extern_arg(&mut args, &mut cmd);
1009         } else if arg == runtool_flag {
1010             // An existing --runtool flag indicates cargo is running in cross-target mode, which we don't support.
1011             // Note that this is only passed when cargo is run with the unstable -Zdoctest-xcompile flag;
1012             // otherwise, we won't be called as rustdoc at all.
1013             crossmode = true;
1014             break;
1015         } else {
1016             cmd.arg(arg);
1017         }
1018     }
1019
1020     if crossmode {
1021         show_error(format!("cross-interpreting doctests is not currently supported by Miri."));
1022     }
1023
1024     // Doctests of `proc-macro` crates (and their dependencies) are always built for the host,
1025     // so we are not able to run them in Miri.
1026     if ArgFlagValueIter::new("--crate-type").any(|crate_type| crate_type == "proc-macro") {
1027         eprintln!("Running doctests of `proc-macro` crates is not currently supported by Miri.");
1028         return;
1029     }
1030
1031     // For each doctest, rustdoc starts two child processes: first the test is compiled,
1032     // then the produced executable is invoked. We want to reroute both of these to cargo-miri,
1033     // such that the first time we'll enter phase_cargo_rustc, and phase_cargo_runner second.
1034     //
1035     // rustdoc invokes the test-builder by forwarding most of its own arguments, which makes
1036     // it difficult to determine when phase_cargo_rustc should run instead of phase_cargo_rustdoc.
1037     // Furthermore, the test code is passed via stdin, rather than a temporary file, so we need
1038     // to let phase_cargo_rustc know to expect that. We'll use this environment variable as a flag:
1039     cmd.env("MIRI_CALLED_FROM_RUSTDOC", "1");
1040
1041     // The `--test-builder` and `--runtool` arguments are unstable rustdoc features,
1042     // which are disabled by default. We first need to enable them explicitly:
1043     cmd.arg("-Z").arg("unstable-options");
1044
1045     // rustdoc needs to know the right sysroot.
1046     forward_miri_sysroot(&mut cmd);
1047     // make sure the 'miri' flag is set for rustdoc
1048     cmd.arg("--cfg").arg("miri");
1049
1050     // Make rustdoc call us back.
1051     let cargo_miri_path = std::env::current_exe().expect("current executable path invalid");
1052     cmd.arg("--test-builder").arg(&cargo_miri_path); // invoked by forwarding most arguments
1053     cmd.arg("--runtool").arg(&cargo_miri_path); // invoked with just a single path argument
1054
1055     if verbose {
1056         eprintln!("[cargo-miri rustdoc] {:?}", cmd);
1057     }
1058
1059     exec(cmd)
1060 }
1061
1062 fn main() {
1063     // Rustc does not support non-UTF-8 arguments so we make no attempt either.
1064     // (We do support non-UTF-8 environment variables though.)
1065     let mut args = std::env::args();
1066     // Skip binary name.
1067     args.next().unwrap();
1068
1069     // Dispatch running as part of sysroot compilation.
1070     if env::var_os("MIRI_CALLED_FROM_XARGO").is_some() {
1071         phase_rustc(args, RustcPhase::Setup);
1072         return;
1073     }
1074
1075     // The way rustdoc invokes rustc is indistuingishable from the way cargo invokes rustdoc by the
1076     // arguments alone. `phase_cargo_rustdoc` sets this environment variable to let us disambiguate.
1077     if env::var_os("MIRI_CALLED_FROM_RUSTDOC").is_some() {
1078         // ...however, we then also see this variable when rustdoc invokes us as the testrunner!
1079         // The runner is invoked as `$runtool ($runtool-arg)* output_file`;
1080         // since we don't specify any runtool-args, and rustdoc supplies multiple arguments to
1081         // the test-builder unconditionally, we can just check the number of remaining arguments:
1082         if args.len() == 1 {
1083             let arg = args.next().unwrap();
1084             let binary = Path::new(&arg);
1085             if binary.exists() {
1086                 phase_runner(binary, args, RunnerPhase::Rustdoc);
1087             } else {
1088                 show_error(format!(
1089                     "`cargo-miri` called with non-existing path argument `{}` in rustdoc mode; please invoke this binary through `cargo miri`",
1090                     arg
1091                 ));
1092             }
1093         } else {
1094             phase_rustc(args, RustcPhase::Rustdoc);
1095         }
1096
1097         return;
1098     }
1099
1100     // Dispatch to `cargo-miri` phase. There are three phases:
1101     // - When we are called via `cargo miri`, we run as the frontend and invoke the underlying
1102     //   cargo. We set RUSTC_WRAPPER and CARGO_TARGET_RUNNER to ourselves.
1103     // - When we are executed due to RUSTC_WRAPPER, we build crates or store the flags of
1104     //   binary crates for later interpretation.
1105     // - When we are executed due to CARGO_TARGET_RUNNER, we start interpretation based on the
1106     //   flags that were stored earlier.
1107     // On top of that, we are also called as RUSTDOC, but that is just a stub currently.
1108     match args.next().as_deref() {
1109         Some("miri") => phase_cargo_miri(args),
1110         Some("rustc") => phase_rustc(args, RustcPhase::Build),
1111         Some(arg) => {
1112             // We have to distinguish the "runner" and "rustdoc" cases.
1113             // As runner, the first argument is the binary (a file that should exist, with an absolute path);
1114             // as rustdoc, the first argument is a flag (`--something`).
1115             let binary = Path::new(arg);
1116             if binary.exists() {
1117                 assert!(!arg.starts_with("--")); // not a flag
1118                 phase_runner(binary, args, RunnerPhase::Cargo);
1119             } else if arg.starts_with("--") {
1120                 phase_rustdoc(arg, args);
1121             } else {
1122                 show_error(format!(
1123                     "`cargo-miri` called with unexpected first argument `{}`; please only invoke this binary through `cargo miri`",
1124                     arg
1125                 ));
1126             }
1127         }
1128         _ =>
1129             show_error(format!(
1130                 "`cargo-miri` called without first argument; please only invoke this binary through `cargo miri`"
1131             )),
1132     }
1133 }