]> git.lizzy.rs Git - rust.git/blobdiff - tests/compiletest.rs
Merge pull request #766 from RalfJung/sysroot
[rust.git] / tests / compiletest.rs
index 896d1cae5969e921c448e4df4793508f852acc5c..d59be08c8e00345229ffa5593a79570500e6b166 100644 (file)
@@ -1,21 +1,13 @@
-#![feature(slice_concat_ext)]
-
-extern crate compiletest_rs as compiletest;
-extern crate colored;
-
-use colored::*;
+#![feature(slice_concat_ext, custom_test_frameworks)]
+// Custom test runner, to avoid libtest being wrapped around compiletest which wraps libtest.
+#![test_runner(test_runner)]
 
 use std::slice::SliceConcatExt;
-use std::path::{PathBuf, Path};
-use std::io::Write;
+use std::path::PathBuf;
 use std::env;
 
-macro_rules! eprintln {
-    ($($arg:tt)*) => {
-        let stderr = std::io::stderr();
-        writeln!(stderr.lock(), $($arg)*).unwrap();
-    }
-}
+use compiletest_rs as compiletest;
+use colored::*;
 
 fn miri_path() -> PathBuf {
     if rustc_test_suite().is_some() {
@@ -33,70 +25,51 @@ fn rustc_lib_path() -> PathBuf {
     option_env!("RUSTC_LIB_PATH").unwrap().into()
 }
 
-fn have_fullmir() -> bool {
-    // We assume we have full MIR when MIRI_SYSROOT is set or when we are in rustc
-    std::env::var("MIRI_SYSROOT").is_ok() || rustc_test_suite().is_some()
-}
-
-fn compile_fail(sysroot: &Path, path: &str, target: &str, host: &str, need_fullmir: bool) {
-    if need_fullmir && !have_fullmir() {
-        eprintln!("{}", format!(
-            "## Skipping compile-fail tests in {} against miri for target {} due to missing mir",
-            path,
-            target
-        ).yellow().bold());
-        return;
+fn run_tests(mode: &str, path: &str, target: &str, mut flags: Vec<String>) {
+    // Some flags we always want.
+    flags.push("-Dwarnings -Dunused".to_owned()); // overwrite the -Aunused in compiletest-rs
+    flags.push("--edition 2018".to_owned());
+    if let Ok(sysroot) = std::env::var("MIRI_SYSROOT") {
+        flags.push(format!("--sysroot {}", sysroot));
     }
 
-    eprintln!("{}", format!(
-        "## Running compile-fail tests in {} against miri for target {}",
-        path,
-        target
-    ).green().bold());
+    // The rest of the configuration.
     let mut config = compiletest::Config::default().tempdir();
-    config.mode = "compile-fail".parse().expect("Invalid mode");
+    config.mode = mode.parse().expect("Invalid mode");
     config.rustc_path = miri_path();
-    let mut flags = Vec::new();
     if rustc_test_suite().is_some() {
         config.run_lib_path = rustc_lib_path();
         config.compile_lib_path = rustc_lib_path();
     }
-    flags.push(format!("--sysroot {}", sysroot.display()));
-    config.src_base = PathBuf::from(path.to_string());
-    flags.push("-Zmir-emit-validate=1".to_owned());
-    config.target_rustcflags = Some(flags.join(" "));
+    config.filter = env::args().nth(1);
+    config.host = get_host();
+    config.src_base = PathBuf::from(path);
     config.target = target.to_owned();
-    config.host = host.to_owned();
+    config.target_rustcflags = Some(flags.join(" "));
     compiletest::run_tests(&config);
 }
 
-fn rustc_pass(sysroot: &Path, path: &str) {
-    eprintln!("{}", format!("## Running run-pass tests in {} against rustc", path).green().bold());
-    let mut config = compiletest::Config::default().tempdir();
-    config.mode = "run-pass".parse().expect("Invalid mode");
-    config.src_base = PathBuf::from(path);
-    if let Some(rustc_path) = rustc_test_suite() {
-        config.rustc_path = rustc_path;
-        config.run_lib_path = rustc_lib_path();
-        config.compile_lib_path = rustc_lib_path();
-        config.target_rustcflags = Some(format!("-Dwarnings --sysroot {}", sysroot.display()));
-    } else {
-        config.target_rustcflags = Some("-Dwarnings".to_owned());
-    }
-    config.host_rustcflags = Some("-Dwarnings".to_string());
-    compiletest::run_tests(&config);
-}
+fn compile_fail(path: &str, target: &str, opt: bool) {
+    let opt_str = if opt { " with optimizations" } else { "" };
+    eprintln!("{}", format!(
+        "## Running compile-fail tests in {} against miri for target {}{}",
+        path,
+        target,
+        opt_str
+    ).green().bold());
 
-fn miri_pass(sysroot: &Path, path: &str, target: &str, host: &str, need_fullmir: bool, opt: bool) {
-    if need_fullmir && !have_fullmir() {
-        eprintln!("{}", format!(
-            "## Skipping run-pass tests in {} against miri for target {} due to missing mir",
-            path,
-            target
-        ).yellow().bold());
-        return;
+    let mut flags = Vec::new();
+    if opt {
+        // Optimizing too aggressivley makes UB detection harder, but test at least
+        // the default value.
+        // FIXME: Opt level 3 ICEs during stack trace generation.
+        flags.push("-Zmir-opt-level=1".to_owned());
     }
 
+    run_tests("compile-fail", path, target, flags);
+}
+
+fn miri_pass(path: &str, target: &str, opt: bool) {
     let opt_str = if opt { " with optimizations" } else { "" };
     eprintln!("{}", format!(
         "## Running run-pass tests in {} against miri for target {}{}",
@@ -104,120 +77,44 @@ fn miri_pass(sysroot: &Path, path: &str, target: &str, host: &str, need_fullmir:
         target,
         opt_str
     ).green().bold());
-    let mut config = compiletest::Config::default().tempdir();
-    config.mode = "ui".parse().expect("Invalid mode");
-    config.src_base = PathBuf::from(path);
-    config.target = target.to_owned();
-    config.host = host.to_owned();
-    config.rustc_path = miri_path();
-    if rustc_test_suite().is_some() {
-        config.run_lib_path = rustc_lib_path();
-        config.compile_lib_path = rustc_lib_path();
-    }
+
     let mut flags = Vec::new();
-    flags.push(format!("--sysroot {}", sysroot.display()));
-    if have_fullmir() {
-        flags.push("-Zmiri-start-fn".to_owned());
-    }
     if opt {
         flags.push("-Zmir-opt-level=3".to_owned());
-    } else {
-        flags.push("-Zmir-opt-level=0".to_owned());
-        // For now, only validate without optimizations.  Inlining breaks validation.
-        flags.push("-Zmir-emit-validate=1".to_owned());
     }
-    // Control miri logging. This is okay despite concurrent test execution as all tests
-    // will set this env var to the same value.
-    env::set_var("MIRI_LOG", "warn");
-    config.target_rustcflags = Some(flags.join(" "));
-    compiletest::run_tests(&config);
-}
-
-fn is_target_dir<P: Into<PathBuf>>(path: P) -> bool {
-    let mut path = path.into();
-    path.push("lib");
-    path.metadata().map(|m| m.is_dir()).unwrap_or(false)
-}
-
-fn for_all_targets<F: FnMut(String)>(sysroot: &Path, mut f: F) {
-    let target_dir = sysroot.join("lib").join("rustlib");
-    for entry in std::fs::read_dir(target_dir).expect("invalid sysroot") {
-        let entry = entry.unwrap();
-        if !is_target_dir(entry.path()) {
-            continue;
-        }
-        let target = entry.file_name().into_string().unwrap();
-        f(target);
-    }
-}
 
-fn get_sysroot() -> PathBuf {
-    let sysroot = std::env::var("MIRI_SYSROOT").unwrap_or_else(|_| {
-        let sysroot = std::process::Command::new("rustc")
-            .arg("--print")
-            .arg("sysroot")
-            .output()
-            .expect("rustc not found")
-            .stdout;
-        String::from_utf8(sysroot).expect("sysroot is not utf8")
-    });
-    PathBuf::from(sysroot.trim())
+    run_tests("ui", path, target, flags);
 }
 
 fn get_host() -> String {
     let rustc = rustc_test_suite().unwrap_or(PathBuf::from("rustc"));
-    println!("using rustc at {}", rustc.display());
-    let host = std::process::Command::new(rustc)
+    let rustc_version = std::process::Command::new(rustc)
         .arg("-vV")
         .output()
         .expect("rustc not found for -vV")
         .stdout;
-    let host = std::str::from_utf8(&host).expect("sysroot is not utf8");
-    let host = host.split("\nhost: ").nth(1).expect(
-        "no host: part in rustc -vV",
-    );
-    let host = host.split('\n').next().expect("no \n after host");
-    String::from(host)
+    let rustc_version = std::str::from_utf8(&rustc_version).expect("rustc -vV is not utf8");
+    let version_meta = rustc_version::version_meta_for(&rustc_version)
+        .expect("failed to parse rustc version info");
+    version_meta.host
 }
 
-fn run_pass_miri(opt: bool) {
-    let sysroot = get_sysroot();
-    let host = get_host();
-
-    for_all_targets(&sysroot, |target| {
-        miri_pass(&sysroot, "tests/run-pass", &target, &host, false, opt);
-    });
-    miri_pass(&sysroot, "tests/run-pass-fullmir", &host, &host, true, opt);
+fn get_target() -> String {
+    std::env::var("MIRI_TEST_TARGET").unwrap_or_else(|_| get_host())
 }
 
-fn run_pass_rustc() {
-    let sysroot = get_sysroot();
-    rustc_pass(&sysroot, "tests/run-pass");
-    rustc_pass(&sysroot, "tests/run-pass-fullmir");
+fn run_pass_miri(opt: bool) {
+    miri_pass("tests/run-pass", &get_target(), opt);
 }
 
-fn compile_fail_miri() {
-    let sysroot = get_sysroot();
-    let host = get_host();
-
-    // FIXME: run tests for other targets, too
-    compile_fail(&sysroot, "tests/compile-fail", &host, &host, false);
-    compile_fail(&sysroot, "tests/compile-fail-fullmir", &host, &host, true);
+fn compile_fail_miri(opt: bool) {
+    compile_fail("tests/compile-fail", &get_target(), opt);
 }
 
-#[test]
-fn test() {
-    // We put everything into a single test to avoid the parallelism `cargo test`
-    // introduces.  We still get parallelism within our tests because `compiletest`
-    // uses `libtest` which runs jobs in parallel.
-
-    run_pass_rustc();
-
+fn test_runner(_tests: &[&()]) {
     run_pass_miri(false);
+    run_pass_miri(true);
 
-    // FIXME: Disabled for now, as the optimizer is pretty broken and crashes...
-    // See https://github.com/rust-lang/rust/issues/50411
-    //run_pass_miri(true);
-
-    compile_fail_miri();
+    compile_fail_miri(false);
+    compile_fail_miri(true);
 }