src/bootstrap/sanity.rs

   1 //! Sanity checking performed by rustbuild before actually executing anything.
   2 //!
   3 //! This module contains the implementation of ensuring that the build
   4 //! environment looks reasonable before progressing. This will verify that
   5 //! various programs like git and python exist, along with ensuring that all C
   6 //! compilers for cross-compiling are found.
   7 //!
   8 //! In theory if we get past this phase it's a bug if a build fails, but in
   9 //! practice that's likely not true!
  10
  11 use std::collections::HashMap;
  12 use std::env;
  13 use std::ffi::{OsString, OsStr};
  14 use std::fs;
  15 use std::path::PathBuf;
  16 use std::process::Command;
  17
  18 use build_helper::output;
  19
  20 use crate::Build;
  21
  22 struct Finder {
  23     cache: HashMap<OsString, Option<PathBuf>>,
  24     path: OsString,
  25 }
  26
  27 impl Finder {
  28     fn new() -> Self {
  29         Self {
  30             cache: HashMap::new(),
  31             path: env::var_os("PATH").unwrap_or_default()
  32         }
  33     }
  34
  35     fn maybe_have<S: AsRef<OsStr>>(&mut self, cmd: S) -> Option<PathBuf> {
  36         let cmd: OsString = cmd.as_ref().into();
  37         let path = &self.path;
  38         self.cache.entry(cmd.clone()).or_insert_with(|| {
  39             for path in env::split_paths(path) {
  40                 let target = path.join(&cmd);
  41                 let mut cmd_exe = cmd.clone();
  42                 cmd_exe.push(".exe");
  43
  44                 if target.is_file()                   // some/path/git
  45                     || path.join(&cmd_exe).exists()   // some/path/git.exe
  46                     || target.join(&cmd_exe).exists() // some/path/git/git.exe
  47                 {
  48                     return Some(target);
  49                 }
  50             }
  51             None
  52         }).clone()
  53     }
  54
  55     fn must_have<S: AsRef<OsStr>>(&mut self, cmd: S) -> PathBuf {
  56         self.maybe_have(&cmd).unwrap_or_else(|| {
  57             panic!("\n\ncouldn't find required command: {:?}\n\n", cmd.as_ref());
  58         })
  59     }
  60 }
  61
  62 pub fn check(build: &mut Build) {
  63     let path = env::var_os("PATH").unwrap_or_default();
  64     // On Windows, quotes are invalid characters for filename paths, and if
  65     // one is present as part of the PATH then that can lead to the system
  66     // being unable to identify the files properly. See
  67     // https://github.com/rust-lang/rust/issues/34959 for more details.
  68     if cfg!(windows) && path.to_string_lossy().contains('\"') {
  69         panic!("PATH contains invalid character '\"'");
  70     }
  71
  72     let mut cmd_finder = Finder::new();
  73     // If we've got a git directory we're gonna need git to update
  74     // submodules and learn about various other aspects.
  75     if build.rust_info.is_git() {
  76         cmd_finder.must_have("git");
  77     }
  78
  79     // We need cmake, but only if we're actually building LLVM or sanitizers.
  80     let building_llvm = build.hosts.iter()
  81         .filter_map(|host| build.config.target_config.get(host))
  82         .any(|config| config.llvm_config.is_none());
  83     if building_llvm || build.config.sanitizers {
  84         cmd_finder.must_have("cmake");
  85     }
  86
  87     // Ninja is currently only used for LLVM itself.
  88     if building_llvm {
  89         if build.config.ninja {
  90             // Some Linux distros rename `ninja` to `ninja-build`.
  91             // CMake can work with either binary name.
  92             if cmd_finder.maybe_have("ninja-build").is_none() {
  93                 cmd_finder.must_have("ninja");
  94             }
  95         }
  96
  97         // If ninja isn't enabled but we're building for MSVC then we try
  98         // doubly hard to enable it. It was realized in #43767 that the msbuild
  99         // CMake generator for MSVC doesn't respect configuration options like
 100         // disabling LLVM assertions, which can often be quite important!
 101         //
 102         // In these cases we automatically enable Ninja if we find it in the
 103         // environment.
 104         if !build.config.ninja && build.config.build.contains("msvc") {
 105             if cmd_finder.maybe_have("ninja").is_some() {
 106                 build.config.ninja = true;
 107             }
 108         }
 109     }
 110
 111     build.config.python = build.config.python.take().map(|p| cmd_finder.must_have(p))
 112         .or_else(|| cmd_finder.maybe_have("python2.7"))
 113         .or_else(|| cmd_finder.maybe_have("python2"))
 114         .or_else(|| env::var_os("BOOTSTRAP_PYTHON").map(PathBuf::from)) // set by bootstrap.py
 115         .or_else(|| Some(cmd_finder.must_have("python")));
 116
 117     build.config.nodejs = build.config.nodejs.take().map(|p| cmd_finder.must_have(p))
 118         .or_else(|| cmd_finder.maybe_have("node"))
 119         .or_else(|| cmd_finder.maybe_have("nodejs"));
 120
 121     build.config.gdb = build.config.gdb.take().map(|p| cmd_finder.must_have(p))
 122         .or_else(|| cmd_finder.maybe_have("gdb"));
 123
 124     // We're gonna build some custom C code here and there, host triples
 125     // also build some C++ shims for LLVM so we need a C++ compiler.
 126     for target in &build.targets {
 127         // On emscripten we don't actually need the C compiler to just
 128         // build the target artifacts, only for testing. For the sake
 129         // of easier bot configuration, just skip detection.
 130         if target.contains("emscripten") {
 131             continue;
 132         }
 133
 134         // We don't use a C compiler on wasm32
 135         if target.contains("wasm32") {
 136             continue;
 137         }
 138
 139         if !build.config.dry_run {
 140             cmd_finder.must_have(build.cc(*target));
 141             if let Some(ar) = build.ar(*target) {
 142                 cmd_finder.must_have(ar);
 143             }
 144         }
 145     }
 146
 147     for host in &build.hosts {
 148         if !build.config.dry_run {
 149             cmd_finder.must_have(build.cxx(*host).unwrap());
 150         }
 151     }
 152
 153     // Externally configured LLVM requires FileCheck to exist
 154     let filecheck = build.llvm_filecheck(build.build);
 155     if !filecheck.starts_with(&build.out) && !filecheck.exists() && build.config.codegen_tests {
 156         panic!("FileCheck executable {:?} does not exist", filecheck);
 157     }
 158
 159     for target in &build.targets {
 160         // Can't compile for iOS unless we're on macOS
 161         if target.contains("apple-ios") &&
 162            !build.build.contains("apple-darwin") {
 163             panic!("the iOS target is only supported on macOS");
 164         }
 165
 166         if target.contains("-none-") || target.contains("nvptx") {
 167             if build.no_std(*target).is_none() {
 168                 let target = build.config.target_config.entry(target.clone())
 169                     .or_default();
 170
 171                 target.no_std = true;
 172             }
 173
 174             if build.no_std(*target) == Some(false) {
 175                 panic!("All the *-none-* and nvptx* targets are no-std targets")
 176             }
 177         }
 178
 179         // Make sure musl-root is valid
 180         if target.contains("musl") {
 181             // If this is a native target (host is also musl) and no musl-root is given,
 182             // fall back to the system toolchain in /usr before giving up
 183             if build.musl_root(*target).is_none() && build.config.build == *target {
 184                 let target = build.config.target_config.entry(target.clone())
 185                     .or_default();
 186                 target.musl_root = Some("/usr".into());
 187             }
 188             match build.musl_root(*target) {
 189                 Some(root) => {
 190                     if fs::metadata(root.join("lib/libc.a")).is_err() {
 191                         panic!("couldn't find libc.a in musl dir: {}",
 192                                root.join("lib").display());
 193                     }
 194                     if fs::metadata(root.join("lib/libunwind.a")).is_err() {
 195                         panic!("couldn't find libunwind.a in musl dir: {}",
 196                                root.join("lib").display());
 197                     }
 198                 }
 199                 None => {
 200                     panic!("when targeting MUSL either the rust.musl-root \
 201                             option or the target.$TARGET.musl-root option must \
 202                             be specified in config.toml")
 203                 }
 204             }
 205         }
 206
 207         if target.contains("msvc") {
 208             // There are three builds of cmake on windows: MSVC, MinGW, and
 209             // Cygwin. The Cygwin build does not have generators for Visual
 210             // Studio, so detect that here and error.
 211             let out = output(Command::new("cmake").arg("--help"));
 212             if !out.contains("Visual Studio") {
 213                 panic!("
 214 cmake does not support Visual Studio generators.
 215
 216 This is likely due to it being an msys/cygwin build of cmake,
 217 rather than the required windows version, built using MinGW
 218 or Visual Studio.
 219
 220 If you are building under msys2 try installing the mingw-w64-x86_64-cmake
 221 package instead of cmake:
 222
 223 $ pacman -R cmake && pacman -S mingw-w64-x86_64-cmake
 224 ");
 225             }
 226         }
 227     }
 228
 229     if let Some(ref s) = build.config.ccache {
 230         cmd_finder.must_have(s);
 231     }
 232
 233     if build.config.channel == "stable" {
 234         let stage0 = t!(fs::read_to_string(build.src.join("src/stage0.txt")));
 235         if stage0.contains("\ndev:") {
 236             panic!("bootstrapping from a dev compiler in a stable release, but \
 237                     should only be bootstrapping from a released compiler!");
 238         }
 239     }
 240 }