README.md

   1 # Miri [![Build Status](https://travis-ci.com/rust-lang/miri.svg?branch=master)](https://travis-ci.com/rust-lang/miri) [![Windows build status](https://ci.appveyor.com/api/projects/status/github/rust-lang/miri?svg=true)](https://ci.appveyor.com/project/rust-lang-libs/miri)
   2
   3
   4 An experimental interpreter for [Rust][rust]'s
   5 [mid-level intermediate representation][mir] (MIR).  It can run binaries and
   6 test suites of cargo projects and detect certain classes of
   7 [undefined behavior](https://doc.rust-lang.org/reference/behavior-considered-undefined.html),
   8 for example:
   9
  10 * Out-of-bounds memory accesses and use-after-free
  11 * Invalid use of uninitialized data
  12 * Violation of intrinsic preconditions (an [`unreachable_unchecked`] being
  13   reached, calling [`copy_nonoverlapping`] with overlapping ranges, ...)
  14 * Not sufficiently aligned memory accesses and references
  15 * Violation of *some* basic type invariants (a `bool` that is not 0 or 1, for example,
  16   or an invalid enum discriminant)
  17 * WIP: Violations of the rules governing aliasing for reference types
  18
  19 Miri has already discovered some [real-world bugs](#bugs-found-by-miri).  If you
  20 found a bug with Miri, we'd appreciate if you tell us and we'll add it to the
  21 list!
  22
  23 Be aware that Miri will not catch all cases of undefined behavior in your
  24 program, and cannot run all programs:
  25
  26 * There are still plenty of open questions around the basic invariants for some
  27   types and when these invariants even have to hold. Miri tries to avoid false
  28   positives here, so if you program runs fine in Miri right now that is by no
  29   means a guarantee that it is UB-free when these questions get answered.
  30
  31     In particular, Miri does currently not check that integers are initialized
  32   or that references point to valid data.
  33 * If the program relies on unspecified details of how data is laid out, it will
  34   still run fine in Miri -- but might break (including causing UB) on different
  35   compiler versions or different platforms.
  36 * Program execution is non-deterministic when it depends, for example, on where
  37   exactly in memory allocations end up. Miri tests one of many possible
  38   executions of your program. If your code is sensitive to allocation base
  39   addresses or other non-deterministic data, try running Miri with different
  40   values for `-Zmiri-seed` to test different executions.
  41 * Miri runs the program as a platform-independent interpreter, so the program
  42   has no access to any platform-specific APIs or FFI. A few APIs have been
  43   implemented (such as printing to stdout) but most have not: for example, Miri
  44   currently does not support concurrency, or SIMD, or networking, or file system
  45   access.
  46
  47 [rust]: https://www.rust-lang.org/
  48 [mir]: https://github.com/rust-lang/rfcs/blob/master/text/1211-mir.md
  49 [`unreachable_unchecked`]: https://doc.rust-lang.org/stable/std/hint/fn.unreachable_unchecked.html
  50 [`copy_nonoverlapping`]: https://doc.rust-lang.org/stable/std/ptr/fn.copy_nonoverlapping.html
  51
  52
  53 ## Using Miri
  54
  55 Install Miri via `rustup`:
  56
  57 ```sh
  58 rustup component add miri
  59 ```
  60
  61 If `rustup` says the `miri` component is unavailable, that's because not all
  62 nightly releases come with all tools. Check out
  63 [this website](https://rust-lang.github.io/rustup-components-history) to
  64 determine a nightly version that comes with Miri and install that, e.g. using
  65 `rustup install nightly-2019-03-28`.
  66
  67 Now you can run your project in Miri:
  68
  69 1. Run `cargo clean` to eliminate any cached dependencies.  Miri needs your
  70    dependencies to be compiled the right way, that would not happen if they have
  71    previously already been compiled.
  72 2. To run all tests in your project through Miri, use `cargo miri test`.
  73 3. If you have a binary project, you can run it through Miri using `cargo miri run`.
  74
  75 The first time you run Miri, it will perform some extra setup and install some
  76 dependencies.  It will ask you for confirmation before installing anything.
  77
  78 You can pass arguments to Miri after the first `--`, and pass arguments to the
  79 interpreted program or test suite after the second `--`.  For example, `cargo
  80 miri run -- -Zmiri-disable-validation` runs the program without validation of
  81 basic type invariants and references.  `cargo miri test -- -- -Zunstable-options
  82 --exclude-should-panic` skips `#[should_panic]` tests, which is a good idea
  83 because Miri does not support unwinding or catching panics.
  84
  85 When running code via `cargo miri`, the `miri` config flag is set.  You can
  86 use this to exclude test cases that will fail under Miri because they do things
  87 Miri does not support:
  88
  89 ```rust
  90 #[cfg(not(miri))]
  91 #[test]
  92 fn does_not_work_on_miri() {
  93     let x = 0u8;
  94     assert!(&x as *const _ as usize % 4 < 4);
  95 }
  96 ```
  97
  98 ### Running Miri on CI
  99
 100 To run Miri on CI, make sure that you handle the case where the latest nightly
 101 does not ship the Miri component because it currently does not build.  For
 102 example, you can use the following snippet to always test with the latest
 103 nightly that *does* come with Miri:
 104
 105 ```sh
 106 MIRI_NIGHTLY=nightly-$(curl -s https://rust-lang.github.io/rustup-components-history/x86_64-unknown-linux-gnu/miri)
 107 echo "Installing latest nightly with Miri: $MIRI_NIGHTLY"
 108 rustup default "$MIRI_NIGHTLY"
 109
 110 rustup component add miri
 111 cargo miri setup
 112
 113 cargo miri test -- -- -Zunstable-options --exclude-should-panic
 114 ```
 115
 116 We use `cargo miri setup` to avoid getting interactive questions about the extra
 117 setup needed for Miri.
 118
 119 ### Common Problems
 120
 121 When using the above instructions, you may encounter a number of confusing compiler
 122 errors.
 123
 124 #### "found possibly newer version of crate `std` which `<dependency>` depends on"
 125
 126 Your build directory may contain artifacts from an earlier build that have/have
 127 not been built for Miri. Run `cargo clean` before switching from non-Miri to
 128 Miri builds and vice-versa.
 129
 130 #### "found crate `std` compiled by an incompatible version of rustc"
 131
 132 You may be running `cargo miri` with a different compiler version than the one
 133 used to build the custom libstd that Miri uses, and Miri failed to detect that.
 134 Try deleting `~/.cache/miri`.
 135
 136 #### "no mir for `std::rt::lang_start_internal`"
 137
 138 This means the sysroot you are using was not compiled with Miri in mind.  This
 139 should never happen when you use `cargo miri` because that takes care of setting
 140 up the sysroot.  If you are using `miri` (the Miri driver) directly, see
 141 [below][testing-miri] for how to set up the sysroot.
 142
 143
 144 ## Miri `-Z` flags and environment variables
 145 [miri-flags]: #miri--z-flags-and-environment-variables
 146
 147 Several `-Z` flags are relevant for Miri:
 148
 149 * `-Zmiri-seed=<hex>` is a custom `-Z` flag added by Miri.  It configures the
 150   seed of the RNG that Miri uses to resolve non-determinism.  This RNG is used
 151   to pick base addresses for allocations, and when the interpreted program
 152   requests system entropy.  The default seed is 0.
 153   **NOTE**: This entropy is not good enough for cryptographic use!  Do not
 154   generate secret keys in Miri or perform other kinds of cryptographic
 155   operations that rely on proper random numbers.
 156 * `-Zmiri-disable-validation` disables enforcing the validity invariant, which
 157   is enforced by default.  This is mostly useful for debugging; it means Miri
 158   will miss bugs in your program.  However, this can also help to make Miri run
 159   faster.
 160 * `-Zmiri-disable-isolation` disables host host isolation.  As a consequence,
 161   the program has access to host resources such as environment variables and
 162   randomness (and, eventually, file systems and more).
 163 * `-Zmiri-env-exclude=<var>` keeps the `var` environment variable isolated from
 164   the host. Can be used multiple times to exclude several variables. The `TERM`
 165   environment variable is excluded by default.
 166 * `-Zmir-opt-level` controls how many MIR optimizations are performed.  Miri
 167   overrides the default to be `0`; be advised that using any higher level can
 168   make Miri miss bugs in your program because they got optimized away.
 169 * `-Zalways-encode-mir` makes rustc dump MIR even for completely monomorphic
 170   functions.  This is needed so that Miri can execute such functions, so Miri
 171   sets this flag per default.
 172 * `-Zmir-emit-retag` controls whether `Retag` statements are emitted. Miri
 173   enables this per default because it is needed for validation.
 174
 175 Moreover, Miri recognizes some environment variables:
 176
 177 * `MIRI_LOG`, `MIRI_BACKTRACE` control logging and backtrace printing during
 178   Miri executions, also [see above][testing-miri].
 179 * `MIRI_SYSROOT` (recognized by `cargo miri` and the test suite)
 180   indicates the sysroot to use.  To do the same thing with `miri`
 181   directly, use the `--sysroot` flag.
 182 * `MIRI_TEST_TARGET` (recognized by the test suite) indicates which target
 183   architecture to test against.  `miri` and `cargo miri` accept the `--target`
 184   flag for the same purpose.
 185
 186 ## Contributing and getting help
 187
 188 If you want to contribute to Miri, great!  Please check out our
 189 [contribution guide](CONTRIBUTING.md).
 190
 191 For help with running Miri, you can open an issue here on
 192 GitHub or contact us (`oli-obk` and `RalfJ`) on the [Rust Zulip].
 193
 194 [Rust Zulip]: https://rust-lang.zulipchat.com
 195
 196 ## History
 197
 198 This project began as part of an undergraduate research course in 2015 by
 199 @solson at the [University of Saskatchewan][usask].  There are [slides] and a
 200 [report] available from that project.  In 2016, @oli-obk joined to prepare miri
 201 for eventually being used as const evaluator in the Rust compiler itself
 202 (basically, for `const` and `static` stuff), replacing the old evaluator that
 203 worked directly on the AST.  In 2017, @RalfJung did an internship with Mozilla
 204 and began developing miri towards a tool for detecting undefined behavior, and
 205 also using miri as a way to explore the consequences of various possible
 206 definitions for undefined behavior in Rust.  @oli-obk's move of the miri engine
 207 into the compiler finally came to completion in early 2018.  Meanwhile, later
 208 that year, @RalfJung did a second internship, developing miri further with
 209 support for checking basic type invariants and verifying that references are
 210 used according to their aliasing restrictions.
 211
 212 [usask]: https://www.usask.ca/
 213 [slides]: https://solson.me/miri-slides.pdf
 214 [report]: https://solson.me/miri-report.pdf
 215
 216 ## Bugs found by Miri
 217
 218 Miri has already found a number of bugs in the Rust standard library and beyond, which we collect here.
 219
 220 Definite bugs found:
 221
 222 * [`Debug for vec_deque::Iter` accessing uninitialized memory](https://github.com/rust-lang/rust/issues/53566)
 223 * [`Vec::into_iter` doing an unaligned ZST read](https://github.com/rust-lang/rust/pull/53804)
 224 * [`From<&[T]> for Rc` creating a not sufficiently aligned reference](https://github.com/rust-lang/rust/issues/54908)
 225 * [`BTreeMap` creating a shared reference pointing to a too small allocation](https://github.com/rust-lang/rust/issues/54957)
 226 * [`Vec::append` creating a dangling reference](https://github.com/rust-lang/rust/pull/61082)
 227 * [Futures turning a shared reference into a mutable one](https://github.com/rust-lang/rust/pull/56319)
 228 * [`str` turning a shared reference into a mutable one](https://github.com/rust-lang/rust/pull/58200)
 229 * [`rand` performing unaligned reads](https://github.com/rust-random/rand/issues/779)
 230 * [The Unix allocator calling `posix_memalign` in an invalid way](https://github.com/rust-lang/rust/issues/62251)
 231 * [`getrandom` calling the `getrandom` syscall in an invalid way](https://github.com/rust-random/getrandom/pull/73)
 232
 233 Violations of Stacked Borrows found that are likely bugs (but Stacked Borrows is currently just an experiment):
 234
 235 * [`VecDeque` creating overlapping mutable references](https://github.com/rust-lang/rust/pull/56161)
 236 * [`BTreeMap` creating mutable references that overlap with shared references](https://github.com/rust-lang/rust/pull/58431)
 237 * [`LinkedList` creating overlapping mutable references](https://github.com/rust-lang/rust/pull/60072)
 238 * [`Vec::push` invalidating existing references into the vector](https://github.com/rust-lang/rust/issues/60847)
 239
 240 ## License
 241
 242 Licensed under either of
 243   * Apache License, Version 2.0 ([LICENSE-APACHE](LICENSE-APACHE) or
 244     http://www.apache.org/licenses/LICENSE-2.0)
 245   * MIT license ([LICENSE-MIT](LICENSE-MIT) or
 246     http://opensource.org/licenses/MIT) at your option.
 247
 248 ### Contribution
 249
 250 Unless you explicitly state otherwise, any contribution intentionally submitted
 251 for inclusion in the work by you shall be dual licensed as above, without any
 252 additional terms or conditions.