CONTRIBUTING.md

   1 # Contribution Guide
   2
   3 If you want to hack on Miri yourself, great!  Here are some resources you might
   4 find useful.
   5
   6 ## Getting started
   7
   8 Check out the issues on this GitHub repository for some ideas. In particular,
   9 look for the green `E-*` labels which mark issues that should be rather
  10 well-suited for onboarding. For more ideas or help with hacking on Miri, you can
  11 contact us (`oli-obk` and `RalfJ`) on the [Rust Zulip].
  12
  13 [Rust Zulip]: https://rust-lang.zulipchat.com
  14
  15 ## Preparing the build environment
  16
  17 Miri heavily relies on internal and unstable rustc interfaces to execute MIR,
  18 which means it is important that you install a version of rustc that Miri
  19 actually works with.
  20
  21 The `rust-version` file contains the commit hash of rustc that Miri is currently
  22 tested against. Other versions will likely not work. After installing
  23 [`rustup-toolchain-install-master`], you can run the following command to
  24 install that exact version of rustc as a toolchain:
  25 ```
  26 ./rustup-toolchain
  27 ```
  28 This will set up a rustup toolchain called `miri` and set it as an override for
  29 the current directory.
  30
  31 If you want to also have `clippy` installed, you need to run this:
  32 ```
  33 ./rustup-toolchain "" -c clippy
  34 ```
  35
  36 [`rustup-toolchain-install-master`]: https://github.com/kennytm/rustup-toolchain-install-master
  37
  38 ## Building and testing Miri
  39
  40 Invoking Miri requires getting a bunch of flags right and setting up a custom
  41 sysroot with xargo. The `miri` script takes care of that for you. With the
  42 build environment prepared, compiling Miri is just one command away:
  43
  44 ```
  45 ./miri build
  46 ```
  47
  48 Run `./miri` without arguments to see the other commands our build tool
  49 supports.
  50
  51 ### Testing the Miri driver
  52
  53 The Miri driver compiled from `src/bin/miri.rs` is the "heart" of Miri: it is
  54 basically a version of `rustc` that, instead of compiling your code, runs it.
  55 It accepts all the same flags as `rustc` (though the ones only affecting code
  56 generation and linking obviously will have no effect) [and more][miri-flags].
  57
  58 [miri-flags]: README.md#miri--z-flags-and-environment-variables
  59
  60 For example, you can (cross-)run the driver on a particular file by doing
  61
  62 ```sh
  63 ./miri run tests/pass/format.rs
  64 ./miri run tests/pass/hello.rs --target i686-unknown-linux-gnu
  65 ```
  66
  67 and you can (cross-)run the entire test suite using:
  68
  69 ```
  70 ./miri test
  71 MIRI_TEST_TARGET=i686-unknown-linux-gnu ./miri test
  72 ```
  73
  74 If your target doesn't support libstd, you can run miri with
  75
  76 ```
  77 MIRI_NO_STD=1 MIRI_TEST_TARGET=thumbv7em-none-eabihf ./miri test tests/fail/alloc/no_global_allocator.rs
  78 MIRI_NO_STD=1 ./miri run tests/pass/no_std.rs --target thumbv7em-none-eabihf
  79 ```
  80
  81 to avoid attempting (and failing) to build libstd. Note that almost no tests will pass
  82 this way, but you can run individual tests.
  83
  84 `./miri test FILTER` only runs those tests that contain `FILTER` in their
  85 filename (including the base directory, e.g. `./miri test fail` will run all
  86 compile-fail tests).
  87
  88 You can get a trace of which MIR statements are being executed by setting the
  89 `MIRI_LOG` environment variable.  For example:
  90
  91 ```sh
  92 MIRI_LOG=info ./miri run tests/pass/vec.rs
  93 ```
  94
  95 Setting `MIRI_LOG` like this will configure logging for Miri itself as well as
  96 the `rustc_middle::mir::interpret` and `rustc_mir::interpret` modules in rustc. You
  97 can also do more targeted configuration, e.g. the following helps debug the
  98 stacked borrows implementation:
  99
 100 ```sh
 101 MIRI_LOG=rustc_mir::interpret=info,miri::stacked_borrows ./miri run tests/pass/vec.rs
 102 ```
 103
 104 In addition, you can set `MIRI_BACKTRACE=1` to get a backtrace of where an
 105 evaluation error was originally raised.
 106
 107 #### UI testing
 108
 109 We use ui-testing in Miri, meaning we generate `.stderr` and `.stdout` files for the output
 110 produced by Miri. You can use `./miri bless` to automatically (re)generate these files when
 111 you add new tests or change how Miri presents certain output.
 112
 113 Note that when you also use `MIRIFLAGS` to change optimizations and similar, the ui output
 114 will change in unexpected ways. In order to still be able
 115 to run the other checks while ignoring the ui output, use `MIRI_SKIP_UI_CHECKS=1 ./miri test`.
 116
 117 For more info on how to configure ui tests see [the documentation on the ui test crate][ui_test]
 118
 119 [ui_test]: ui_test/README.md
 120
 121 ### Testing `cargo miri`
 122
 123 Working with the driver directly gives you full control, but you also lose all
 124 the convenience provided by cargo. Once your test case depends on a crate, it
 125 is probably easier to test it with the cargo wrapper. You can install your
 126 development version of Miri using
 127
 128 ```
 129 ./miri install
 130 ```
 131
 132 and then you can use it as if it was installed by `rustup`.  Make sure you use
 133 the same toolchain when calling `cargo miri` that you used when installing Miri!
 134
 135 There's a test for the cargo wrapper in the `test-cargo-miri` directory; run
 136 `./run-test.py` in there to execute it. Like `./miri test`, this respects the
 137 `MIRI_TEST_TARGET` environment variable to execute the test for another target.
 138
 139 ### Using a modified standard library
 140
 141 Miri re-builds the standard library into a custom sysroot, so it is fairly easy
 142 to test Miri against a modified standard library -- you do not even have to
 143 build Miri yourself, the Miri shipped by `rustup` will work. All you have to do
 144 is set the `MIRI_LIB_SRC` environment variable to the `library` folder of a
 145 `rust-lang/rust` repository checkout. Note that changing files in that directory
 146 does not automatically trigger a re-build of the standard library; you have to
 147 clear the Miri build cache manually (on Linux, `rm -rf ~/.cache/miri`;
 148 and on Windows, `rmdir /S "%LOCALAPPDATA%\rust-lang\miri\cache"`).
 149
 150 ### Benchmarking
 151
 152 Miri comes with a few benchmarks; you can run `./miri bench` to run them with the locally built
 153 Miri. Note: this will run `./miri install` as a side-effect. Also requires `hyperfine` to be
 154 installed (`cargo install hyperfine`).
 155
 156 ## Configuring `rust-analyzer`
 157
 158 To configure `rust-analyzer` and VS Code for working on Miri, save the following
 159 to `.vscode/settings.json` in your local Miri clone:
 160
 161 ```json
 162 {
 163     "rust-analyzer.rustc.source": "discover",
 164     "rust-analyzer.linkedProjects": [
 165         "./Cargo.toml",
 166         "./cargo-miri/Cargo.toml"
 167     ],
 168     "rust-analyzer.checkOnSave.overrideCommand": [
 169         "./miri",
 170         "check",
 171         "--message-format=json"
 172     ],
 173     "rust-analyzer.buildScripts.overrideCommand": [
 174         "./miri",
 175         "check",
 176         "--message-format=json",
 177     ],
 178     "rust-analyzer.rustfmt.extraArgs": [
 179         "+nightly"
 180     ],
 181 }
 182 ```
 183
 184 > #### Note
 185 >
 186 > If you are [building Miri with a locally built rustc][], set
 187 > `rust-analyzer.rustcSource` to the relative path from your Miri clone to the
 188 > root `Cargo.toml` of the locally built rustc. For example, the path might look
 189 > like `../rust/Cargo.toml`.
 190
 191 See the rustc-dev-guide's docs on ["Configuring `rust-analyzer` for `rustc`"][rdg-r-a]
 192 for more information about configuring VS Code and `rust-analyzer`.
 193
 194 [rdg-r-a]: https://rustc-dev-guide.rust-lang.org/building/suggested.html#configuring-rust-analyzer-for-rustc
 195
 196 ## Advanced topic: other build environments
 197
 198 We described above the simplest way to get a working build environment for Miri,
 199 which is to use the version of rustc indicated by `rustc-version`. But
 200 sometimes, that is not enough.
 201
 202 ### Updating `rustc-version`
 203
 204 The `rustc-version` file is regularly updated to keep Miri close to the latest
 205 version of rustc. Usually, new contributors do not have to worry about this. But
 206 sometimes a newer rustc is needed for a patch, and sometimes Miri needs fixing
 207 for changes in rustc. In both cases, `rustc-version` needs updating.
 208
 209 To update the `rustc-version` file and install the latest rustc, you can run:
 210 ```
 211 ./rustup-toolchain HEAD
 212 ```
 213
 214 Now edit Miri until `./miri test` passes, and submit a PR. Generally, it is
 215 preferred to separate updating `rustc-version` and doing what it takes to get
 216 Miri working again, from implementing new features that rely on the updated
 217 rustc. This avoids blocking all Miri development on landing a big PR.
 218
 219 ### Building Miri with a locally built rustc
 220
 221 [building Miri with a locally built rustc]: #building-miri-with-a-locally-built-rustc
 222
 223 A big part of the Miri driver lives in rustc, so working on Miri will sometimes
 224 require using a locally built rustc. The bug you want to fix may actually be on
 225 the rustc side, or you just need to get more detailed trace of the execution
 226 than what is possible with release builds -- in both cases, you should develop
 227 Miri against a rustc you compiled yourself, with debug assertions (and hence
 228 tracing) enabled.
 229
 230 The setup for a local rustc works as follows:
 231 ```sh
 232 # Clone the rust-lang/rust repo.
 233 git clone https://github.com/rust-lang/rust rustc
 234 cd rustc
 235 # Create a config.toml with defaults for working on Miri.
 236 ./x.py setup compiler
 237  # Now edit `config.toml` and under `[rust]` set `debug-assertions = true`.
 238
 239 # Build a stage 2 rustc, and build the rustc libraries with that rustc.
 240 # This step can take 30 minutes or more.
 241 ./x.py build --stage 2 compiler/rustc
 242 # If you change something, you can get a faster rebuild by doing
 243 ./x.py build --keep-stage 0 --stage 2 compiler/rustc
 244 # You may have to change the architecture in the next command
 245 rustup toolchain link stage2 build/x86_64-unknown-linux-gnu/stage2
 246 # Now cd to your Miri directory, then configure rustup
 247 rustup override set stage2
 248 ```
 249
 250 Important: You need to delete the Miri cache when you change the stdlib; otherwise the
 251 old, chached version will be used. On Linux, the cache is located at `~/.cache/miri`,
 252 and on Windows, it is located at `%LOCALAPPDATA%\rust-lang\miri\cache`; the exact
 253 location is printed after the library build: "A libstd for Miri is now available in ...".
 254
 255 Note: `./x.py --stage 2 compiler/rustc` currently errors with `thread 'main'
 256 panicked at 'fs::read(stamp) failed with No such file or directory (os error 2)`,
 257 you can simply ignore that error; Miri will build anyway.
 258
 259 For more information about building and configuring a local compiler,
 260 see <https://rustc-dev-guide.rust-lang.org/building/how-to-build-and-run.html>.
 261
 262 With this, you should now have a working development setup! See
 263 [above](#building-and-testing-miri) for how to proceed working on Miri.