CONTRIBUTING.md

   1 # Contribution Guide
   2
   3 If you want to hack on Miri yourself, great!  Here are some resources you might
   4 find useful.
   5
   6 ## Getting started
   7
   8 Check out the issues on this GitHub repository for some ideas. In particular,
   9 look for the green `E-*` labels which mark issues that should be rather
  10 well-suited for onboarding. For more ideas or help with hacking on Miri, you can
  11 contact us (`oli-obk` and `RalfJ`) on the [Rust Zulip].
  12
  13 [Rust Zulip]: https://rust-lang.zulipchat.com
  14
  15 ## Preparing the build environment
  16
  17 Miri heavily relies on internal and unstable rustc interfaces to execute MIR,
  18 which means it is important that you install a version of rustc that Miri
  19 actually works with.
  20
  21 The `rust-version` file contains the commit hash of rustc that Miri is currently
  22 tested against. Other versions will likely not work. After installing
  23 [`rustup-toolchain-install-master`], you can run the following command to
  24 install that exact version of rustc as a toolchain:
  25 ```
  26 ./rustup-toolchain
  27 ```
  28 This will set up a rustup toolchain called `miri` and set it as an override for
  29 the current directory.
  30
  31 [`rustup-toolchain-install-master`]: https://github.com/kennytm/rustup-toolchain-install-master
  32
  33 ## Building and testing Miri
  34
  35 Invoking Miri requires getting a bunch of flags right and setting up a custom
  36 sysroot with xargo. The `miri` script takes care of that for you. With the
  37 build environment prepared, compiling Miri is just one command away:
  38
  39 ```
  40 ./miri build
  41 ```
  42
  43 Run `./miri` without arguments to see the other commands our build tool
  44 supports.
  45
  46 ### Testing the Miri driver
  47
  48 The Miri driver compiled from `src/bin/miri.rs` is the "heart" of Miri: it is
  49 basically a version of `rustc` that, instead of compiling your code, runs it.
  50 It accepts all the same flags as `rustc` (though the ones only affecting code
  51 generation and linking obviously will have no effect) [and more][miri-flags].
  52
  53 [miri-flags]: README.md#miri--z-flags-and-environment-variables
  54
  55 For example, you can (cross-)run the driver on a particular file by doing
  56
  57 ```sh
  58 ./miri run tests/pass/format.rs
  59 ./miri run tests/pass/hello.rs --target i686-unknown-linux-gnu
  60 ```
  61
  62 and you can (cross-)run the entire test suite using:
  63
  64 ```
  65 ./miri test
  66 MIRI_TEST_TARGET=i686-unknown-linux-gnu ./miri test
  67 ```
  68
  69 If your target doesn't support libstd, you can run miri with
  70
  71 ```
  72 MIRI_NO_STD=1 MIRI_TEST_TARGET=thumbv7em-none-eabihf ./miri test tests/fail/alloc/no_global_allocator.rs
  73 MIRI_NO_STD=1 ./miri run tests/pass/no_std.rs --target thumbv7em-none-eabihf
  74 ```
  75
  76 to avoid attempting (and failing) to build libstd. Note that almost no tests will pass
  77 this way, but you can run individual tests.
  78
  79 `./miri test FILTER` only runs those tests that contain `FILTER` in their
  80 filename (including the base directory, e.g. `./miri test fail` will run all
  81 compile-fail tests).
  82
  83 You can get a trace of which MIR statements are being executed by setting the
  84 `MIRI_LOG` environment variable.  For example:
  85
  86 ```sh
  87 MIRI_LOG=info ./miri run tests/pass/vec.rs
  88 ```
  89
  90 Setting `MIRI_LOG` like this will configure logging for Miri itself as well as
  91 the `rustc_middle::mir::interpret` and `rustc_mir::interpret` modules in rustc. You
  92 can also do more targeted configuration, e.g. the following helps debug the
  93 stacked borrows implementation:
  94
  95 ```sh
  96 MIRI_LOG=rustc_mir::interpret=info,miri::stacked_borrows ./miri run tests/pass/vec.rs
  97 ```
  98
  99 In addition, you can set `MIRI_BACKTRACE=1` to get a backtrace of where an
 100 evaluation error was originally raised.
 101
 102 #### UI testing
 103
 104 We use ui-testing in Miri, meaning we generate `.stderr` and `.stdout` files for the output
 105 produced by Miri. You can use `./miri bless` to automatically (re)generate these files when
 106 you add new tests or change how Miri presents certain output.
 107
 108 Note that when you also use `MIRIFLAGS` to change optimizations and similar, the ui output
 109 will change in unexpected ways. In order to still be able
 110 to run the other checks while ignoring the ui output, use `MIRI_SKIP_UI_CHECKS=1 ./miri test`.
 111
 112 For more info on how to configure ui tests see [the documentation on the ui test crate][ui_test]
 113
 114 [ui_test]: ui_test/README.md
 115
 116 ### Testing `cargo miri`
 117
 118 Working with the driver directly gives you full control, but you also lose all
 119 the convenience provided by cargo. Once your test case depends on a crate, it
 120 is probably easier to test it with the cargo wrapper. You can install your
 121 development version of Miri using
 122
 123 ```
 124 ./miri install
 125 ```
 126
 127 and then you can use it as if it was installed by `rustup`.  Make sure you use
 128 the same toolchain when calling `cargo miri` that you used when installing Miri!
 129 Usually this means you have to write `cargo +miri miri ...` to select the `miri`
 130 toolchain that was installed by `./rustup-toolchain`.
 131
 132 There's a test for the cargo wrapper in the `test-cargo-miri` directory; run
 133 `./run-test.py` in there to execute it. Like `./miri test`, this respects the
 134 `MIRI_TEST_TARGET` environment variable to execute the test for another target.
 135
 136 ### Using a modified standard library
 137
 138 Miri re-builds the standard library into a custom sysroot, so it is fairly easy
 139 to test Miri against a modified standard library -- you do not even have to
 140 build Miri yourself, the Miri shipped by `rustup` will work. All you have to do
 141 is set the `MIRI_LIB_SRC` environment variable to the `library` folder of a
 142 `rust-lang/rust` repository checkout. Note that changing files in that directory
 143 does not automatically trigger a re-build of the standard library; you have to
 144 clear the Miri build cache manually (on Linux, `rm -rf ~/.cache/miri`;
 145 and on Windows, `rmdir /S "%LOCALAPPDATA%\rust-lang\miri\cache"`).
 146
 147 ### Benchmarking
 148
 149 Miri comes with a few benchmarks; you can run `./miri bench` to run them with the locally built
 150 Miri. Note: this will run `./miri install` as a side-effect. Also requires `hyperfine` to be
 151 installed (`cargo install hyperfine`).
 152
 153 ## Configuring `rust-analyzer`
 154
 155 To configure `rust-analyzer` and VS Code for working on Miri, save the following
 156 to `.vscode/settings.json` in your local Miri clone:
 157
 158 ```json
 159 {
 160     "rust-analyzer.rustc.source": "discover",
 161     "rust-analyzer.linkedProjects": [
 162         "./Cargo.toml",
 163         "./cargo-miri/Cargo.toml"
 164     ],
 165     "rust-analyzer.checkOnSave.overrideCommand": [
 166         "./miri",
 167         "check",
 168         "--message-format=json"
 169     ],
 170     "rust-analyzer.buildScripts.overrideCommand": [
 171         "./miri",
 172         "check",
 173         "--message-format=json",
 174     ],
 175     "rust-analyzer.rustfmt.extraArgs": [
 176         "+nightly"
 177     ],
 178 }
 179 ```
 180
 181 > #### Note
 182 >
 183 > If you are [building Miri with a locally built rustc][], set
 184 > `rust-analyzer.rustcSource` to the relative path from your Miri clone to the
 185 > root `Cargo.toml` of the locally built rustc. For example, the path might look
 186 > like `../rust/Cargo.toml`.
 187
 188 See the rustc-dev-guide's docs on ["Configuring `rust-analyzer` for `rustc`"][rdg-r-a]
 189 for more information about configuring VS Code and `rust-analyzer`.
 190
 191 [rdg-r-a]: https://rustc-dev-guide.rust-lang.org/building/suggested.html#configuring-rust-analyzer-for-rustc
 192
 193 ## Advanced topic: other build environments
 194
 195 We described above the simplest way to get a working build environment for Miri,
 196 which is to use the version of rustc indicated by `rustc-version`. But
 197 sometimes, that is not enough.
 198
 199 ### Updating `rustc-version`
 200
 201 The `rustc-version` file is regularly updated to keep Miri close to the latest
 202 version of rustc. Usually, new contributors do not have to worry about this. But
 203 sometimes a newer rustc is needed for a patch, and sometimes Miri needs fixing
 204 for changes in rustc. In both cases, `rustc-version` needs updating.
 205
 206 To update the `rustc-version` file and install the latest rustc, you can run:
 207 ```
 208 ./rustup-toolchain HEAD
 209 ```
 210
 211 Now edit Miri until `./miri test` passes, and submit a PR. Generally, it is
 212 preferred to separate updating `rustc-version` and doing what it takes to get
 213 Miri working again, from implementing new features that rely on the updated
 214 rustc. This avoids blocking all Miri development on landing a big PR.
 215
 216 ### Building Miri with a locally built rustc
 217
 218 [building Miri with a locally built rustc]: #building-miri-with-a-locally-built-rustc
 219
 220 A big part of the Miri driver lives in rustc, so working on Miri will sometimes
 221 require using a locally built rustc. The bug you want to fix may actually be on
 222 the rustc side, or you just need to get more detailed trace of the execution
 223 than what is possible with release builds -- in both cases, you should develop
 224 Miri against a rustc you compiled yourself, with debug assertions (and hence
 225 tracing) enabled.
 226
 227 The setup for a local rustc works as follows:
 228 ```sh
 229 # Clone the rust-lang/rust repo.
 230 git clone https://github.com/rust-lang/rust rustc
 231 cd rustc
 232 # Create a config.toml with defaults for working on Miri.
 233 ./x.py setup compiler
 234  # Now edit `config.toml` and under `[rust]` set `debug-assertions = true`.
 235
 236 # Build a stage 2 rustc, and build the rustc libraries with that rustc.
 237 # This step can take 30 minutes or more.
 238 ./x.py build --stage 2 compiler/rustc
 239 # If you change something, you can get a faster rebuild by doing
 240 ./x.py build --keep-stage 0 --stage 2 compiler/rustc
 241 # You may have to change the architecture in the next command
 242 rustup toolchain link stage2 build/x86_64-unknown-linux-gnu/stage2
 243 # Now cd to your Miri directory, then configure rustup
 244 rustup override set stage2
 245 ```
 246
 247 Important: You need to delete the Miri cache when you change the stdlib; otherwise the
 248 old, chached version will be used. On Linux, the cache is located at `~/.cache/miri`,
 249 and on Windows, it is located at `%LOCALAPPDATA%\rust-lang\miri\cache`; the exact
 250 location is printed after the library build: "A libstd for Miri is now available in ...".
 251
 252 Note: `./x.py --stage 2 compiler/rustc` currently errors with `thread 'main'
 253 panicked at 'fs::read(stamp) failed with No such file or directory (os error 2)`,
 254 you can simply ignore that error; Miri will build anyway.
 255
 256 For more information about building and configuring a local compiler,
 257 see <https://rustc-dev-guide.rust-lang.org/building/how-to-build-and-run.html>.
 258
 259 With this, you should now have a working development setup! See
 260 [above](#building-and-testing-miri) for how to proceed working on Miri.