CONTRIBUTING.md

   1 # Contribution Guide
   2
   3 If you want to hack on Miri yourself, great!  Here are some resources you might
   4 find useful.
   5
   6 ## Getting started
   7
   8 Check out the issues on this GitHub repository for some ideas. In particular,
   9 look for the green `E-*` labels which mark issues that should be rather
  10 well-suited for onboarding. For more ideas or help with hacking on Miri, you can
  11 contact us (`oli-obk` and `RalfJ`) on the [Rust Zulip].
  12
  13 [Rust Zulip]: https://rust-lang.zulipchat.com
  14
  15 ## Preparing the build environment
  16
  17 Miri heavily relies on internal and unstable rustc interfaces to execute MIR,
  18 which means it is important that you install a version of rustc that Miri
  19 actually works with.
  20
  21 The `rust-version` file contains the commit hash of rustc that Miri is currently
  22 tested against. Other versions will likely not work. After installing
  23 [`rustup-toolchain-install-master`], you can run the following command to
  24 install that exact version of rustc as a toolchain:
  25 ```
  26 ./rustup-toolchain
  27 ```
  28 This will set up a rustup toolchain called `miri` and set it as an override for
  29 the current directory.
  30
  31 [`rustup-toolchain-install-master`]: https://github.com/kennytm/rustup-toolchain-install-master
  32
  33 ## Building and testing Miri
  34
  35 Invoking Miri requires getting a bunch of flags right and setting up a custom
  36 sysroot with xargo. The `miri` script takes care of that for you. With the
  37 build environment prepared, compiling Miri is just one command away:
  38
  39 ```
  40 ./miri build
  41 ```
  42
  43 Run `./miri` without arguments to see the other commands our build tool
  44 supports.
  45
  46 ### Testing the Miri driver
  47
  48 The Miri driver compiled from `src/bin/miri.rs` is the "heart" of Miri: it is
  49 basically a version of `rustc` that, instead of compiling your code, runs it.
  50 It accepts all the same flags as `rustc` (though the ones only affecting code
  51 generation and linking obviously will have no effect) [and more][miri-flags].
  52
  53 [miri-flags]: README.md#miri--z-flags-and-environment-variables
  54
  55 For example, you can (cross-)run the driver on a particular file by doing
  56
  57 ```sh
  58 ./miri run tests/run-pass/format.rs
  59 ./miri run tests/run-pass/hello.rs --target i686-unknown-linux-gnu
  60 ```
  61
  62 and you can (cross-)run the entire test suite using:
  63
  64 ```
  65 ./miri test
  66 MIRI_TEST_TARGET=i686-unknown-linux-gnu ./miri test
  67 ```
  68
  69 `./miri test FILTER` only runs those tests that contain `FILTER` in their
  70 filename (including the base directory, e.g. `./miri test fail` will run all
  71 compile-fail tests).
  72
  73 You can get a trace of which MIR statements are being executed by setting the
  74 `MIRI_LOG` environment variable.  For example:
  75
  76 ```sh
  77 MIRI_LOG=info ./miri run tests/run-pass/vec.rs
  78 ```
  79
  80 Setting `MIRI_LOG` like this will configure logging for Miri itself as well as
  81 the `rustc_middle::mir::interpret` and `rustc_mir::interpret` modules in rustc. You
  82 can also do more targeted configuration, e.g. the following helps debug the
  83 stacked borrows implementation:
  84
  85 ```sh
  86 MIRI_LOG=rustc_mir::interpret=info,miri::stacked_borrows ./miri run tests/run-pass/vec.rs
  87 ```
  88
  89 In addition, you can set `MIRI_BACKTRACE=1` to get a backtrace of where an
  90 evaluation error was originally raised.
  91
  92 #### UI testing
  93
  94 We use ui-testing in Miri, meaning we generate `.stderr` and `.stdout` files for the output
  95 produced by Miri. You can use `./miri bless` to automatically (re)generate these files when
  96 you add new tests or change how Miri presents certain output.
  97
  98 Note that when you also use `MIRIFLAGS` to change optimizations and similar, the ui output
  99 will change in unexpected ways. In order to still be able
 100 to run the other checks while ignoring the ui output, use `MIRI_SKIP_UI_CHECKS=1 ./miri test`.
 101
 102 For more info on how to configure ui tests see [the documentation on the ui test crate][ui_test]
 103
 104 [ui_test]: ui_test/README.md
 105
 106 ### Testing `cargo miri`
 107
 108 Working with the driver directly gives you full control, but you also lose all
 109 the convenience provided by cargo. Once your test case depends on a crate, it
 110 is probably easier to test it with the cargo wrapper. You can install your
 111 development version of Miri using
 112
 113 ```
 114 ./miri install
 115 ```
 116
 117 and then you can use it as if it was installed by `rustup`.  Make sure you use
 118 the same toolchain when calling `cargo miri` that you used when installing Miri!
 119
 120 There's a test for the cargo wrapper in the `test-cargo-miri` directory; run
 121 `./run-test.py` in there to execute it. Like `./miri test`, this respects the
 122 `MIRI_TEST_TARGET` environment variable to execute the test for another target.
 123
 124 ### Using a modified standard library
 125
 126 Miri re-builds the standard library into a custom sysroot, so it is fairly easy
 127 to test Miri against a modified standard library -- you do not even have to
 128 build Miri yourself, the Miri shipped by `rustup` will work. All you have to do
 129 is set the `MIRI_LIB_SRC` environment variable to the `library` folder of a
 130 `rust-lang/rust` repository checkout. Note that changing files in that directory
 131 does not automatically trigger a re-build of the standard library; you have to
 132 clear the Miri build cache manually (on Linux, `rm -rf ~/.cache/miri`).
 133
 134 ## Configuring `rust-analyzer`
 135
 136 To configure `rust-analyzer` and VS Code for working on Miri, save the following
 137 to `.vscode/settings.json` in your local Miri clone:
 138
 139 ```json
 140 {
 141     "rust-analyzer.checkOnSave.overrideCommand": [
 142         "./miri",
 143         "check",
 144         "--message-format=json"
 145     ],
 146     "rust-analyzer.rustfmt.extraArgs": [
 147         "+nightly"
 148     ],
 149     "rust-analyzer.rustcSource": "discover",
 150     "rust-analyzer.linkedProjects": [
 151         "./Cargo.toml",
 152         "./cargo-miri/Cargo.toml"
 153     ]
 154 }
 155 ```
 156
 157 > #### Note
 158 >
 159 > If you are [building Miri with a locally built rustc][], set
 160 > `rust-analyzer.rustcSource` to the relative path from your Miri clone to the
 161 > root `Cargo.toml` of the locally built rustc. For example, the path might look
 162 > like `../rust/Cargo.toml`.
 163
 164 See the rustc-dev-guide's docs on ["Configuring `rust-analyzer` for `rustc`"][rdg-r-a]
 165 for more information about configuring VS Code and `rust-analyzer`.
 166
 167 [rdg-r-a]: https://rustc-dev-guide.rust-lang.org/building/suggested.html#configuring-rust-analyzer-for-rustc
 168
 169 ## Advanced topic: other build environments
 170
 171 We described above the simplest way to get a working build environment for Miri,
 172 which is to use the version of rustc indicated by `rustc-version`. But
 173 sometimes, that is not enough.
 174
 175 ### Updating `rustc-version`
 176
 177 The `rustc-version` file is regularly updated to keep Miri close to the latest
 178 version of rustc. Usually, new contributors do not have to worry about this. But
 179 sometimes a newer rustc is needed for a patch, and sometimes Miri needs fixing
 180 for changes in rustc. In both cases, `rustc-version` needs updating.
 181
 182 To update the `rustc-version` file and install the latest rustc, you can run:
 183 ```
 184 ./rustup-toolchain HEAD
 185 ```
 186
 187 Now edit Miri until `./miri test` passes, and submit a PR. Generally, it is
 188 preferred to separate updating `rustc-version` and doing what it takes to get
 189 Miri working again, from implementing new features that rely on the updated
 190 rustc. This avoids blocking all Miri development on landing a big PR.
 191
 192 ### Building Miri with a locally built rustc
 193
 194 [building Miri with a locally built rustc]: #building-miri-with-a-locally-built-rustc
 195
 196 A big part of the Miri driver lives in rustc, so working on Miri will sometimes
 197 require using a locally built rustc. The bug you want to fix may actually be on
 198 the rustc side, or you just need to get more detailed trace of the execution
 199 than what is possible with release builds -- in both cases, you should develop
 200 Miri against a rustc you compiled yourself, with debug assertions (and hence
 201 tracing) enabled.
 202
 203 The setup for a local rustc works as follows:
 204 ```sh
 205 # Clone the rust-lang/rust repo.
 206 git clone https://github.com/rust-lang/rust rustc
 207 cd rustc
 208 # Create a config.toml with defaults for working on Miri.
 209 ./x.py setup compiler
 210  # Now edit `config.toml` and under `[rust]` set `debug-assertions = true`.
 211
 212 # Build a stage 2 rustc, and build the rustc libraries with that rustc.
 213 # This step can take 30 minutes or more.
 214 ./x.py build --stage 2 compiler/rustc
 215 # If you change something, you can get a faster rebuild by doing
 216 ./x.py build --keep-stage 0 --stage 2 compiler/rustc
 217 # You may have to change the architecture in the next command
 218 rustup toolchain link stage2 build/x86_64-unknown-linux-gnu/stage2
 219 # Now cd to your Miri directory, then configure rustup
 220 rustup override set stage2
 221 ```
 222
 223 Important: You need to delete the Miri cache when you change the stdlib; otherwise the
 224 old, chached version will be used. On Linux, the cache is located at `~/.cache/miri`; the exact
 225 location is printed after the library build: "A libstd for Miri is now available in ...".
 226
 227 Note: `./x.py --stage 2 compiler/rustc` currently errors with `thread 'main'
 228 panicked at 'fs::read(stamp) failed with No such file or directory (os error 2)`,
 229 you can simply ignore that error; Miri will build anyway.
 230
 231 For more information about building and configuring a local compiler,
 232 see <https://rustc-dev-guide.rust-lang.org/building/how-to-build-and-run.html>.
 233
 234 With this, you should now have a working development setup! See
 235 [above](#building-and-testing-miri) for how to proceed working on Miri.