CONTRIBUTING.md

   1 # Contribution Guide
   2
   3 If you want to hack on Miri yourself, great!  Here are some resources you might
   4 find useful.
   5
   6 ## Getting started
   7
   8 Check out the issues on this GitHub repository for some ideas. In particular,
   9 look for the green `E-*` labels which mark issues that should be rather
  10 well-suited for onboarding. For more ideas or help with hacking on Miri, you can
  11 contact us (`oli-obk` and `RalfJ`) on the [Rust Zulip].
  12
  13 [Rust Zulip]: https://rust-lang.zulipchat.com
  14
  15 ## Preparing the build environment
  16
  17 Miri heavily relies on internal and unstable rustc interfaces to execute MIR,
  18 which means it is important that you install a version of rustc that Miri
  19 actually works with.
  20
  21 The `rust-version` file contains the commit hash of rustc that Miri is currently
  22 tested against. Other versions will likely not work. After installing
  23 [`rustup-toolchain-install-master`], you can run the following command to
  24 install that exact version of rustc as a toolchain:
  25 ```
  26 ./rustup-toolchain
  27 ```
  28 This will set up a rustup toolchain called `miri` and set it as an override for
  29 the current directory.
  30
  31 If you want to also have `clippy` installed, you need to run this:
  32 ```
  33 ./rustup-toolchain "" -c clippy
  34 ```
  35
  36 [`rustup-toolchain-install-master`]: https://github.com/kennytm/rustup-toolchain-install-master
  37
  38 ## Building and testing Miri
  39
  40 Invoking Miri requires getting a bunch of flags right and setting up a custom
  41 sysroot with xargo. The `miri` script takes care of that for you. With the
  42 build environment prepared, compiling Miri is just one command away:
  43
  44 ```
  45 ./miri build
  46 ```
  47
  48 Run `./miri` without arguments to see the other commands our build tool
  49 supports.
  50
  51 ### Testing the Miri driver
  52
  53 The Miri driver compiled from `src/bin/miri.rs` is the "heart" of Miri: it is
  54 basically a version of `rustc` that, instead of compiling your code, runs it.
  55 It accepts all the same flags as `rustc` (though the ones only affecting code
  56 generation and linking obviously will have no effect) [and more][miri-flags].
  57
  58 [miri-flags]: README.md#miri--z-flags-and-environment-variables
  59
  60 For example, you can (cross-)run the driver on a particular file by doing
  61
  62 ```sh
  63 ./miri run tests/run-pass/format.rs
  64 ./miri run tests/run-pass/hello.rs --target i686-unknown-linux-gnu
  65 ```
  66
  67 and you can (cross-)run the entire test suite using:
  68
  69 ```
  70 ./miri test
  71 MIRI_TEST_TARGET=i686-unknown-linux-gnu ./miri test
  72 ```
  73
  74 `./miri test FILTER` only runs those tests that contain `FILTER` in their
  75 filename (including the base directory, e.g. `./miri test fail` will run all
  76 compile-fail tests).
  77
  78 You can get a trace of which MIR statements are being executed by setting the
  79 `MIRI_LOG` environment variable.  For example:
  80
  81 ```sh
  82 MIRI_LOG=info ./miri run tests/run-pass/vec.rs
  83 ```
  84
  85 Setting `MIRI_LOG` like this will configure logging for Miri itself as well as
  86 the `rustc_middle::mir::interpret` and `rustc_mir::interpret` modules in rustc. You
  87 can also do more targeted configuration, e.g. the following helps debug the
  88 stacked borrows implementation:
  89
  90 ```sh
  91 MIRI_LOG=rustc_mir::interpret=info,miri::stacked_borrows ./miri run tests/run-pass/vec.rs
  92 ```
  93
  94 In addition, you can set `MIRI_BACKTRACE=1` to get a backtrace of where an
  95 evaluation error was originally raised.
  96
  97 #### UI testing
  98
  99 We use ui-testing in Miri, meaning we generate `.stderr` and `.stdout` files for the output
 100 produced by Miri. You can use `./miri bless` to automatically (re)generate these files when
 101 you add new tests or change how Miri presents certain output.
 102
 103 Note that when you also use `MIRIFLAGS` to change optimizations and similar, the ui output
 104 will change in unexpected ways. In order to still be able
 105 to run the other checks while ignoring the ui output, use `MIRI_SKIP_UI_CHECKS=1 ./miri test`.
 106
 107 For more info on how to configure ui tests see [the documentation on the ui test crate][ui_test]
 108
 109 [ui_test]: ui_test/README.md
 110
 111 ### Testing `cargo miri`
 112
 113 Working with the driver directly gives you full control, but you also lose all
 114 the convenience provided by cargo. Once your test case depends on a crate, it
 115 is probably easier to test it with the cargo wrapper. You can install your
 116 development version of Miri using
 117
 118 ```
 119 ./miri install
 120 ```
 121
 122 and then you can use it as if it was installed by `rustup`.  Make sure you use
 123 the same toolchain when calling `cargo miri` that you used when installing Miri!
 124
 125 There's a test for the cargo wrapper in the `test-cargo-miri` directory; run
 126 `./run-test.py` in there to execute it. Like `./miri test`, this respects the
 127 `MIRI_TEST_TARGET` environment variable to execute the test for another target.
 128
 129 ### Using a modified standard library
 130
 131 Miri re-builds the standard library into a custom sysroot, so it is fairly easy
 132 to test Miri against a modified standard library -- you do not even have to
 133 build Miri yourself, the Miri shipped by `rustup` will work. All you have to do
 134 is set the `MIRI_LIB_SRC` environment variable to the `library` folder of a
 135 `rust-lang/rust` repository checkout. Note that changing files in that directory
 136 does not automatically trigger a re-build of the standard library; you have to
 137 clear the Miri build cache manually (on Linux, `rm -rf ~/.cache/miri`;
 138 and on Windows, `rmdir /S "%LOCALAPPDATA%\rust-lang\miri\cache"`).
 139
 140 ## Configuring `rust-analyzer`
 141
 142 To configure `rust-analyzer` and VS Code for working on Miri, save the following
 143 to `.vscode/settings.json` in your local Miri clone:
 144
 145 ```json
 146 {
 147     "rust-analyzer.checkOnSave.overrideCommand": [
 148         "./miri",
 149         "check",
 150         "--message-format=json"
 151     ],
 152     "rust-analyzer.rustfmt.extraArgs": [
 153         "+nightly"
 154     ],
 155     "rust-analyzer.rustcSource": "discover",
 156     "rust-analyzer.linkedProjects": [
 157         "./Cargo.toml",
 158         "./cargo-miri/Cargo.toml"
 159     ]
 160 }
 161 ```
 162
 163 > #### Note
 164 >
 165 > If you are [building Miri with a locally built rustc][], set
 166 > `rust-analyzer.rustcSource` to the relative path from your Miri clone to the
 167 > root `Cargo.toml` of the locally built rustc. For example, the path might look
 168 > like `../rust/Cargo.toml`.
 169
 170 See the rustc-dev-guide's docs on ["Configuring `rust-analyzer` for `rustc`"][rdg-r-a]
 171 for more information about configuring VS Code and `rust-analyzer`.
 172
 173 [rdg-r-a]: https://rustc-dev-guide.rust-lang.org/building/suggested.html#configuring-rust-analyzer-for-rustc
 174
 175 ## Advanced topic: other build environments
 176
 177 We described above the simplest way to get a working build environment for Miri,
 178 which is to use the version of rustc indicated by `rustc-version`. But
 179 sometimes, that is not enough.
 180
 181 ### Updating `rustc-version`
 182
 183 The `rustc-version` file is regularly updated to keep Miri close to the latest
 184 version of rustc. Usually, new contributors do not have to worry about this. But
 185 sometimes a newer rustc is needed for a patch, and sometimes Miri needs fixing
 186 for changes in rustc. In both cases, `rustc-version` needs updating.
 187
 188 To update the `rustc-version` file and install the latest rustc, you can run:
 189 ```
 190 ./rustup-toolchain HEAD
 191 ```
 192
 193 Now edit Miri until `./miri test` passes, and submit a PR. Generally, it is
 194 preferred to separate updating `rustc-version` and doing what it takes to get
 195 Miri working again, from implementing new features that rely on the updated
 196 rustc. This avoids blocking all Miri development on landing a big PR.
 197
 198 ### Building Miri with a locally built rustc
 199
 200 [building Miri with a locally built rustc]: #building-miri-with-a-locally-built-rustc
 201
 202 A big part of the Miri driver lives in rustc, so working on Miri will sometimes
 203 require using a locally built rustc. The bug you want to fix may actually be on
 204 the rustc side, or you just need to get more detailed trace of the execution
 205 than what is possible with release builds -- in both cases, you should develop
 206 Miri against a rustc you compiled yourself, with debug assertions (and hence
 207 tracing) enabled.
 208
 209 The setup for a local rustc works as follows:
 210 ```sh
 211 # Clone the rust-lang/rust repo.
 212 git clone https://github.com/rust-lang/rust rustc
 213 cd rustc
 214 # Create a config.toml with defaults for working on Miri.
 215 ./x.py setup compiler
 216  # Now edit `config.toml` and under `[rust]` set `debug-assertions = true`.
 217
 218 # Build a stage 2 rustc, and build the rustc libraries with that rustc.
 219 # This step can take 30 minutes or more.
 220 ./x.py build --stage 2 compiler/rustc
 221 # If you change something, you can get a faster rebuild by doing
 222 ./x.py build --keep-stage 0 --stage 2 compiler/rustc
 223 # You may have to change the architecture in the next command
 224 rustup toolchain link stage2 build/x86_64-unknown-linux-gnu/stage2
 225 # Now cd to your Miri directory, then configure rustup
 226 rustup override set stage2
 227 ```
 228
 229 Important: You need to delete the Miri cache when you change the stdlib; otherwise the
 230 old, chached version will be used. On Linux, the cache is located at `~/.cache/miri`,
 231 and on Windows, it is located at `%LOCALAPPDATA%\rust-lang\miri\cache`; the exact
 232 location is printed after the library build: "A libstd for Miri is now available in ...".
 233
 234 Note: `./x.py --stage 2 compiler/rustc` currently errors with `thread 'main'
 235 panicked at 'fs::read(stamp) failed with No such file or directory (os error 2)`,
 236 you can simply ignore that error; Miri will build anyway.
 237
 238 For more information about building and configuring a local compiler,
 239 see <https://rustc-dev-guide.rust-lang.org/building/how-to-build-and-run.html>.
 240
 241 With this, you should now have a working development setup! See
 242 [above](#building-and-testing-miri) for how to proceed working on Miri.