Auto merge of #1551 - RalfJung:readme, r=RalfJung

list two more aliasing problems we found in BTreeMap and VecDeque

list two more aliasing problems we found in BTreeMap and VecDeque

Auto merge of #1549 - RalfJung:panic-abort, r=oli-obk

support panic=abort

This adds support for abort-on-panic (https://github.com/rust-lang/miri/issues/1058). To achieve this, we insert `cargo-miri` as `RUSTC` when building the standard library, and patch the rustc flags in a way similar to what bootstrap does.

However, this is currently not supported on Windows as the Windows code uses inline assembly to cause an abort (?!?). I'll submit a rustc PR with some `cffg(miri)` to make that work. (EDIT: that would be https://github.com/rust-lang/rust/pull/76871)

Cc `@Aaron1011` r? `@oli-obk`

fmt

Co-authored-by: Oli Scherer <github35764891676564198441@oli-obk.de>

support panic=abort

Auto merge of #1548 - RalfJung:update, r=RalfJung

Update dependencies

update for major version bumps

'cargo update' test-cargo-miri

cargo update main crates

Auto merge of #1540 - RalfJung:cargo-miri-redone, r=oli-obk

Redo cargo-miri logic

This rewrite the cargo-miri logic for running the requested crate(s) following what we outlined in https://github.com/rust-lang/miri/issues/739: `cargo miri run/test $FLAGS` (almost) literally invokes `cargo run/test $FLAGS` but with some environment variables set so that we can control what happens:
* `RUSTC_WRAPPER` is set so that we get invoked instead of `rustc`. We use that power to mess with the flags being used for the build (things to be interpreted by Miri use a different sysroot), and when we are detecting a binary crate meant to be run by Miri, we grab the info we care about and put it into a JSON file for later use.
* `CARGO_TARGET_$TARGET_RUNNER` is set so what we get invoked when cargo wants to run a binary. At that point we take that JSON info from before and use it to invoke Miri.

Overall this works great! We get all sorts of cargo magic for free, and do not even need `cargo-metadata` any more. There's one annoying point though, which I have not managed to entirely work around yet: this means we are doing a full build, not just a check-build. Given that our sysroot is MIR-only, I was surprised that this even worked, but still -- this means we are doing more work than we should. So I also added some patching of arguments to make sure `--emit` does not contain `link`, and then more patching was required of the `--extern` flags for the binary because those referenced the `.rlib` files but now only `.rmeta` exists, and that is still not fully working because cargo seems to expect those `.rmeta` files and now triggers a rebuild each time as those files are still missing. My current plan is to make our wrapper create some empty dummy files with the right names, but the amount of hacks we are stacking on top of each other here is getting worrysome.^^ `@ehuss` your input would be welcome on this issue.

Due to re-using cargo more literally, this also changes flag parsing to match `cargo`. So `-Zmiri` flags now have to be passed via an environment variable (Cc https://github.com/rust-lang/miri/issues/1416).

This PR is not ready yet, but the parts that are there I think can be reviewed already. TODO:
* [x] [Fix Windows](https://github.com/rust-lang/miri/pull/1540#issuecomment-688733741).
* [x] Figure out how we can do check-only builds without the rebuild problem above. ~~I am also worried about cases where `build.rs` script might detect check-only builds and then do less work; I think some crates in rustc are doing that and if this is a thing in the wider ecosystem we need to find a way to support this as well.~~ (postponed that until we have a concrete example)
* [x] Currently cargo runs doctests as well, and they are not run in Miri. We should at least figure out a way to not run them at all (resolving https://github.com/rust-lang/miri/issues/584 is left for a future PR).
* [x] For some time, detect the old way of passing `-Zmiri` flags and warn that this will need updating. For some simple situations we can probably make it still support the old way, but I plan to remove those hacks after a bit. This is just to give people and me time to go around and send PRs to all projects that use Miri on CI, and update their use of the flags.
* [x] Add a test for stdin handling (https://github.com/rust-lang/miri/issues/1505). This should work now but we should be sure.
* [x] Add a test for cargo env vars (https://github.com/rust-lang/miri/issues/1515).
* [x] Check if https://github.com/rust-lang/miri/issues/1516 is resolved.
* [x] Check if https://github.com/rust-lang/miri/issues/1001 and https://github.com/rust-lang/miri/issues/1514 are resolved.
* [x] Check if https://github.com/rust-lang/miri/issues/1312 is resolved (not sure if it is wort adding a test).
* [x] Check if https://github.com/rust-lang/miri/issues/1512 is resolved (not sure if it is wort adding a test).

Fixes https://github.com/rust-lang/miri/issues/700.
Fixes https://github.com/rust-lang/miri/issues/739.
Fixes https://github.com/rust-lang/miri/issues/1001.
Fixes https://github.com/rust-lang/miri/issues/1312 (without a test, as we run without cargo's stdin/stdout wrapping now, as the test for stdin confirms).
Fixes https://github.com/rust-lang/miri/issues/1416.
Fixes https://github.com/rust-lang/miri/issues/1505.
Fixes https://github.com/rust-lang/miri/issues/1512 (without a test, as cargo now does all that handling anyway, which various other tests confirm).
Fixes https://github.com/rust-lang/miri/issues/1514.
Fixes https://github.com/rust-lang/miri/issues/1516.

Cc `@alecmocatta` who reported many of the bugs above; would be great if you could help with the tests e.g. by providing some small examples I could try.
r? `@oli-obk`

Auto merge of #1547 - RalfJung:rustup, r=RalfJung

rustup; no need to special-case the guaranteed_eq/ne intrinsics any more

rustup; no need to special-case the guaranteed_eq/ne intrinsics any more

add comment mentioning alternative approach

test-cargo-miri: normalize slashes before comparing paths

make sure tests pass even with RUST_TEST_NOCAPTURE set

make (not yet actually used) doctest actually use the crate, and fix a comment

more consistent error capitalization

cleaner output for cargo-miri-test harness

make sure subcrate tests have the right cwd

test 'cargo miri run' CWD, also for subcrate in a workspace

test propagating env vars from build.rs to binary

test 'harness=false' tests

detect when the user passes Miri's flags the old way, and support this for now

fix cargo-miri-test for cross-runs

show proper warning about not running doctests

update comment

Co-authored-by: Oli Scherer <github35764891676564198441@oli-obk.de>

test reading from stdin

patch away --error-format and --json so that errors are rendered properly

forward build-time env vars to binary, and test that we do

fix Miri script on macOS

handle binary suffices (for Windows); stop deleting fake binary

make our filename handling work better across platforms

even when not linking, create stub .rlib files to fool cargo

fix typo

Co-authored-by: Oli Scherer <github35764891676564198441@oli-obk.de>

update docs, and also use MIRIFLAGS for the test suite

test respecting 'test=false', and what happens with doctests

patch --extern and --emit; test suite passes now!

it actually runs tests now!

stub JSON information flow from cargo-build-time to run-time

towards letting cargo do binary selection: wrappers and runners set up

canonicalize miri's directory

Auto merge of #1546 - Aaron1011:fix/windows-panic, r=RalfJung

Enable some panic tests on Windows

Enable some panic tests on Windows

Auto merge of #1545 - RalfJung:azure-ci, r=RalfJung

also detect Azure CI environments

Cc `@sunjay`

also detect Azure CI environments

Auto merge of #1543 - RalfJung:btree, r=RalfJung

test BTreeMap::drain_filter for leaks

test BTreeMap::drain_filter for leaks

Auto merge of #1541 - RalfJung:rustup, r=RalfJung

Rustup, expand collection tests

expand collection tests

rustup

Auto merge of #1511 - samrat:more-fd-trait-ops, r=RalfJung

Implement dup and close for stdin/stdout/stderr

Implements some of the operations for stdin/out/err, towards #1499

Implement dup and close for stdin/stdout/stderr

Support F_DUPFD on stdin/stdout/stderr

Enable `close`-ing stdin/stdout/stderr

For `dup`, check if FD is `File` first

If not, clone the appropriate standard IO stream

Merge POSIX `close` and `dup` tests into same module

Also, add assertion that `write` on a closed FD returns an error.

Add `dup` as FileDescriptor trait fn

Also:
- Fix `close` so it drops `self` instead of reference to it
- Remove FD clamping in insert_fd_with_min_fd, since FDs 0-2 can be
closed

Fix fs_libc tests

Make error message when closing stdin/out/err more specific

Return io::Result from `FileDescriptor::dup`

Change error message when closing stdin/out/err

Refactor `FileDescriptor::dup` impl for `FileHandle`

Remove empty line

Auto merge of #1536 - divergentdave:nanosleep, r=RalfJung

Nanosleep

This PR adds a shim for `libc::nanosleep`, (available under -Zmiri-disable-isolation only) which backs `thread::sleep` on Linux and macOS. I started off by extracting the `timespec` parsing from the `pthread_cond_timedwait` shim into a helper method, and adding checks for invalid values. The second commit adds the new shim and a small test. The shim blocks the current thread, and registers a timeout callback to unblock the thread again, using the same method as `pthread_cond_timedwait` does.

Use try block instead of closure

Update comment

Simplify read_timespec error handling

Review comments

Auto merge of #1539 - RalfJung:issue, r=RalfJung

float test case: fix referenced issue

fix referenced issue

Auto merge of #1538 - RalfJung:rustup, r=RalfJung

rustup: work around rustc optimizations becoming too smart

use standard black_box function

another optimization work-around

better optimization suppression

Co-authored-by: bjorn3 <bjorn3@users.noreply.github.com>

test opt-level 2

work around rustc optimizations becoming too smart

Implement libc::nanosleep shim

Refactor timespec parsing, improve error handling

Auto merge of #1534 - LeSeulArtichaut:tys-kind, r=RalfJung

Change `ty.kind` -> `ty.kind()`

This fixes build failure due to rust-lang/rust#75077, cc rust-lang/rust#76337.
(This is my first PR here, please tell me if anything's wrong)

Change `ty.kind` -> `ty.kind()`

Auto merge of #1532 - divergentdave:thread-panic-payload, r=RalfJung

Move panic payload state from Machine to Thread

This PR moves the panic payload storage from the `Machine` state to per-thread state. Prior to this change, if one thread panicked while another was still unwinding, Miri would fail with `thread 'rustc' panicked at 'the panic runtime should avoid double-panics', src/shims/panic.rs:51:9`. I ran into this issue while prototyping a round-robin scheduler, but it's also reachable with the current scheduler and contrived programs that use blocking API calls to cause thread switching during unwinding. I wrote a test case along those lines for this change.

Add comment

Per-thread errno storage

Auto merge of #1533 - RalfJung:rustup, r=RalfJung

rustup, fix test

Cc https://github.com/rust-lang/rust/issues/76190

rustup, fix test

Review comments

Move panic payload state from Machine to Thread

Auto merge of #1531 - divergentdave:cargo-miri-targets-test, r=RalfJung

Test cargo miri target selection

This is a followup to #1525, adding a few test invocations with targets specified in the cargo arguments.

Test cargo miri target selection

Auto merge of #1525 - divergentdave:cargo-miri-targets, r=RalfJung

Support --test/--bin/--lib in cargo-miri

This PR addresses a FIXME in cargo-miri, and filters the targets to be checked when any of the `--bin`, '--test`, or `--lib` flags are passed.

Review comments

Auto merge of #1530 - RalfJung:rustup, r=RalfJung

rustup

Another day, another `AllocRef` API change.

rustup

Auto merge of #1528 - RalfJung:readme, r=RalfJung

add encoding_rs OOB arithmetic to trophy case

add encoding_rs OOB arithmetic

Review comments

Support --test/--bin/--lib in cargo-miri

Auto merge of #1524 - RalfJung:rustup, r=RalfJung

rustup; account for ptr_offset_from stabilization

@bors r+

rustup; account for ptr_offset_from stabilization

Auto merge of #1523 - RalfJung:test-matrix, r=RalfJung

tweak test matrix

* test big-endian architecture
* test less on macOS host (it is slow)

fix a test for big-endian targets

tweak test matrix: test big-endian, and test less on macOS host (it is slow)

Auto merge of #1522 - RalfJung:readme, r=RalfJung

emphasize that some flags are unsound to use

emphasize that some flags are unsound to use

Auto merge of #1521 - workingjubilee:bump-cargo-metadata, r=RalfJung

Bump cargo_metadata to 0.11

Bump cargo_metadata to 0.11

Auto merge of #1518 - workingjubilee:remove-byteorder, r=RalfJung

Remove byteorder dependency

miri hasn't actually depended on byteorder directly for a while.
Let's remove this dependency so Rust also depends less on it.

Update lockfile

Auto merge of #1520 - RalfJung:rustup, r=RalfJung

avoid promotion in alignment test to get different alignment on each try

avoid promotion in alignment test to get different alignment on each try

Remove byteorder dependency

miri hasn't actually depended on byteorder directly for a while.
Let's remove this dependency so Rust also depends less on it.