Auto merge of #33232 - jseyfried:resolve_ast_groundwork, r=nrc

resolve: cleanup and groundwork for resolving the AST

Cleanup `resolve` and refactor away uses of the hir map (incorrectly named `ast_map`).
r? @nrc

Auto merge of #33272 - Manishearth:rollup, r=Manishearth

Rollup of 4 pull requests

- Successful merges: #33239, #33248, #33253, #33258
- Failed merges:

Rollup merge of #33258 - birkenfeld:fmt-dollar-syntax, r=brson

Clarify std::fmt width docs w.r.t. dollar syntax and give example.

The previous version only said "the `2$` syntax", which while introduced in the grammar is not very self-explanatory.

Rollup merge of #33253 - ergenekonyigit:master, r=alexcrichton

rustdoc: fixed some RFCs

r? @alexcrichton

Rollup merge of #33248 - jseyfried:fix_save_analysis_bug, r=nrc

rustc_save_analysis: fix a bug in which glob imports are not dumped

This fixes #33213, a bug that prevents glob imports from being included in the save-analysis data.
r? @nrc

Auto merge of #33093 - alexcrichton:rustbuild-rmake, r=nikomatsakis

test: Move run-make tests into compiletest

Forcing them to be embedded in makefiles precludes being able to run them in
rustbuild, and adding them to compiletest gives us a great way to leverage
future enhancements to our "all encompassing test suite runner" as well as just
moving more things into Rust.

All tests are still Makefile-based in the sense that they rely on `make` being
available to run them, but there's no longer any Makefile-trickery to run them
and rustbuild can now run them out of the box as well.

test: Move run-make tests into compiletest

Forcing them to be embedded in makefiles precludes being able to run them in
rustbuild, and adding them to compiletest gives us a great way to leverage
future enhancements to our "all encompassing test suite runner" as well as just
moving more things into Rust.

All tests are still Makefile-based in the sense that they rely on `make` being
available to run them, but there's no longer any Makefile-trickery to run them
and rustbuild can now run them out of the box as well.

Fix #33213, a bug in which glob imports are not included in save-analysis data

Auto merge of #33171 - michaelwoerister:collector-drop-glue, r=nikomatsakis

Some preliminary work towards making trans "collector driven".

The `trans::collector` already collects all translation items and `trans::partitioning` distributes these translation items into codegen units. The changes in this PR provide the following extensions to this functionality:

1. Drop-glue is handled more accurately now, knowing about the difference between `DropGlueKind::Ty` and `DropGlueKind::TyContents`.
2. The partitioning module now supports the `FixedUnitCount` strategy which more or less corresponds to the partitioning one gets via supplying `-Ccodegen-units` today.
3. The partitioning scheme also takes care of assigned LLVM declarations to codegen units, not just definitions (declarations for external items not yet implemented).

It's debatable whether declarations should be handled by the partitioning scheme or whether they should just be emitted on demand.

Make the codegen unit partitioner also emit item declarations.

Auto merge of #33217 - aochagavia:fileloader, r=nrc

rustc_driver: Allow running the compiler with a FileLoader

cc @nrc. I chose to implement this in such a way that it doesn't break anything. Please let me know if you want me to change anything.

Add FixedUnitCount codegen unit partitioning strategy.

Let the translation item collector make a distinction between drop-glue kinds

Auto merge of #33211 - alexcrichton:android-back-in-time, r=nagisa

std: Add compatibility with android-9

The Gecko folks currently use Android API level 9 for their builds, so they're
requesting that we move back our minimum supported API level from 18 to 9. Turns
out, ABI-wise at least, there's not that many changes we need to take care of.
The `ftruncate64` API appeared in android-12 and the `log2` and `log2f` APIs
appeared in android-18. We can have a simple shim for `ftruncate64` which falls
back on `ftruncate` and the `log2` function can be approximated with just
`ln(f) / ln(2)`.

This should at least get the standard library building on API level 9, although
the tests aren't quite happening there just yet. As we seem to be growing a
number of Android compatibility shims, they're now centralized in a common
`sys::android` module.

Clarify std::fmt width docs w.r.t. dollar syntax and give example.

Auto merge of #33257 - steveklabnik:rollup, r=steveklabnik

Rollup of 7 pull requests

- Successful merges: #32991, #33056, #33095, #33152, #33212, #33218, #33234
- Failed merges: #32912

Rollup merge of #33234 - TomasHubelbauer:TomasHubelbauer-patch-1, r=GuillaumeGomez

Fix use of the `move` command in the Windows shell

`move` works both in `cmd` and in Powershell. `mv` works only in Powershell and the book says nothing about which shell is recommended so this could confuse beginners.

Closes #33219.

Rollup merge of #33218 - oli-obk:interned_str_cmp, r=nikomatsakis

allow InternedString to be compared to &str directly

Rollup merge of #33212 - bombless:scope-of-function-body, r=nikomatsakis

Improve error message about regions of function body

"scope of parameters for functions" is harder for me to read than "scope of function body", I hope others feel the same, as in <https://play.rust-lang.org/?gist=b4df68b395b807698bd2ba98cf3d5ce3&version=stable&backtrace=0&run=1>
 Thank @Aatch for the help :)

Rollup merge of #33152 - bwinterton:master, r=steveklabnik

Make HashSet::Insert documentation more consistent

I have made the HashSet::Insert documentation more consistent in the use of the term 'value' vs 'key'. Also clarified that if _this_ value is present true is returned, instead of the ambiguous 'a value present'.

r? @steveklabnik

Rollup merge of #33095 - xogeny:xogeny-patch-1, r=steveklabnik

Tweaks to sections related to Ownership

Reading through these sections, I thought the intro text could be improved slightly.  So
here is a PR that addresses what was bugging me about it. :-)

Main issue was the wording of the opening sentence ("guide" is not clearly defined and the
wording was a bit too terse in my opinion).  I also took issue with the term "one of the most
unique".  Uniqueness is a `bool`, not an `f64`. :-)

r? @steveklabnik

Rollup merge of #33056 - GuillaumeGomez:as_mut_ptr_example, r=steveklabnik

Improve as_mut ptr method example

r? @steveklabnik

Rollup merge of #32991 - kindlychung:patch-2, r=steveklabnik

make the borrowing example more concrete

Auto merge of #33208 - nrc:save-json, r=pnkfelix

save-analysis: dump in JSON format

cc #18582

Auto merge of #33161 - jseyfried:parse_tuple_struct_field_vis, r=nikomatsakis

Parse `pub(restricted)` visibilities on tuple struct fields

Parse `pub(restricted)` on tuple struct fields (cc #32409).

r? @nikomatsakis

Auto merge of #32980 - Aatch:better-mir-building, r=nagisa

Various improvements to MIR and LLVM IR Construction

Primarily affects the MIR construction, which indirectly improves LLVM
IR generation, but some LLVM IR changes have been made too.

* Handle "statement expressions" more intelligently. These are
  expressions that always evaluate to `()`. Previously a temporary would
  be generated as a destination to translate into, which is unnecessary.

  This affects assignment, augmented assignment, `return`, `break` and
  `continue`.
* Avoid inserting drops for non-drop types in more places. Scheduled
  drops were already skipped for types that we knew wouldn't need
  dropping at construction time. However manually-inserted drops like
  those for `x` in `x = y;` were still generated. `build_drop` now takes
  a type parameter like its `schedule_drop` counterpart and checks to
  see if the type needs dropping.

* Avoid generating an extra temporary for an assignment where the types
  involved don't need dropping. Previously an expression like
  `a = b + 1;` would result in a temporary for `b + 1`. This is so the
  RHS can be evaluated, then the LHS evaluated and dropped and have
  everything work correctly. However, this isn't necessary if the `LHS`
  doesn't need a drop, as we can just overwrite the existing value.

* Improves lvalue analysis to allow treating an `Rvalue::Use` as an
  operand in certain conditions. The reason for it never being an
  operand is so it can be zeroed/drop-filled, but this is only true for
  types that need dropping.

The first two changes result in significantly fewer MIR blocks being
generated, as previously almost every statement would end up generating
a new block due to the drop of the `()` temporary being generated.

update features RFC

update comments RFC and code snippets

Auto merge of #33151 - ollie27:rustdoc_abi, r=alexcrichton

rustdoc: Cleanup ABI rendering

Use a common method for rendering `extern "<abi>"`.

This now consistently shows `extern fn` rather than `extern "C" fn`.

Address style nits

Auto merge of #32791 - LeoTestard:feature-gate-clean, r=nikomatsakis

Feature gate clean

This PR does a bit of cleaning in the feature-gate-handling code of libsyntax. It also fixes two bugs (#32782 and #32648). Changes include:

* Change the way the existing features are declared in `feature_gate.rs`. The array of features and the `Features` struct are now defined together by a single macro. `featureck.py` has been updated accordingly. Note: there are now three different arrays for active, removed and accepted features instead of a single one with a `Status` item to tell wether a feature is active, removed, or accepted. This is mainly due to the way I implemented my macro in the first time and I can switch back to a single array if needed. But an advantage of the way it is now is that when an active feature is used, the parser only searches through the list of active features. It goes through the other arrays only if the feature is not found. I like to think that error checking (in this case, checking that an used feature is active) does not slow down compilation of valid code. :) But this is not very important...
* Feature-gate checking pass now use the `Features` structure instead of looking through a string vector. This should speed them up a bit. The construction of the `Features` struct should be faster too since it is build directly when parsing features instead of calling `has_feature` dozens of times.
* The MacroVisitor pass has been removed, it was mostly useless since the `#[cfg]-stripping` phase happens before (fixes #32648). The features that must actually be checked before expansion are now checked at the time they are used. This also allows us to check attributes that are generated by macro expansion and not visible to MacroVisitor, but are also removed by macro expansion and thus not visible to PostExpansionVisitor either. This fixes #32782. Note that in order for `#[derive_*]` to be feature-gated but still accepted when generated by `#[derive(Trait)]`, I had to do a little bit of trickery with spans that I'm not totally confident into. Please review that part carefully. (It's in `libsyntax_ext/deriving/mod.rs`.)::

Note: this is a [breaking change], since programs with feature-gated attributes on macro-generated macro invocations were not rejected before. For example:

```rust
macro_rules! bar (
    () => ()
);

macro_rules! foo (
    () => (
        #[allow_internal_unstable] //~ ERROR allow_internal_unstable side-steps
        bar!();
    );
);
```
foo!();

Factor out function call checking to a helper method

The logic for checking `call` and `invoke` instructions was duplicated
between them, so factor it out to a helper method.

Check when building invoke as well as calls

LLVM's assertion doesn't provide much insight as to what the problem
was. We were already checking `call` instructions ourselves, so this
brings the checks from there to `invoke`.

Both the `invoke` and `call` checking is controlled by
`debug_assertions`.

Handle immediate tuples in `trans_arguments_untupled`

Use either getelementptr or extractvalue depending on whether or not the
tuple is immediate or not.

Fix codegen-units tests

I'm not sure what the signficance of `drop-glue i8` is, nor why one of
the tests had it appear while the others had it disappear. Either way it
doesn't seem like the presence or absense of it is the focus of the
tests.

Move zero-sized type handling logic to `new_operand`

`new_operand` now checks the type it's given and either creates the nil
value itself, or produces an empty operand.

Fix translation of `Assign`/`AssignOp` as rvalues

In code like `let x = y = z;`, `y = z` goes through `as_rvalue`, which
didn't handle it. Now it translates the assignment and produces `()`
directly.

Fixup tests

The drop glue for `i8` is no longer generated as a trans item

Address comments

Moves `stmt_expr` into its own module, `expr::stmt`.

Various improvements to MIR and LLVM IR Construction

Primarily affects the MIR construction, which indirectly improves LLVM
IR generation, but some LLVM IR changes have been made too.

* Handle "statement expressions" more intelligently. These are
  expressions that always evaluate to `()`. Previously a temporary would
  be generated as a destination to translate into, which is unnecessary.

  This affects assignment, augmented assignment, `return`, `break` and
  `continue`.
* Avoid inserting drops for non-drop types in more places. Scheduled
  drops were already skipped for types that we knew wouldn't need
  dropping at construction time. However manually-inserted drops like
  those for `x` in `x = y;` were still generated. `build_drop` now takes
  a type parameter like its `schedule_drop` counterpart and checks to
  see if the type needs dropping.
* Avoid generating an extra temporary for an assignment where the types
  involved don't need dropping. Previously an expression like
  `a = b + 1;` would result in a temporary for `b + 1`. This is so the
  RHS can be evaluated, then the LHS evaluated and dropped and have
  everything work correctly. However, this isn't necessary if the `LHS`
  doesn't need a drop, as we can just overwrite the existing value.
* Improves lvalue analysis to allow treating an `Rvalue::Use` as an
  operand in certain conditions. The reason for it never being an
  operand is so it can be zeroed/drop-filled, but this is only true for
  types that need dropping.

The first two changes result in significantly fewer MIR blocks being
generated, as previously almost every statement would end up generating
a new block due to the drop of the `()` temporary being generated.

Add tests

Auto merge of #33199 - mitaa:tokenize-responsibly, r=nrc

Make some fatal lexer errors recoverable

I've kept the changes to a minimum since I'm not really sure if this approach is a acceptable.

fixes #12834

cc @nrc

Make some fatal lexer errors recoverable

rustdoc: Render `extern fn` instead of `extern "C" fn`

Review changes and satisfy make tidy

std: Add compatibility with android-9

The Gecko folks currently use Android API level 9 for their builds, so they're
requesting that we move back our minimum supported API level from 18 to 9. Turns
out, ABI-wise at least, there's not that many changes we need to take care of.
The `ftruncate64` API appeared in android-12 and the `log2` and `log2f` APIs
appeared in android-18. We can have a simple shim for `ftruncate64` which falls
back on `ftruncate` and the `log2` function can be approximated with just
`ln(f) / ln(2)`.

This should at least get the standard library building on API level 9, although
the tests aren't quite happening there just yet. As we seem to be growing a
number of Android compatibility shims, they're now centralized in a common
`sys::android` module.

Auto merge of #33214 - oli-obk:const_err_var_exprs, r=eddyb

report `const_err` on all expressions that can fail

also a drive-by fix for reporting an "overflow in shift *left*" when shifting an `i64` *right*

This increases the warning noise for shifting by more than the bitwidth and for `-T::MIN`. I can silence the bitwidth warnings explicitly and fix the const evaluator to make sure `--$expr` is treated exactly like `$expr` (which is kinda wrong, but mathematically right).

r? @eddyb

Fix use of the `move` command in the Windows shell

`move` work both in `cmd` and in Powershell. `mv` works only in Powershell and the book says nothing about which shell is recommended so this could confuse beginners.

Closes #33219.

rustc_driver: Allow running the compiler with a FileLoader

update Cargo.toml for rustbuild

Avoid using the hir map when visibility checking in `resolve`

Refactor `ty::Visibility` methods to use a new trait `NodeIdTree` instead of the ast map.

Refactor away a use of `ast_map.span_if_local()`

Auto merge of #33226 - fabricedesre:update-llvm, r=alexcrichton

Update llvm to 751345228a0ef03fd147394bb5104359b7a808be

Picking up the changes from https://github.com/rust-lang/llvm/commit/751345228a0ef03fd147394bb5104359b7a808be

r? @alexcrichton

Refactor `resolve_crate_relative_path` and `resolve_module_relative_path`
to return a `NameBinding` instead of a `Def`

Refactor away `get_trait_name`

Refactor away `is_static_method`

Refactor away `FallbackChecks` and remove dead code

Refactor field `span` of `NameBinding` from `Option<Span>` to `Span`.

Update llvm to 751345228a0ef03fd147394bb5104359b7a808be

Auto merge of #31414 - durka:clone-copy, r=alexcrichton

special-case #[derive(Copy, Clone)] with a shallow clone

If a type is Copy then its Clone implementation can be a no-op. Currently `#[derive(Clone)]` generates a deep clone anyway. This can lead to lots of code bloat.

This PR detects the case where Copy and Clone are both being derived (the general case of "is this type Copy" can't be determined by a syntax extension) and generates the shallow Clone impl. Right now this can only be done if there are no type parameters (see https://github.com/rust-lang/rust/issues/31085#issuecomment-178988663), but this restriction can be removed after specialization.

Fixes #31085.

Auto merge of #33191 - alexcrichton:rustdoc-create-dir-all-racy, r=steveklabnik

rustdoc: Handle concurrent mkdir requests

It's likely that `rustdoc` as a tool is run concurrently in the same output
(e.g. documenting multiple crates as Cargo does), in which case it needs to
handle concurrent calls to `fs::create_dir`.

shallow Clone for #[derive(Copy,Clone)]

Changes #[derive(Copy, Clone)] to use a faster impl of Clone when
both derives are present, and there are no generics in the type.

The faster impl is simply returning *self (which works because the
type is also Copy). See the comments in libsyntax_ext/deriving/clone.rs
for more details.

There are a few types which are Copy but not Clone, in violation
of the definition of Copy. These include large arrays and tuples. The
very existence of these types is arguably a bug, but in order for this
optimization not to change the applicability of #[derive(Copy, Clone)],
the faster Clone impl also injects calls to a new function,
core::clone::assert_receiver_is_clone, to verify that all members are
actually Clone.

This is not a breaking change, because pursuant to RFC 1521, any type
that implements Copy should not do any observable work in its Clone
impl.

Auto merge of #33142 - tshepang:split-long-line, r=guillaumegomez

doc: that line was too long

Update references-and-borrowing.md

add as 2nd example.

allow InternedString to be compared to &str directly

Auto merge of #33203 - Ryman:patch-3, r=alexcrichton

libstd: fix typos in thread::LocalKey docs

don't demote expressions just because const_eval fails

this might introduce subtle bugs to code generation

skip non-const-path errors for now

Associated constants aren't implemented fully in early const eval

don't report bitshift overflow twice

skip double negation in const eval

Auto merge of #32989 - GuillaumeGomez:e0393, r=Manishearth

Add E0393 error explanation

Part of #32777.

r? @Manishearth
cc @steveklabnik

Auto merge of #32962 - taralx:patch-1, r=GuillaumeGomez

Clean up some info log spam.

Some of this looks like merge cruft, but the region spam is especially noisy.

const_err lint all constant expressions

report shift right error instead of shift left error on right shift

Add E0393 error explanation

Refactor away field `vis` of `ModuleS`

Auto merge of #33099 - eddyb:issue-33096, r=michaelwoerister

Normalize types before using them in debuginfo.

Small oversight, fixes #33096 - odd thing is that the old code doesn't look like it should've ever worked, although it wasn't using all of the type parameters, so maybe that's what changed.

Improve error message about regions of function body

Auto merge of #33204 - Manishearth:rollup, r=Manishearth

Rollup of 7 pull requests

- Successful merges: #33107, #33133, #33160, #33167, #33194, #33196, #33200
- Failed merges:

Auto merge of #33210 - alexcrichton:fix-ndk-dir, r=alexcrichton

mk: Fix use of deprecated configure var

The `--android-cross-path` has been deprecated for some time now, we should use
`CFG_ARM_LINUX_ANDROIDEABI_NDK` instead.

Ideally this would use the right triple, but we're only testing ARM for now.

mk: Fix use of deprecated configure var

The `--android-cross-path` has been deprecated for some time now, we should use
`CFG_ARM_LINUX_ANDROIDEABI_NDK` instead.

Ideally this would use the right triple, but we're only testing ARM for now.

save-analysis-json: lower def ids

save-analysis: expand smoke test to cover json and csv formats

save-analysis-json: thread through -z option

In fact, we make JSOn the default and add an option for save-analysis-csv for the legacy behaviour.

We also rename some bits and pieces `dxr` -> `save-analysis`

Rollup merge of #33200 - sfackler:nonblocking-docs, r=alexcrichton

Fix reference to TCP in UDP docs

Closees #33195

Rollup merge of #33196 - mitaa:rdoc-crate-links, r=alexcrichton

rustdoc: Linkify extern crates

fixes #33178

r? @alexcrichton

Rollup merge of #33194 - mitaa:rdoc-a, r=alexcrichton

rustdoc: Improve accessibility of rustdoc pages

fixes #33131

r? @alexcrichton

Rollup merge of #33167 - benaryorg:master, r=alexcrichton

clarify documentation of TcpStream::connect() for multiple valid addresses

I am not sure how the UDP part of the stdlib behaves when passing multiple valid addresses, but it should be mentioned as there are legit use cases for [`impl<'a> ToSocketAddrs for &'a [SocketAddr]`](http://doc.rust-lang.org/nightly/std/net/trait.ToSocketAddrs.html), a TCP fallback only being one.

Just a little example program for anyone willing to enhance the documentation further:

```rust
use std::net::SocketAddr;
use std::net::ToSocketAddrs;
use std::net::TcpStream;

fn main()
{
let v: Vec<SocketAddr> = vec!
[
"127.0.0.1:1338".to_socket_addrs().unwrap().next().unwrap(),
"127.0.0.1:1337".to_socket_addrs().unwrap().next().unwrap(),
"127.0.0.1:1339".to_socket_addrs().unwrap().next().unwrap(),
];

let stream = TcpStream::connect(&v[..]).unwrap();
}
```

Rollup merge of #33160 - euclio:rustdoc-unstable-deprecated, r=alexcrichton

show unstable status for deprecated items

Fixes #32374.

Rollup merge of #33133 - mitaa:rdoc-smth-smth-impl, r=alexcrichton

rustdoc: inline all the impls

This used to be done to avoid inlining impls referencing private items, but is now unnecessary since we actually check that impls do not reference non-doc-reachable items.

fixes #32881
fixes #33025
fixes #33113

r? @alexcrichton

Rollup merge of #33107 - sanxiyn:prev-impl-item, r=eddyb

Show previous definition of duplicate impl item

Fix #32971.

libstd: fix typos in thread::LocalKey docs

Auto merge of #33115 - mbrubeck:vfp3-d16, r=nrc

Enable vfp3-d16 for ARMv7 Android target

Android's [armeabi-v7a ABI][1] guarantees at least VFPv3-d16 hardware FPU support, so Rust should include this in the default features for the `arm-linux-androideabi` target.

[1]: https://developer.android.com/ndk/guides/abis.html

Fix reference to TCP in UDP docs

Closees #33195

Auto merge of #32258 - nikomatsakis:fewer-errors, r=arielb1

Suppress fallback and ambiguity errors

If the infcx has observed other errors, then suppress both default type
parameter fallback (which can be unreliable, as the full constraint set
is not available) and errors related to unresovled
variables (annoyingly, integer type variables cannot currently be
unified with error, so that has to be a separate mechanism). Also add a
flag to `infcx` to allow us to independently indicate when we have
observed an error and hence should trigger this suppression mode.

Fixes #31997

cc @alexcrichton
r? @arielb1

patch test due to changes from compiletest-json

Auto merge of #33184 - tamird:misc-cleanup, r=alexcrichton

librustc_back: misc cleanup

r? @alexcrichton

save-analysis-json: introduce a lowering step

...in which we make the spans nice.

Linkify extern crates on rustdoc pages

save-analysis: implement JSON dumps