Update the tools CI to use --no-fail-fast and --save-toolstates.

Record build and test result of extended tools into toolstates.json.

Move the swap the tools test and cargotest within check-aux.

The cargotest job is renamed to tools for clarification.

Auto merge of #46290 - scottmcm:i128-from-compiler-builtins, r=nagisa

Update compiler-builtins and use it in the 128-bit lowering MIR test

This picks up the lang item implementations from https://github.com/rust-lang-nursery/compiler-builtins/pull/210

cc #45676 @est31 @nagisa

Add ignore-emscripten too

Auto merge of #46428 - eddyb:scalar-pair-unpacking, r=arielb1

rustc: don't unpack newtypes of scalar-pairs with mismatched alignment.

This PR fixes a potential problem where a packed newtype of a pair was also considered a pair, even though it didn't have the required alignment of the pair.
cc @oli-obk It's possible miri hit something like this, with an unstable feature, but it's more general.

Ignore the lower_128bit tests on asmjs

Remove the unneeded #![feature(lang_items)]s

Update compiler-builtins and use it the 128-bit lowering MIR test

Auto merge of #46384 - ollie27:rustdoc_inline_assoc, r=QuietMisdreavus

rustdoc: Fix issues with cross-crate inlined associated items

* Visibility was missing from impl items.
* Attributes and docs were missing from consts and types in impls.
* Const default values were missing from traits.

This unifies the code that handles associated items from impls and traits.

Auto merge of #46382 - alexcrichton:thinlto-default, r=michaelwoerister

rustc: Prepare to enable ThinLTO by default

This commit *almost* enables ThinLTO and multiple codegen units in release mode by
default but is blocked on #46346 now before pulling the trigger.

Auto merge of #46381 - estebank:expected-span, r=nikomatsakis

Point to next token when it is in the expected line

r? @nikomatsakis

Auto merge of #46368 - michaelwoerister:incr-comp-type-debuginfo-spans, r=eddyb

incr.comp.: Remove an unnecessary HIR access which enables hashing spans for type definitions.

r? @nikomatsakis

Auto merge of #46349 - estebank:highlight-ref, r=arielb1

On type mismatch error highlight `&` when type matches

When the only difference between the two types in a type error is that
one is a reference to the other type (`T` vs `&T`) or both are
references differing only in their mutability (`&T` vs `&mut T`), don't
highlight the type (`T`).

Auto merge of #46347 - raventid:did-you-mean-increase-accuracy, r=estebank

Add case insensitive comparison, besides Levenstein for DYM

Closes #46332

Draft version. The idea is that Levenstein does not work for some cases when we have multiple equal weights for strings. I didn't understand the case with `if found != name => Some(found)` so it means that new code does not work correctly yet.

At least now I think that we might return all maximal weights from levenstein and think about next cases in priority order:

1) There is exact match -> None
2) There is exact match, but case insensitive -> Some(match)
3) There is some match from levenstein -> Some(matches.take_any)
4) There is no match -> None

@estebank WDYT?

Auto merge of #46343 - jseyfried:fix_hygiene_bug, r=nrc

Fix hygiene bug.

Fixes #42708.
r? @nrc

Auto merge of #46326 - GuillaumeGomez:sidebar-text, r=QuietMisdreavus

Fix invalid HTML escape

Fixes #46289.

r? @QuietMisdreavus

Auto merge of #46288 - alexcrichton:bump-bootstrap, r=Mark-Simulacrum

Bump to 1.24.0

* Update the in-tree version number
* Update the bootstrap compiler
* Remove `cfg(stage0)` annotations
* Update crate dependencies
* Update Cargo itself

Auto merge of #46256 - estebank:suggest-deref, r=arielb1

Use suggestions instead of notes ref mismatches

On type mismatch errors, use a suggestion when encountering minimal
differences in type differences due to refs, instead of a note.

Auto merge of #45904 - sunjay:gat-parser, r=nikomatsakis

Generic Associated Types Parsing & Name Resolution

Hi!
This PR adds parsing for generic associated types! :tada: :tada: :tada:

Tracking Issue: #44265

## Notes For Reviewers
* [x] I still need to add the stdout and stderr files to my ui tests. It takes me a *long* time to compile the compiler locally, so I'm going to add this as soon as possible in the next day or so.
* [ ] My current ui tests aren't very good or very thorough. I'm reusing the `parse_generics` and `parse_where_clause` methods from elsewhere in the parser, so my changes work without being particularly complex. I'm not sure if I should duplicate all of the generics test cases for generic associated types. It might actually be appropriate to duplicate everything here, since we don't want to rely on an implementation detail in case it changes in the future. If you think so too, I'll adapt all of the generics test cases into the generic associated types test cases.
* [ ] There is still more work required to make the run-pass tests pass here. In particular, we need to make the following errors disappear:
```
error[E0110]: lifetime parameters are not allowed on this type
  --> ./src/test/run-pass/rfc1598-generic-associated-types/streaming_iterator.rs:23:41
   |
23 |     bar: <T as StreamingIterator>::Item<'static>,
   |                                         ^^^^^^^ lifetime parameter not allowed on this type
```
```
error[E0261]: use of undeclared lifetime name `'a`
  --> ./src/test/run-pass/rfc1598-generic-associated-types/iterable.rs:15:47
   |
15 |     type Iter<'a>: Iterator<Item = Self::Item<'a>>;
   |                                               ^^ undeclared lifetime
```
There is a FIXME comment in streaming_iterator. If you uncomment that line, you get the following:
```
error: expected one of `!`, `+`, `,`, `::`, or `>`, found `=`
  --> ./src/test/run-pass/rfc1598-generic-associated-types/streaming_iterator.rs:29:45
   |
29 | fn foo<T: for<'a> StreamingIterator<Item<'a>=&'a [i32]>>(iter: T) { /* ... */ }
   |                                             ^ expected one of `!`, `+`, `,`, `::`, or `>` here
```

r? @nikomatsakis

rustc: don't unpack newtypes of scalar-pairs with mismatched alignment.

Auto merge of #46430 - kennytm:rollup, r=kennytm

Rollup of 13 pull requests

- Successful merges: #45880, #46280, #46373, #46376, #46385, #46386, #46387, #46392, #46400, #46401, #46405, #46412, #46421
- Failed merges:

Auto merge of #46425 - eddyb:mir-place, r=nikomatsakis

MIR: change "lvalue" terminology to "place".

As pointed out elsewhere, "lvalue" vs "rvalue" is a misleading/obscure distinction and several other choices have been proposed, the one I prefer being "place" vs "value".

This PR only touches the "lvalue" side, and only in MIR-related code, as it's already a lot and could rot.

Use suggestions instead of notes ref mismatches

On type mismatch errors, use a suggestion when encountering minimal
differences in type differences due to refs, instead of a note.

Rollup merge of #46421 - mnd:fix-build-for-guix, r=alexcrichton

build_helper: destination file can't be up to date when not exists

Function "up_to_date" return incorrect result if mtime for all fetched sources is set to epoch time. Add existence check to function.

This fix required for a [Guix](https://www.gnu.org/software/guix/) package because a Nix builder set mtime of all sources to epoch time.

Rollup merge of #46412 - chrisduerr:issue-46380, r=QuietMisdreavus

Hide private trait type params and show hidden items with document-private

As discussed in #46380, this PR removes the `strip-hidden` pass from `--document-private-items` which allows showing `#[doc(hidden)]` with rustdoc.

The second commit removes the trait implementation from the docs if the trait's parameter is private.

Rollup merge of #46405 - alexcrichton:fix-rustdoc, r=estebank

rustc: Filter out bogus extern crate warnings

Rustdoc has for some time now used the "everybody loops" pass in the compiler to
avoid typechecking and otherwise avoid looking at implementation details.
In #46115 the placement of this pass was pushed back in the compiler to after
macro expansion to ensure that it works with macro-expanded code as well. This
in turn caused the regression in #46271.

The bug here was that the resolver was producing `def_id` instances for
"possibly unused extern crates" which would then later get processed during
typeck to actually issue lint warnings. The problem was that *after* resolution
these `def_id` nodes were actually removed from the AST by the "everybody loops"
pass. This later, when we tried to take a look at `def_id`, caused the compiler
to panic.

The fix applied here is a bit of a heavy hammer which is to just, in this one
case, ignore the `extern crate` lints if the `def_id` looks "bogus" in any way
(basically if it looks like the node was removed after resolution). The real
underlying bug here is probably that the "everybody loops" AST pass is being
stressed to much beyond what it was originally intended to do, but this should
at least fix the ICE for now...

Closes #46271

Rollup merge of #46401 - alexcrichton:wasm-tests, r=arielb1

wasm: Update LLVM to fix a test

This commit updates LLVM with some tweaks to the integer <-> floating point
conversion instructions to ensure that `as` in Rust doesn't trap.

Closes #46298

Rollup merge of #46400 - michaelwoerister:vtable-encodable, r=eddyb

incr.comp.: Make traits::VTable encodable and decodable.

Make vtables encodable so we can cache the `trans_fulfill_obligation` query at some point.

r? @eddyb

Rollup merge of #46392 - GuillaumeGomez:fix-tooltip, r=QuietMisdreavus

Invert colors in important traits tooltip

Part of #46352.

r? @QuietMisdreavus

Rollup merge of #46387 - chrisduerr:master, r=QuietMisdreavus

Fix rustdoc item summaries that are headers

Rustoc item summaries that are headers were not displayed at all because
they started with whitespace.

This PR fixes this and now removes the whitespace and then displays the
block.

I'm not sure if the rustdoc test is written correctly, if there's anything to improve, just let me know. :)

This fixes #46377.

This is how it looks when rendered out now:

Rollup merge of #46386 - Aaron1011:fix_rustdoc_log, r=Mark-Simulacrum

Remove librustdoc dependency on env_logger

We want librustdoc to pickup the env_logger dependency from
the sysroot. This ensures that the same copy of env_logger is used
for both internal crates (e.g. librustc_driver, libsyntax) and
librustdoc

Closes #46383

Rollup merge of #46385 - alexcrichton:fix-cargo-book, r=Mark-Simulacrum

rustbuild: Fix a typo with the Cargo book

The usage of `Path::new` prevented out-of-tree builds (like the bots do) from
working by accident!

Closes #46195

Rollup merge of #46376 - SimonSapin:cargoup, r=kennytm

Update Cargo to Wed Nov 29 15:19:05 2017 +0000

https://github.com/rust-lang/cargo/commit/5bb478a518bcf75537409e8b71f6b7cc4af362df

Pick up `workspace.default-members` support: https://github.com/rust-lang/cargo/pull/4743

Rollup merge of #46373 - jakllsch:netbsd-kern_proc_pathname, r=kennytm

NetBSD: add sysctl backend for std::env::current_exe

Use the CTL_KERN.KERN_PROC_ARGS.-1.KERN_PROC_PATHNAME sysctl in
preference over the /proc/curproc/exe symlink.

Additionally, perform more validation of aformentioned symlink.
Particularly on pre-8.x NetBSD this symlink will point to '/' when
accurate information is unavailable.

Rollup merge of #46280 - tamird:remove-old-refs, r=alexcrichton

rustc_llvm: remove stale references

...that were removed in 77c3bfa7429abf87b76ba84108df018d9e9d90e2.

r? @alexcrichton

Rollup merge of #45880 - arielb1:never-coerce, r=nikomatsakis

make coercions to `!` in unreachable code a hard error

This was added to cover up a lazy extra semicolon in #35849, but does
not actually make sense. This is removed as a part of the stabilization
of `never_type`.

MIR: s/lv(al(ue)?)?/place in function/variable/module names.

MIR: s/Lvalue/Place in type names.

Auto merge of #46338 - michaelwoerister:lazy-diagnostics, r=nikomatsakis

incr.comp.: Load cached diagnostics lazily and allow more things in the cache.

This PR implements makes two changes:
1. Diagnostics are loaded lazily from the incr. comp. cache now. This turned out to be necessary for correctness because diagnostics contain `Span` values and deserializing those requires that the source file they point to is still around in the current compilation session. Obviously this isn't always the case. Loading them lazily allows for never touching diagnostics that are not valid anymore.
2. The compiler can now deal with there being no cache entry for a given query invocation. Before, all query results of a cacheable query were always expected to be present in the cache. Now, the compiler can fall back to re-computing the result if there is no cache entry found. This allows for caching things that we cannot force from dep-node (like the `symbol_name` query). In such a case we'll just have a "best effort" caching strategy.

~~This PR is based on https://github.com/rust-lang/rust/pull/46301 (=first 2 commits), so please don't merge until that has landed. The rest of the commits are ready for review though.~~

r? @nikomatsakis

incr.comp.: Fix merge fallout.

Auto merge of #46236 - davidtwco:issue-46023, r=arielb1

MIR-borrowck: immutable unique closure upvars can be mutated

Fixes #46023 and #46160 (see [this comment](https://github.com/rust-lang/rust/pull/46236#issuecomment-347204874)).

incr.comp.: Use the awesome new '_ in a few places.

incr.comp.: Allow for recovering from missing on-disk cache entries.

incr.comp.: Load diagnostics from previous session lazily and clean up on-disk-cache persistence code.

incr.comp.: Add a newtype for byte positions within the incr. comp. cache.

incr.comp.: Store Spans as (file,line,col,length) in incr.comp. cache.

The previous method ran into problems because ICH would treat Spans
as (file,line,col) but the cache contained byte offsets and its
possible for the latter to change while the former stayed stable.

incr.comp.: Properly hash and encode macro expansion information.

build_helper: destination file can't be up to date when not exists

Function "up_to_date" return incorrect result if mtime for all fetched
sources is set to epoch time. Add existence check to function.

Auto merge of #46211 - snipsco:master, r=pnkfelix

disable jemalloc on executables for ios targets

This is a (temporary ?) workaround for issue #45262

add magic comment for ui test, remove newline

Updated generic-associated-types-where stderr

Added case for when impl generic associated type has a where clause

Moved all of the tests over to ui and annotated why they are failing with appropriate fixme comments

Removed FIXME on a line that actually works for some reason...

Adding error line so that test passes

added must-compile-successfully

Testing and fixes

Renaming MethodRibKind to TraitOrImplItemRibKind and removing its field which was never used. Lifting the HasTypeParameters rib to all trait item kinds and all impl item kinds

Adding type paramter ribs for generic associated types

Preventing moving out of the trait item kind

Parsing where clauses correctly and documenting the grammar being parsed

Specifically gating generic_associated_types feature on associated Type declarations

demonstrate how we can write "successful parse" tests quite easily

Added stderr files for ui tests

More testing for generic associated types parsing

Fixed tidy errors

Adding feature gate

Added run-pass tests for associated generic types

Parsing generics in both trait items and impl items

Auto merge of #45997 - estebank:pub-ident, r=nikomatsakis

Account for missing keyword in fn/struct definition

Fix #38911.

Auto merge of #45846 - pietroalbini:use-nested-groups, r=petrochenkov

Add nested groups in imports

This PR adds support for nested groups in imports (rust-lang/rfcs#2128, tracking issue #44494).

r? @petrochenkov

Auto merge of #46370 - michaelwoerister:rm-metadata-hashing, r=eddyb

incr.comp.: Remove ability to produce incr. comp. hashes during metadata export.

This functionality has been superseded by on-import hashing, which can be less conservative and does not require extra infrastructure.

r? @nikomatsakis

Fixed spurious cannot borrow immutable item error with a closure.

Immutable unique closure upvars cannot be mutated.

Added test for spurious cannot borrow immutable item error with a closure

Added test for immutable unique closure upvar mutation.

explanatory note for the workaround

move comparator into +find_best_match_name+ function

Fix htmldocck naming

After renaming the structs and enums the htmldocck strings still
contained the old names. This lead to test failure.

These htmldocck tests have been updated to use the proper names of the
rust structs and traits.

Hide trait impl with private trait type parameter

Trait's implementations with private type parameters were displayed in
the implementing struct's documentation until now.

With this change any trait implementation that uses a private type
parameter is now hidden in the docs.

Show hidden items with rustdoc's document-private

When using `#[doc(hidden)]` elements are hidden from docs even when the
rustdoc flag `--document-private-items` is set.

This behavior has been changed to display all hidden items when the flag
is active.

Auto merge of #46402 - oli-obk:clippy, r=kennytm

Reenable clippy

NetBSD: add sysctl backend for std::env::current_exe

Use the CTL_KERN.KERN_PROC_ARGS.-1.KERN_PROC_PATHNAME sysctl in
preference over the /proc/curproc/exe symlink.

Additionally, perform more validation of aformentioned symlink.
Particularly on pre-8.x NetBSD this symlink will point to '/' when
accurate information is unavailable.

rustc: Filter out bogus extern crate warnings

Rustdoc has for some time now used the "everybody loops" pass in the compiler to
avoid typechecking and otherwise avoid looking at implementation details.
In #46115 the placement of this pass was pushed back in the compiler to after
macro expansion to ensure that it works with macro-expanded code as well. This
in turn caused the regression in #46271.

The bug here was that the resolver was producing `def_id` instances for
"possibly unused extern crates" which would then later get processed during
typeck to actually issue lint warnings. The problem was that *after* resolution
these `def_id` nodes were actually removed from the AST by the "everybody loops"
pass. This later, when we tried to take a look at `def_id`, caused the compiler
to panic.

The fix applied here is a bit of a heavy hammer which is to just, in this one
case, ignore the `extern crate` lints if the `def_id` looks "bogus" in any way
(basically if it looks like the node was removed after resolution). The real
underlying bug here is probably that the "everybody loops" AST pass is being
stressed to much beyond what it was originally intended to do, but this should
at least fix the ICE for now...

Closes #46271

rustc: Prepare to enable ThinLTO by default

This commit prepares to enable ThinLTO and multiple codegen units in release
mode by default. We've still got a debuginfo bug or two to sort out before
actually turning it on by default.

Rename long test names to be a bit shorter

Helps to avoid hitting path limits on Windows

rustc: Tweak the `isExported` callback for ThinLTO

Previously we were too eagerly exporting almost all symbols used in ThinLTO
which can cause a whole host of problems downstream! This commit instead fixes
this error by aligning more closely with `lib/LTO/LTO.cpp` in LLVM's codebase
which is to only change the linkage of summaries which are computed as dead.

Closes #46374

Reenable clippy

incr.comp.: Make traits::VTable encodable and decodable.

wasm: Update LLVM to fix a test

This commit updates LLVM with some tweaks to the integer <-> floating point
conversion instructions to ensure that `as` in Rust doesn't trap.

Closes #46298

make coercions to `!` in unreachable code a hard error

This was added to cover up a lazy extra semicolon in #35849, but does
not actually make sense. This is removed as a part of the stabilization
of `never_type`.

Mark rustfmt and rls as broken

Implement RFC 2128 (use_nested_groups)

This commit adds support for nested groups inside `use` declarations,
such as `use foo::{bar, sub::{baz::Foo, *}};`.

Auto merge of #46299 - michaelwoerister:incr-comp-krimskrams, r=nikomatsakis

incr.comp.: Some preparatory work for caching more query results.

This PR
* adds and updates some encoding/decoding routines for various query result types so they can be cached later, and
* adds missing `[input]` annotations for a few `DepNode` variants.

The situation around having to explicitly mark dep-nodes/queries as inputs is not really satisfactory. I hope we can find a way of making this more fool-proof in the future.

r? @nikomatsakis

Update Cargo to Wed Nov 29 15:19:05 2017 +0000

https://github.com/rust-lang/cargo/commit/5bb478a518bcf75537409e8b71f6b7cc4af362df

Pick up `workspace.default-members` support:
https://github.com/rust-lang/cargo/pull/4743

Auto merge of #46226 - arielb1:special-region-obligation, r=nikomatsakis

avoid type-live-for-region obligations on dummy nodes

Type-live-for-region obligations on DUMMY_NODE_ID cause an ICE, and it
turns out that in the few cases they are needed, these obligations are not
needed anyway because they are verified elsewhere.

Fixes #46069.

Beta-nominating because this is a regression for our new beta.
r? @nikomatsakis

Auto merge of #46041 - zilbuz:issue-44837, r=arielb1

MIR borrowck: finalize `check_access_permissions()`

Fix #44837 (hopefully for good)

r? @arielb1

Update bootstrap compiler

Also remove a number of `stage0` annotations and such

Auto merge of #46366 - kennytm:revert-46360, r=kennytm

Revert #46360, re-enable macOS dist images.

This PR reverts #46360, which disabled all macOS dist images to workaround travis-ci/travis-ci#8821.

This PR should be merged as soon as the Travis bug has been fixed.

Closes #46357.

cc @rust-lang/infra