Auto merge of #21561 - edwardw:deref, r=nikomatsakis

As part of #20432, upvar checking is now moved out of regionck to its
own pass and before regionck. But regionck has some type resolution of
its own. Without them, now separated upvar checking may be tripped over
by residue `ty_infer`.

Closes #21306

Auto merge of #21519 - michaelwoerister:misc, r=eddyb

Two minor improvements that have been on my TODO list for a while:
* Clang uses a size of `-1` for arrays of unknown size and we should do that too as it will tell LLVM to omit the size information in debuginfo.
* There was no LLDB test case for handling the optimized enum representation introduced by @luqmana. This PR finally adds one.

Auto merge of #21518 - Zoxc:asm-err, r=luqmana

Before:
```
error: invalid operand for inline asm constraint 'i' at line 11
```
Note that 11 is not the line the inline assembly appears in.

After:
```
src/arch/x64/multiboot/bootstrap.rs:203:5: 209:9 error: invalid operand for inline asm constraint 'i'
src/arch/x64/multiboot/bootstrap.rs:203     asm! {
src/arch/x64/multiboot/bootstrap.rs:204         [multiboot => %ecx, mod attsyntax]
src/arch/x64/multiboot/bootstrap.rs:205
src/arch/x64/multiboot/bootstrap.rs:206         ljmp {size_of::<Descriptor>() => %i}, $bootstrap.64
src/arch/x64/multiboot/bootstrap.rs:207     }
src/arch/x64/multiboot/bootstrap.rs:208
                                        ...
error: aborting due to previous error
```

Auto merge of #21582 - FlaPer87:rollup, r=brson

- Successful merges: #21108, #21445, #21498, #21504, #21532, #21535, #21539, #21540, #21541, #21550, #21560, #21573, #21579
- Failed merges:

assert path ends with executable. On Windows the process executable contains the full path

Auto merge of #20613 - dgriffen:master, r=alexcrichton

Auto merge of #20373 - huonw:self-call-lint, r=luqmana

E.g. `fn foo() { foo() }`, or, more subtlely

    impl Foo for Box<Foo+'static> {
        fn bar(&self) {
            self.bar();
        }
    }

The compiler will warn and point out the points where recursion occurs,
if it determines that the function cannot return without calling itself.

Closes #17899.

---

This is highly non-perfect, in particular, my wording above is quite precise, and I have some unresolved questions: This currently will warn about

```rust
fn foo() {
    if bar { loop {} }

    foo()
}
```

even though `foo` may never be called (i.e. our apparent "unconditional" recursion is actually conditional). I don't know if we should handle this case, and ones like it with `panic!()` instead of `loop` (or anything else that "returns" `!`).

However, strictly speaking, it seems to me that changing the above to not warn will require changing

```rust
fn foo() {
    while bar {}
    foo()
}
```

to also not warn since it could be that the `while` is an infinite loop and doesn't ever hit the `foo`.

I'm inclined to think we let these cases warn since true edge cases like the first one seem rare, and if they do occur they seem like they would usually be typos in the function call. (I could imagine someone accidentally having code like `fn foo() { assert!(bar()); foo() /* meant to be boo() */ }` which won't warn if the `loop` case is "fixed".)

(Part of the reason this is unresolved is wanting feedback, part of the reason is I couldn't devise a strategy that worked in all cases.)

---

The name `unconditional_self_calls` is kinda clunky; and this reconstructs the CFG for each function that is linted which may or may not be very expensive, I don't know.

Auto merge of #21558 - alexcrichton:result-debug, r=aturon

This commit relaxes the bound on `Result::unwrap` and `Result::unwrap_err` from
the `Display` trait to the `Debug` trait for generating an error message about
the unwrapping operation.

This commit is a breaking change and any breakage should be mitigated by
ensuring that `Debug` is implemented on the relevant type.

[breaking-change]

Auto merge of #21511 - alfie:suffix-cleanup, r=huonw

Moving away from deprecated i/u suffixes in libcore

Auto merge of #21452 - bleibig:bison-grammar, r=nikomatsakis

This adds a new lexer/parser combo for the entire Rust language can be generated with with flex and bison, taken from my project at https://github.com/bleibig/rust-grammar. There is also a testing script that runs the generated parser with all *.rs files in the repository (except for tests in compile-fail or ones that marked as "ignore-test" or "ignore-lexer-test"). If you have flex and bison installed, you can run these tests using the new "check-grammar" make target.

This does not depend on or interact with the existing testing code in the grammar, which only provides and tests a lexer specification.

OS X users should take note that the version of bison that comes with the Xcode toolchain (2.3) is too old to work with this grammar, they need to download and install version 3.0 or later.

The parser builds up an S-expression-based AST, which can be displayed by giving the "-v" argument to parser-lalr (normally it only gives output on error). It is only a rough approximation of what is parsed and doesn't capture every detail and nuance of the program.

Hopefully this should be sufficient for issue #2234, or at least a good starting point.

Auto merge of #21488 - aturon:os-str, r=alexcrichton

Per [RFC 517](https://github.com/rust-lang/rfcs/pull/575/), this commit introduces platform-native strings. The API is essentially as described in the RFC.

The WTF-8 implementation is adapted from @SimonSapin's [implementation](https://github.com/SimonSapin/rust-wtf8). To make this work, some encodign and decoding functionality in `libcore` is now exported in a "raw" fashion reusable for WTF-8. These exports are *not* reexported in `std`, nor are they stable.

Add ffi::OsString and OsStr

Per [RFC 517](https://github.com/rust-lang/rfcs/pull/575/), this commit
introduces platform-native strings. The API is essentially as described
in the RFC.

The WTF-8 implementation is adapted from @SimonSapin's
[implementation](https://github.com/SimonSapin/rust-wtf8). To make this
work, some encodign and decoding functionality in `libcore` is now
exported in a "raw" fashion reusable for WTF-8. These exports are *not*
reexported in `std`, nor are they stable.

Auto merge of #21079 - huonw:chained-cmp-tweaks, r=pnkfelix

First commit is mindless groundwork for the second one, to make the spans (arguably) nicer.

### before

```
require-parens-for-chained-comparison.rs:14:20: 14:22 error: Chained comparison operators require parentheses
require-parens-for-chained-comparison.rs:14     false == false == false;
                                                               ^~
require-parens-for-chained-comparison.rs:17:16: 17:17 error: Chained comparison operators require parentheses
require-parens-for-chained-comparison.rs:17     false == 0 < 2;
                                                           ^
require-parens-for-chained-comparison.rs:20:8: 20:9 error: Chained comparison operators require parentheses
require-parens-for-chained-comparison.rs:20     f<X>();
                                                   ^
require-parens-for-chained-comparison.rs:20:8: 20:9 help: Use ::< instead of < if you meant to specify type arguments.
require-parens-for-chained-comparison.rs:20     f<X>();
                                                   ^
```

### after

```
require-parens-for-chained-comparison.rs:14:11: 14:22 error: chained comparison operators require parentheses
require-parens-for-chained-comparison.rs:14     false == false == false;
                                                      ^~~~~~~~~~~
require-parens-for-chained-comparison.rs:17:11: 17:17 error: chained comparison operators require parentheses
require-parens-for-chained-comparison.rs:17     false == 0 < 2;
                                                      ^~~~~~
require-parens-for-chained-comparison.rs:20:6: 20:9 error: chained comparison operators require parentheses
require-parens-for-chained-comparison.rs:20     f<X>();
                                                 ^~~
require-parens-for-chained-comparison.rs:20:6: 20:9 help: use `::<...>` instead of `<...>` if you meant to specify type arguments
require-parens-for-chained-comparison.rs:20     f<X>();
                                                 ^~~
```

don't run pretty-rpass for tests using #![main]

debuginfo: Improve DWARF representation of unsized vecs and strings.

debuginfo: Extend option-like-enum test case to contain nested discriminants.

Tweak chained comparison errors.

Lower case and give a more precise span: from operator to operator, not
just the last one.

Add the span of the operator itself to ast::BinOp.

Fix infinite recursion in the compiler.

This was detected by the unconditional_recursion lint.

Add a lint to detect unconditional recursion.

E.g. `fn foo() { foo() }`, or, more subtlely

    impl Foo for Box<Foo+'static> {
        fn bar(&self) {
            self.bar();
        }
    }

The compiler will warn and point out the points where recursion occurs,
if it determines that the function cannot return without calling itself.

Closes #17899.

Auto merge of #21542 - vadimcn:fix-exported-macro-paths, r=alexcrichton

... so that `super::foo` gets serialized as `super:: foo`, rather than `super :: foo`.

Implement winsize() for unix.

Rollup merge of #21579 - brson:beta, r=alexcrichton

Rollup merge of #21573 - japaric:gh19660, r=huonw

closes #19660

Rollup merge of #21560 - steveklabnik:remove_discuss_link, r=sanxiyn

We've had some new people post questions to Discuss, so this should be removed for now. http://discuss.rust-lang.org/t/did-you-mean-to-point-to-discuss-rust-lang-org-as-a-user-forum/1381

Rollup merge of #21550 - FlaPer87:fix-compiletest, r=huonw

Rollup merge of #21541 - steveklabnik:gh13179, r=huonw

Fixes #13179

Rollup merge of #21540 - steveklabnik:gh13082, r=brson

Fixes #13082

r? @brson

Rollup merge of #21539 - iKevinY:pythonic, r=alexcrichton

Also makes `errorck.py` and `tidy.py` compatible with Python 3.

Rollup merge of #21535 - steveklabnik:gh19759, r=alexcrichton

Fixes #19759

I'm not going to bother to do more than this, as it'll end up getting re-done as part of the reference work, but at least it's correct now.

Rollup merge of #21532 - steveklabnik:gh21531, r=alexcrichton

Fixes #21531

Rollup merge of #21504 - blackbeam:has_test_signature_fix, r=alexcrichton

Fix for `error: functions used as tests must have signature fn() -> ()` and `error: functions used as benches must have signature `fn(&mut Bencher) -> ()` in case of explicit return type declaration.

Rollup merge of #21498 - quantheory:master, r=alexcrichton

While trying to experiment with changes for some other issues, I noticed that the test for #15149 was failing because I have `/tmp` mounted as `noexec` on my Linux box, and that test tries to run out of a temporary directory. This may not be the most common case, but it's not rare by any means, because executing from a world-writable directory is a security problem. (For this reason, some kernel options/mods such as grsecurity also can prevent this on Linux.) I instead copy the executable to a directory created in the build tree, following the example of the `process-spawn-with-unicode-params` test.

After I made that change, I noticed that I'd made a mistake, but the test was still passing, because the "parent" process was not actually checking the status of the "child" process, meaning that the assertion in the child could never cause the overall test to fail. (I don't know if this has always been the case, or if it has something to do with either Windows or a change in the semantics of `spawn`.) So I fixed the test so that it would fail correctly, then fixed my original mistake so that it would pass again.

The one big problem with this is that I haven't set up any machines of my own so that I can build on Windows, which is the platform this test was targeted at in the first place! That might take a while to address on my end. So I need someone else to check this on Windows.

Rollup merge of #21445 - P1start:no-implemented, r=nikomatsakis

Rollup merge of #21108 - steveklabnik:gh16969, r=alexcrichton

Fixes #16969

Auto merge of #21537 - tbu-:pr_coretest_fmt, r=alexcrichton

r? @alexcrichton

Part of #20792 that wasn't done in your commit.

Fix beta naming

Auto merge of #21458 - alexcrichton:remove-some-code, r=brson

The base64 support can be trivially removed (there are no in-tree users) and the regex support is a whopping 4k lines of code to maintain for a few non-critical uses in-tree. This commit migrates all current users in-tree away from regexes to custom matching code.

The most critical application affected by this migration is that the testing framework no longer considers filter arguments as regexes, but rather just a substring matching. It is expected that more featureful testing frameworks can evolve outside of the in-tree libtest version over time which can properly depend on libregex from crates.io.

[breaking-change]

regex: Remove in-tree version

The regex library was largely used for non-critical aspects of the compiler and
various external tooling. The library at this point is duplicated with its
out-of-tree counterpart and as such imposes a bit of a maintenance overhead as
well as compile time hit for the compiler itself.

The last major user of the regex library is the libtest library, using regexes
for filters when running tests. This removal means that the filtering has gone
back to substring matching rather than using regexes.

serialize: Remove base64 support

This is not used in-tree and is available out-of-tree

Fix tidy.

Store a method-from-trait's impl in some cases when it is known.

This allows one to look at an `ExprMethodCall` `foo.bar()` where `bar`
is a method in some trait and (sometimes) extract the `impl` that `bar`
is defined in, e.g.

    trait Foo {
        fn bar(&self);
    }

    impl Foo for uint { // <A>
        fn bar(&self) {}
    }

    fn main() {
        1u.bar(); // impl_def_id == Some(<A>)
    }

This definitely doesn't handle all cases, but is correct when it is
known, meaning it should only be used for certain linting/heuristic
purposes; no safety analysis.

add test for issue 19660

closes #19660

std: Relax Result::unwrap() to Debug

This commit relaxes the bound on `Result::unwrap` and `Result::unwrap_err` from
the `Display` trait to the `Debug` trait for generating an error message about
the unwrapping operation.

This commit is a breaking change and any breakage should be mitigated by
ensuring that `Debug` is implemented on the relevant type.

[breaking-change]

Resolve type vars when inferring borrow kinds for upvars

As part of #20432, upvar checking is now moved out of regionck to its
own pass and before regionck. But regionck has some type resolution of
its own. Without them, now separated upvar checking may be tripped over
by residue `ty_infer`.

Closes #21306

remove discuss link from the book

Remove lang items from the reference.

Fixes #19759

Auto merge of #21503 - ahmedcharles:remove-test-features, r=alexcrichton

I think this is all of the remaining code to be removed. Let me know if I've missed anything.

Closes #19145

Soup up 'method syntax' chapter of the Book

Fixes #16969

Fix compile test for stage0

Auto merge of #21453 - Stebalien:exactsize, r=alexcrichton

Specifically:
 * Peekable
 * ByRef
 * Skip
 * Take
 * Fuse

Fixes  #20547

Clean up `isize`, `usize`. Don't bench allocation but formatting.

Auto merge of #21382 - tshepang:improve-iter-docs, r=alexcrichton

Added test.

Use a regex to perform license check

Make `make tidy` Python scripts more idiomatic

Also makes errorck.py and tidy.py compatible with Python 3.

Auto merge of #21374 - dgrunwald:range-notation-fixes, r=nikomatsakis

This PR is intended as alternative to #20958. It fixes the same grammar inconsistencies, but does not increase the operator precedence of `..`, leaving it at the same level as the assignment operator.
For previous discussion, see #20811 and #20958.

Grammar changes:
* allow `for _ in 1..i {}` (fixes #20241)
* allow `for _ in 1.. {}` as infinite loop
* prevent use of range notation in contexts where only operators of high precedence are expected (fixes #20811)

Parser code cleanup:
* remove `RESTRICTION_NO_DOTS`
* make `AS_PREC` const and follow naming convention
* make `min_prec` inclusive

r? nikomatsakis

Check for make in configure

Fixes #13179

Language tweak in configure

Fixes #13082

Auto merge of #20221 - liigo:rustdoc-sidebar-tooltips-v3, r=alexcrichton

This pull request add tooltips to most links of sidebar.
The tooltips display "summary line" of items' document.

Some lengthy/annoying raw markdown code are eliminated, such as links and headers.
- `[Rust](http://rust-lang.org)` displays as `Rust` (no URLs)
- `# header` displays as `header` (no `#`s)

Some inline spans, e.g. ``` `code` ``` and ```*emphasis*```, are kept as they are, for better readable.

I've make sure `&` `'` `"` `<` and `>` are properly displayed in tooltips, for example, `&'a Option<T>`.

Online preview: http://liigo.com/tmp/tooltips/std/index.html

@alexcrichton @steveklabnik since you have reviewed my previous ([v1](https://github.com/rust-lang/rust/pull/13014),[v2](https://github.com/rust-lang/rust/pull/16448)) PRs of this serise, which have been closed for technical reasons. Thank you.

Suppress space after idents with "ModName" style in serialization of exported macros.
Fixes issue #20701

Add a random number string to the end of the issue-15149 test's child directory's name, and remove the directory after a successful test.

Auto merge of #21530 - steveklabnik:rollup, r=steveklabnik

- Successful merges: #21056, #21091, #21217, #21325, #21373, #21450, #21471, #21472, #21477, #21479, #21484, #21496, #21500, #21516, #21517
- Failed merges:

remove weird sentence

Fixes #21531

iter: miscellaneous improvements

There are doc improvements as well as these conversions:

- int/uint -> isize/usize
- u/i -> us/is

Rollup merge of #21517 - SeanTAllen:master, r=steveklabnik

Lifetime elision documentation was reference a previously existing function
that doesn't exist. After talking with Steve Klabnik, I confirmed the correct
function to be referenced and updated documentation accordingly.

Rollup merge of #21516 - steveklabnik:document_box, r=alexcrichton

Rollup merge of #21500 - richo:power-fixups, r=alexcrichton

When I wrote this code, my janky shim to verify the constants didn't
work as intended.

This fixes everything I've run into since merge, which is hopefully
everything.

Rollup merge of #21496 - ColonelJ:paatch, r=alexcrichton

Make compiletest set an environment variable so that on Windows 32-bit test executables containing certain substrings (e.g. 'install', 'setup', 'update', 'patch') are not blocked by UAC's Installer Detection Technology.

Rollup merge of #21484 - steveklabnik:connect_docs, r=alexcrichton

Rollup merge of #21479 - steveklabnik:rustdoc_to_book, r=alexcrichton

Fixes #21430

Rollup merge of #21477 - steveklabnik:gh21440, r=alexcrichton

Fixes #21440"

Rollup merge of #21472 - steveklabnik:gh21469, r=huonw

Fixes #21469.

Rollup merge of #21471 - michaelwoerister:associated-types, r=alexcrichton

This should fix issue #20797 (but I don't want to close it automatically).
As the actual fix is very small this would be a perfect candidate for a rollup.

Rollup merge of #21450 - alfie:book2, r=steveklabnik

Compiling won't produce an executable just yet because (as stated in the next
paragraph) there are errors. By removing this sentance, the reader won't get
confused when they expect a successful compile i.e. if they don't read ahead one
paragraph, they are going to be checking their code and wondering why it's not
compiling.

Rollup merge of #21373 - angst7:pointer_doc_1, r=steveklabnik

Updated incorrect error messages, and removed explicit return statements from example code.

Rollup merge of #21325 - nagisa:thread-panicking, r=steveklabnik

Previous wording wasn’t clear about its actual behaviour. It could be
interpreted as answering either:

* Can current thread panic?
* Is current thread unwinding because of panic?

r? @steveklabnik

Rollup merge of #21217 - Gankro:docadoca, r=steveklabnik

Not sure on what *exactly* should be said here, but I think this is the most important bit. This PR also establishes conventions for describing performance minimally.

I suggest to describe preformance for individual methods we use a `# Performance` heading. Not sure if we should have

```
# Performance: O(1)
details details
```
or

```
# Performance:
O(1)
details details
```

Since I think most methods don't need discussion, the former seems more resonable. But it's kind of weird to have info "in" the heading.

r? @steveklabnik

Rollup merge of #21091 - steveklabnik:add_attribute_docs, r=huonw

Fixes #6444

I need some help with the macro docs here, as I couldn't figure it out. @kmcallister @eddyb  or someone else?

Rollup merge of #21056 - steveklabnik:return_strings, r=sfackler

When we moved over to the book, we lost this.

Document remaining attributes and macros

Fixes #6444

Beef up docs for Box<T>

Fix some grammar inconsistencies for the '..' range notation.

Grammar changes:
* allow 'for _ in 1..i {}' (fixes #20241)
* allow 'for _ in 1.. {}' as infinite loop
* prevent use of range notation in contexts where only operators of high
  precedence are expected (fixes #20811)

Parser code cleanup:
* remove RESTRICTION_NO_DOTS
* make AS_PREC const and follow naming convention
* make min_prec inclusive

Attempt fix for assertion on Windows, and add extra output for debugging.

Better inline assembly errors

Add test for `has_test_signature` for explicit return

Return the String guide to its former glory.

When we moved over to the book, we lost this.

Reference correct fn during lifetime ellision

Auto merge of #21078 - js-ojus:master, r=steveklabnik

* Include an illustration of a function that accepts two closures.

Auto merge of #21187 - oli-obk:feature/hint_struct_field_access, r=alexcrichton

rebase and fix of #19267

libsyntax: fix for `has_test_signature`

core::marker: s/task/thread/

Add `#[rustc_on_unimplemented]` annotations to more traits

Remove remaining stats and boxplot code.

Make fmt_metrics() part of the impl.

Remove save() and load().

Cleanup write_run_finish().

powerpc: Fix liblibc

When I wrote this code, my janky shim to verify the constants didn't
work as intended.

This fixes everything I've run into since merge, which is hopefully
everything.

Auto merge of #21473 - alexcrichton:rollup, r=alexcrichton