Merge pull request #1273 from bjorn3/jit_pull_symbols

Use pull instead of push based model for getting dylib symbols in the jit

Use pull instead of push based model for getting dylib symbols in the jit

This avoids having to parse the dylibs to get all symbols and matches
the way the dynamic linker resolves symbols. Furthermore it fixes the
jit on Windows.

Sync from rust 4d45b0745ab227feb9000bc15713ade4b99241ea

Rustfmt

Merge commit 'e9d1a0a7b0b28dd422f1a790ccde532acafbf193' into sync_cg_clif-2022-08-24

Rustup to rustc 1.65.0-nightly (060e47f74 2022-08-23)

Sync from rust 4a24f08ba43166cfee86d868b3fe8612aec6faca

Merge pull request #1271 from bjorn3/parallel_comp_support

Support compiling codegen units in parallel

Add fixme

Tune drop_excess_capacity

Make sure to count reused cgus towards the count of jobs done

Add some self profiler calls

Compile functions from clif ir to object code in parallel

Use correct CguReuse variant

Do asm compilation and object file emission in parallel

Add a jobserver based concurrency limiter

Store symbol name as owned string

Revert "Avoid masking shift amounts (#1268)"

This reverts commit 156bda8bc708cca60e9de18743d833c8d97dd7ff.

This breaks the mir_overflow_off rustc test:
https://github.com/bjorn3/rustc_codegen_cranelift/runs/7971362755?check_suite_focus=true#step:7:2904

Use native scalar `fma` instruction (#1267)

Cranelift 0.87 now supports lowering `fma` as a libcall on x86 [0].
With 0.88 enabling the native x86 instruction under the `has_fma` flag.

aarch64 and s390x already support this as a native instruction, so it's
nice that we emit it for those.

We can't lower the SIMD version using the `fma` instruction since the
lowering can fail if the x86 `has_fma` flag is not enabled. Cranelift
doesn't yet know how to fallback for these cases

[0]: https://github.com/bytecodealliance/wasmtime/commit/709716bb8e6adaf7e65f3497168af23ce0cf09ef

Avoid masking shift amounts (#1268)

Cranelift 0.87 now follows its own documentation regarding
shift amounts, and implicitly masks them if the arch requires it. [0]

[0]: https://github.com/bytecodealliance/wasmtime/commit/05089321740a07757dff0a285176b2651a49aae2

Update to Cranelift 0.87.0

Rollup merge of #100822 - WaffleLapkin:no_offset_question_mark, r=scottmcm

Replace most uses of `pointer::offset` with `add` and `sub`

As PR title says, it replaces `pointer::offset` in compiler and standard library with `pointer::add` and `pointer::sub`. This generally makes code cleaner, easier to grasp and removes (or, well, hides) integer casts.

This is generally trivially correct, `.offset(-constant)` is just `.sub(constant)`, `.offset(usized as isize)` is just `.add(usized)`, etc. However in some cases we need to be careful with signs of things.

r? ````@scottmcm````

_split off from #100746_

Replace most uses of `pointer::offset` with `add` and `sub`

Merge pull request #1266 from bjorn3/parallel_comp_refactor2

Refactorings for enabling parallel compilation (part 2)

Rollup merge of #100208 - RalfJung:dyn-upcast-nop, r=petrochenkov

make NOP dyn casts not require anything about the vtable

As suggested [on Zulip](https://rust-lang.zulipchat.com/#narrow/stream/144729-t-types/topic/dyn-upcasting.20stabilization/near/292151439). This matches what the codegen backends already do, and what Miri did do until https://github.com/rust-lang/rust/pull/99420 when I made it super extra paranoid.

Small cleanup

Move Span lowering from debuginfo finalization to codegen

This removes the dependency on TyCtxt from the debuginfo finalization
code.

Make line_program_add_file a DebugContext method

Move set_function_span earlier

Move FunctionDebugContext creation to codegen_fn

Introduce FunctionDebugContext

This will make it easier to move TyCtxt requiring operations before clif
ir compilation.

Use walk_chain for function span too

This is a correctness fix

Remove TyCtxt from DebugContext

And explicitly thread it through everwhere it is needed.

Remove Instance param of DebugContext::define_function

Remove stub local debuginfo implementation

It isn't actually wired up and temporarily removing it will make changes
to the debuginfo generation code much simpler.

Register debuginfo for lazy jit shim

Merge pull request #1265 from afonso360/stack_store

Use `stack_store` instead of `stack_addr`+`store` when building structs

Remove TyCtxt parameter from compile_fn

Use `stack_store` instead of `stack_addr`+`store` when building structs

Remove TyCtxt field from CodegenCx

Replace instance param of write_clif_file with symbol_name

Remove optimize_function

It currently doesn't have any optimizations at all.

Rustup to rustc 1.65.0-nightly (801821d15 2022-08-14)

Sync from rust 6ce76091c7cef21692a15dce1f0a4c415d245be4

Work around new asm! usage in measureme

This is necessary to fix rustc bootstraps

Merge pull request #1264 from bjorn3/parallel_comp_refactor

Refactorings for enabling parallel compilation (part 1)

Remove TyCtxt parameter from emit_cgu

TyCtxt isn't available on background threads.

Move error reporting out of emit_cgu

Error reporting requires a Session, which isn't available on background
threads.

Rename abi-checker patch (#1262)

Merge pull request #1255 from afonso360/abi-checker

Add abi-checker to y.rs and run it on CI

Disable some abi-checker tests

Update abi-checker version

Move copy to incr comp cache to codegen join phase

The copy depends on Session, which is only available on the main thread.
As such the copy can't be done on future codegen threads.

Stream object file to disk

This reduces memory usage and may improve performance slightly.

Move build_isa call into make_module

Don't attempt to do incr comp for the allocator shim

The allocator shim doesn't get reused and the allocator shim is just
under 2kb, so reusing it is likely more expensive than regenerating it.

Give fields of ModuleCodegenResult names

Merge pull request #1260 from uweigand/s390x-ignore-aligntest

Ignore ptr_bitops_tagging test on s390x

Enable inline asm on macOS

Remove the partial linking hack for global asm support

Ignore ptr_bitops_tagging test on s390x

This test requires dynamic stack re-alignment on s390x, which is
currently unsupported (see issue #1258).

Don't take TyCtxt as argument for compile_global_asm

This allows it to be executed on a background thread.

Merge pull request #1257 from uweigand/memcpy-align

Fix alignment flag for emit_small_memory_copy

Fix alignment flag for emit_small_memory_copy

Do not unconditionally pass the "aligned" MemFlag when calling
emit_small_memory_copy.  Instead, allow the back end to rely on
the alignment info passed separately to this routine.

Move some sess.fatal calls out of compile_global_asm

Extract global_asm module

Introduce OngoingCodegen type

Return ModuleCodegenResult from reuse_workproduct_for_cgu

Move cached_context out of CodegenCx

Split non-compile parts of codegen_fn out into a separate function

The new codegen_and_compile_fn function only calls codegen_fn and then
compile_fn. This makes it possible for both parts to be called
separately by the driver.

Move some code into codegen_fn_content

Remove most trap functions and remove all trapnz usages

Rustup to rustc 1.65.0-nightly (d394408fb 2022-08-07)

Sync from rust f03ce30962cf1b2a5158667eabae8bf6e8d1cb03

also update anyhow in codegen_cranelift

make NOP dyn casts not require anything about the vtable

Move abi-checker to y.rs test

Pass all pairs to abi-checker

Add abi-checker to clean_all.sh

Test adding abi-checker to CI

Initial ABI Checker support

Fix previous commit

Disable incr comp globally on CI

Re-introduce test.sh as convenience wrapper around ./y.rs test

Update dependencies

Merge pull request #1254 from afonso360/float-intrinsics-fix

Use native cranelift instructions when lowering float intrinsics

Use native cranelift instructions when lowering float intrinsics

Merge pull request #1253 from afonso360/msvc-nosysroot

Fix `no_sysroot` testsuite for MSVC environments

Misc Cleanups

Add windows support to mini_core tests

Fix mini_core printf linking on windows

Link against legacy_stdio_definitions on windows which provides printf as a linkable symbol.

Disable JIT on windows

Merge pull request #1252 from afonso360/tests-rs

Move test script to y.rs

Rustfmt

Don't pass RUSTFLAGS to rustc in tests

Assume host target in get_file_name

Don't run tests on Windows CI

Cleanup meaningless changes

Compare lines iterator instead of full output

This avoids differences in line endings.

Log cloned regex output