src/librustc_codegen_llvm/builder.rs

   1 use crate::common::Funclet;
   2 use crate::context::CodegenCx;
   3 use crate::llvm::{self, BasicBlock, False};
   4 use crate::llvm::{AtomicOrdering, AtomicRmwBinOp, SynchronizationScope};
   5 use crate::type_::Type;
   6 use crate::type_of::LayoutLlvmExt;
   7 use crate::value::Value;
   8 use libc::{c_char, c_uint};
   9 use rustc_codegen_ssa::base::to_immediate;
  10 use rustc_codegen_ssa::common::{IntPredicate, RealPredicate, TypeKind};
  11 use rustc_codegen_ssa::mir::operand::{OperandRef, OperandValue};
  12 use rustc_codegen_ssa::mir::place::PlaceRef;
  13 use rustc_codegen_ssa::traits::*;
  14 use rustc_codegen_ssa::MemFlags;
  15 use rustc_data_structures::const_cstr;
  16 use rustc_data_structures::small_c_str::SmallCStr;
  17 use rustc_hir::def_id::DefId;
  18 use rustc_middle::ty::layout::TyAndLayout;
  19 use rustc_middle::ty::{self, Ty, TyCtxt};
  20 use rustc_span::sym;
  21 use rustc_target::abi::{self, Align, Size};
  22 use rustc_target::spec::{HasTargetSpec, Target};
  23 use std::borrow::Cow;
  24 use std::ffi::CStr;
  25 use std::iter::TrustedLen;
  26 use std::ops::{Deref, Range};
  27 use std::ptr;
  28 use tracing::debug;
  29
  30 // All Builders must have an llfn associated with them
  31 #[must_use]
  32 pub struct Builder<'a, 'll, 'tcx> {
  33     pub llbuilder: &'ll mut llvm::Builder<'ll>,
  34     pub cx: &'a CodegenCx<'ll, 'tcx>,
  35 }
  36
  37 impl Drop for Builder<'a, 'll, 'tcx> {
  38     fn drop(&mut self) {
  39         unsafe {
  40             llvm::LLVMDisposeBuilder(&mut *(self.llbuilder as *mut _));
  41         }
  42     }
  43 }
  44
  45 // FIXME(eddyb) use a checked constructor when they become `const fn`.
  46 const EMPTY_C_STR: &CStr = unsafe { CStr::from_bytes_with_nul_unchecked(b"\0") };
  47
  48 /// Empty string, to be used where LLVM expects an instruction name, indicating
  49 /// that the instruction is to be left unnamed (i.e. numbered, in textual IR).
  50 // FIXME(eddyb) pass `&CStr` directly to FFI once it's a thin pointer.
  51 const UNNAMED: *const c_char = EMPTY_C_STR.as_ptr();
  52
  53 impl BackendTypes for Builder<'_, 'll, 'tcx> {
  54     type Value = <CodegenCx<'ll, 'tcx> as BackendTypes>::Value;
  55     type Function = <CodegenCx<'ll, 'tcx> as BackendTypes>::Function;
  56     type BasicBlock = <CodegenCx<'ll, 'tcx> as BackendTypes>::BasicBlock;
  57     type Type = <CodegenCx<'ll, 'tcx> as BackendTypes>::Type;
  58     type Funclet = <CodegenCx<'ll, 'tcx> as BackendTypes>::Funclet;
  59
  60     type DIScope = <CodegenCx<'ll, 'tcx> as BackendTypes>::DIScope;
  61     type DIVariable = <CodegenCx<'ll, 'tcx> as BackendTypes>::DIVariable;
  62 }
  63
  64 impl abi::HasDataLayout for Builder<'_, '_, '_> {
  65     fn data_layout(&self) -> &abi::TargetDataLayout {
  66         self.cx.data_layout()
  67     }
  68 }
  69
  70 impl ty::layout::HasTyCtxt<'tcx> for Builder<'_, '_, 'tcx> {
  71     fn tcx(&self) -> TyCtxt<'tcx> {
  72         self.cx.tcx
  73     }
  74 }
  75
  76 impl ty::layout::HasParamEnv<'tcx> for Builder<'_, '_, 'tcx> {
  77     fn param_env(&self) -> ty::ParamEnv<'tcx> {
  78         self.cx.param_env()
  79     }
  80 }
  81
  82 impl HasTargetSpec for Builder<'_, '_, 'tcx> {
  83     fn target_spec(&self) -> &Target {
  84         &self.cx.target_spec()
  85     }
  86 }
  87
  88 impl abi::LayoutOf for Builder<'_, '_, 'tcx> {
  89     type Ty = Ty<'tcx>;
  90     type TyAndLayout = TyAndLayout<'tcx>;
  91
  92     fn layout_of(&self, ty: Ty<'tcx>) -> Self::TyAndLayout {
  93         self.cx.layout_of(ty)
  94     }
  95 }
  96
  97 impl Deref for Builder<'_, 'll, 'tcx> {
  98     type Target = CodegenCx<'ll, 'tcx>;
  99
 100     fn deref(&self) -> &Self::Target {
 101         self.cx
 102     }
 103 }
 104
 105 impl HasCodegen<'tcx> for Builder<'_, 'll, 'tcx> {
 106     type CodegenCx = CodegenCx<'ll, 'tcx>;
 107 }
 108
 109 macro_rules! builder_methods_for_value_instructions {
 110     ($($name:ident($($arg:ident),*) => $llvm_capi:ident),+ $(,)?) => {
 111         $(fn $name(&mut self, $($arg: &'ll Value),*) -> &'ll Value {
 112             unsafe {
 113                 llvm::$llvm_capi(self.llbuilder, $($arg,)* UNNAMED)
 114             }
 115         })+
 116     }
 117 }
 118
 119 impl BuilderMethods<'a, 'tcx> for Builder<'a, 'll, 'tcx> {
 120     fn new_block<'b>(cx: &'a CodegenCx<'ll, 'tcx>, llfn: &'ll Value, name: &'b str) -> Self {
 121         let mut bx = Builder::with_cx(cx);
 122         let llbb = unsafe {
 123             let name = SmallCStr::new(name);
 124             llvm::LLVMAppendBasicBlockInContext(cx.llcx, llfn, name.as_ptr())
 125         };
 126         bx.position_at_end(llbb);
 127         bx
 128     }
 129
 130     fn with_cx(cx: &'a CodegenCx<'ll, 'tcx>) -> Self {
 131         // Create a fresh builder from the crate context.
 132         let llbuilder = unsafe { llvm::LLVMCreateBuilderInContext(cx.llcx) };
 133         Builder { llbuilder, cx }
 134     }
 135
 136     fn build_sibling_block(&self, name: &str) -> Self {
 137         Builder::new_block(self.cx, self.llfn(), name)
 138     }
 139
 140     fn llbb(&self) -> &'ll BasicBlock {
 141         unsafe { llvm::LLVMGetInsertBlock(self.llbuilder) }
 142     }
 143
 144     fn position_at_end(&mut self, llbb: &'ll BasicBlock) {
 145         unsafe {
 146             llvm::LLVMPositionBuilderAtEnd(self.llbuilder, llbb);
 147         }
 148     }
 149
 150     fn ret_void(&mut self) {
 151         unsafe {
 152             llvm::LLVMBuildRetVoid(self.llbuilder);
 153         }
 154     }
 155
 156     fn ret(&mut self, v: &'ll Value) {
 157         unsafe {
 158             llvm::LLVMBuildRet(self.llbuilder, v);
 159         }
 160     }
 161
 162     fn br(&mut self, dest: &'ll BasicBlock) {
 163         unsafe {
 164             llvm::LLVMBuildBr(self.llbuilder, dest);
 165         }
 166     }
 167
 168     fn cond_br(
 169         &mut self,
 170         cond: &'ll Value,
 171         then_llbb: &'ll BasicBlock,
 172         else_llbb: &'ll BasicBlock,
 173     ) {
 174         unsafe {
 175             llvm::LLVMBuildCondBr(self.llbuilder, cond, then_llbb, else_llbb);
 176         }
 177     }
 178
 179     fn switch(
 180         &mut self,
 181         v: &'ll Value,
 182         else_llbb: &'ll BasicBlock,
 183         cases: impl ExactSizeIterator<Item = (u128, &'ll BasicBlock)> + TrustedLen,
 184     ) {
 185         let switch =
 186             unsafe { llvm::LLVMBuildSwitch(self.llbuilder, v, else_llbb, cases.len() as c_uint) };
 187         for (on_val, dest) in cases {
 188             let on_val = self.const_uint_big(self.val_ty(v), on_val);
 189             unsafe { llvm::LLVMAddCase(switch, on_val, dest) }
 190         }
 191     }
 192
 193     fn invoke(
 194         &mut self,
 195         llfn: &'ll Value,
 196         args: &[&'ll Value],
 197         then: &'ll BasicBlock,
 198         catch: &'ll BasicBlock,
 199         funclet: Option<&Funclet<'ll>>,
 200     ) -> &'ll Value {
 201         debug!("invoke {:?} with args ({:?})", llfn, args);
 202
 203         let args = self.check_call("invoke", llfn, args);
 204         let bundle = funclet.map(|funclet| funclet.bundle());
 205         let bundle = bundle.as_ref().map(|b| &*b.raw);
 206
 207         unsafe {
 208             llvm::LLVMRustBuildInvoke(
 209                 self.llbuilder,
 210                 llfn,
 211                 args.as_ptr(),
 212                 args.len() as c_uint,
 213                 then,
 214                 catch,
 215                 bundle,
 216                 UNNAMED,
 217             )
 218         }
 219     }
 220
 221     fn unreachable(&mut self) {
 222         unsafe {
 223             llvm::LLVMBuildUnreachable(self.llbuilder);
 224         }
 225     }
 226
 227     builder_methods_for_value_instructions! {
 228         add(a, b) => LLVMBuildAdd,
 229         fadd(a, b) => LLVMBuildFAdd,
 230         sub(a, b) => LLVMBuildSub,
 231         fsub(a, b) => LLVMBuildFSub,
 232         mul(a, b) => LLVMBuildMul,
 233         fmul(a, b) => LLVMBuildFMul,
 234         udiv(a, b) => LLVMBuildUDiv,
 235         exactudiv(a, b) => LLVMBuildExactUDiv,
 236         sdiv(a, b) => LLVMBuildSDiv,
 237         exactsdiv(a, b) => LLVMBuildExactSDiv,
 238         fdiv(a, b) => LLVMBuildFDiv,
 239         urem(a, b) => LLVMBuildURem,
 240         srem(a, b) => LLVMBuildSRem,
 241         frem(a, b) => LLVMBuildFRem,
 242         shl(a, b) => LLVMBuildShl,
 243         lshr(a, b) => LLVMBuildLShr,
 244         ashr(a, b) => LLVMBuildAShr,
 245         and(a, b) => LLVMBuildAnd,
 246         or(a, b) => LLVMBuildOr,
 247         xor(a, b) => LLVMBuildXor,
 248         neg(x) => LLVMBuildNeg,
 249         fneg(x) => LLVMBuildFNeg,
 250         not(x) => LLVMBuildNot,
 251         unchecked_sadd(x, y) => LLVMBuildNSWAdd,
 252         unchecked_uadd(x, y) => LLVMBuildNUWAdd,
 253         unchecked_ssub(x, y) => LLVMBuildNSWSub,
 254         unchecked_usub(x, y) => LLVMBuildNUWSub,
 255         unchecked_smul(x, y) => LLVMBuildNSWMul,
 256         unchecked_umul(x, y) => LLVMBuildNUWMul,
 257     }
 258
 259     fn fadd_fast(&mut self, lhs: &'ll Value, rhs: &'ll Value) -> &'ll Value {
 260         unsafe {
 261             let instr = llvm::LLVMBuildFAdd(self.llbuilder, lhs, rhs, UNNAMED);
 262             llvm::LLVMRustSetHasUnsafeAlgebra(instr);
 263             instr
 264         }
 265     }
 266
 267     fn fsub_fast(&mut self, lhs: &'ll Value, rhs: &'ll Value) -> &'ll Value {
 268         unsafe {
 269             let instr = llvm::LLVMBuildFSub(self.llbuilder, lhs, rhs, UNNAMED);
 270             llvm::LLVMRustSetHasUnsafeAlgebra(instr);
 271             instr
 272         }
 273     }
 274
 275     fn fmul_fast(&mut self, lhs: &'ll Value, rhs: &'ll Value) -> &'ll Value {
 276         unsafe {
 277             let instr = llvm::LLVMBuildFMul(self.llbuilder, lhs, rhs, UNNAMED);
 278             llvm::LLVMRustSetHasUnsafeAlgebra(instr);
 279             instr
 280         }
 281     }
 282
 283     fn fdiv_fast(&mut self, lhs: &'ll Value, rhs: &'ll Value) -> &'ll Value {
 284         unsafe {
 285             let instr = llvm::LLVMBuildFDiv(self.llbuilder, lhs, rhs, UNNAMED);
 286             llvm::LLVMRustSetHasUnsafeAlgebra(instr);
 287             instr
 288         }
 289     }
 290
 291     fn frem_fast(&mut self, lhs: &'ll Value, rhs: &'ll Value) -> &'ll Value {
 292         unsafe {
 293             let instr = llvm::LLVMBuildFRem(self.llbuilder, lhs, rhs, UNNAMED);
 294             llvm::LLVMRustSetHasUnsafeAlgebra(instr);
 295             instr
 296         }
 297     }
 298
 299     fn checked_binop(
 300         &mut self,
 301         oop: OverflowOp,
 302         ty: Ty<'_>,
 303         lhs: Self::Value,
 304         rhs: Self::Value,
 305     ) -> (Self::Value, Self::Value) {
 306         use rustc_ast::ast::IntTy::*;
 307         use rustc_ast::ast::UintTy::*;
 308         use rustc_middle::ty::{Int, Uint};
 309
 310         let new_kind = match ty.kind {
 311             Int(t @ Isize) => Int(t.normalize(self.tcx.sess.target.ptr_width)),
 312             Uint(t @ Usize) => Uint(t.normalize(self.tcx.sess.target.ptr_width)),
 313             ref t @ (Uint(_) | Int(_)) => t.clone(),
 314             _ => panic!("tried to get overflow intrinsic for op applied to non-int type"),
 315         };
 316
 317         let name = match oop {
 318             OverflowOp::Add => match new_kind {
 319                 Int(I8) => "llvm.sadd.with.overflow.i8",
 320                 Int(I16) => "llvm.sadd.with.overflow.i16",
 321                 Int(I32) => "llvm.sadd.with.overflow.i32",
 322                 Int(I64) => "llvm.sadd.with.overflow.i64",
 323                 Int(I128) => "llvm.sadd.with.overflow.i128",
 324
 325                 Uint(U8) => "llvm.uadd.with.overflow.i8",
 326                 Uint(U16) => "llvm.uadd.with.overflow.i16",
 327                 Uint(U32) => "llvm.uadd.with.overflow.i32",
 328                 Uint(U64) => "llvm.uadd.with.overflow.i64",
 329                 Uint(U128) => "llvm.uadd.with.overflow.i128",
 330
 331                 _ => unreachable!(),
 332             },
 333             OverflowOp::Sub => match new_kind {
 334                 Int(I8) => "llvm.ssub.with.overflow.i8",
 335                 Int(I16) => "llvm.ssub.with.overflow.i16",
 336                 Int(I32) => "llvm.ssub.with.overflow.i32",
 337                 Int(I64) => "llvm.ssub.with.overflow.i64",
 338                 Int(I128) => "llvm.ssub.with.overflow.i128",
 339
 340                 Uint(U8) => "llvm.usub.with.overflow.i8",
 341                 Uint(U16) => "llvm.usub.with.overflow.i16",
 342                 Uint(U32) => "llvm.usub.with.overflow.i32",
 343                 Uint(U64) => "llvm.usub.with.overflow.i64",
 344                 Uint(U128) => "llvm.usub.with.overflow.i128",
 345
 346                 _ => unreachable!(),
 347             },
 348             OverflowOp::Mul => match new_kind {
 349                 Int(I8) => "llvm.smul.with.overflow.i8",
 350                 Int(I16) => "llvm.smul.with.overflow.i16",
 351                 Int(I32) => "llvm.smul.with.overflow.i32",
 352                 Int(I64) => "llvm.smul.with.overflow.i64",
 353                 Int(I128) => "llvm.smul.with.overflow.i128",
 354
 355                 Uint(U8) => "llvm.umul.with.overflow.i8",
 356                 Uint(U16) => "llvm.umul.with.overflow.i16",
 357                 Uint(U32) => "llvm.umul.with.overflow.i32",
 358                 Uint(U64) => "llvm.umul.with.overflow.i64",
 359                 Uint(U128) => "llvm.umul.with.overflow.i128",
 360
 361                 _ => unreachable!(),
 362             },
 363         };
 364
 365         let intrinsic = self.get_intrinsic(&name);
 366         let res = self.call(intrinsic, &[lhs, rhs], None);
 367         (self.extract_value(res, 0), self.extract_value(res, 1))
 368     }
 369
 370     fn alloca(&mut self, ty: &'ll Type, align: Align) -> &'ll Value {
 371         let mut bx = Builder::with_cx(self.cx);
 372         bx.position_at_start(unsafe { llvm::LLVMGetFirstBasicBlock(self.llfn()) });
 373         bx.dynamic_alloca(ty, align)
 374     }
 375
 376     fn dynamic_alloca(&mut self, ty: &'ll Type, align: Align) -> &'ll Value {
 377         unsafe {
 378             let alloca = llvm::LLVMBuildAlloca(self.llbuilder, ty, UNNAMED);
 379             llvm::LLVMSetAlignment(alloca, align.bytes() as c_uint);
 380             alloca
 381         }
 382     }
 383
 384     fn array_alloca(&mut self, ty: &'ll Type, len: &'ll Value, align: Align) -> &'ll Value {
 385         unsafe {
 386             let alloca = llvm::LLVMBuildArrayAlloca(self.llbuilder, ty, len, UNNAMED);
 387             llvm::LLVMSetAlignment(alloca, align.bytes() as c_uint);
 388             alloca
 389         }
 390     }
 391
 392     fn load(&mut self, ptr: &'ll Value, align: Align) -> &'ll Value {
 393         unsafe {
 394             let load = llvm::LLVMBuildLoad(self.llbuilder, ptr, UNNAMED);
 395             llvm::LLVMSetAlignment(load, align.bytes() as c_uint);
 396             load
 397         }
 398     }
 399
 400     fn volatile_load(&mut self, ptr: &'ll Value) -> &'ll Value {
 401         unsafe {
 402             let load = llvm::LLVMBuildLoad(self.llbuilder, ptr, UNNAMED);
 403             llvm::LLVMSetVolatile(load, llvm::True);
 404             load
 405         }
 406     }
 407
 408     fn atomic_load(
 409         &mut self,
 410         ptr: &'ll Value,
 411         order: rustc_codegen_ssa::common::AtomicOrdering,
 412         size: Size,
 413     ) -> &'ll Value {
 414         unsafe {
 415             let load = llvm::LLVMRustBuildAtomicLoad(
 416                 self.llbuilder,
 417                 ptr,
 418                 UNNAMED,
 419                 AtomicOrdering::from_generic(order),
 420             );
 421             // LLVM requires the alignment of atomic loads to be at least the size of the type.
 422             llvm::LLVMSetAlignment(load, size.bytes() as c_uint);
 423             load
 424         }
 425     }
 426
 427     fn load_operand(&mut self, place: PlaceRef<'tcx, &'ll Value>) -> OperandRef<'tcx, &'ll Value> {
 428         debug!("PlaceRef::load: {:?}", place);
 429
 430         assert_eq!(place.llextra.is_some(), place.layout.is_unsized());
 431
 432         if place.layout.is_zst() {
 433             return OperandRef::new_zst(self, place.layout);
 434         }
 435
 436         fn scalar_load_metadata<'a, 'll, 'tcx>(
 437             bx: &mut Builder<'a, 'll, 'tcx>,
 438             load: &'ll Value,
 439             scalar: &abi::Scalar,
 440         ) {
 441             let vr = scalar.valid_range.clone();
 442             match scalar.value {
 443                 abi::Int(..) => {
 444                     let range = scalar.valid_range_exclusive(bx);
 445                     if range.start != range.end {
 446                         bx.range_metadata(load, range);
 447                     }
 448                 }
 449                 abi::Pointer if vr.start() < vr.end() && !vr.contains(&0) => {
 450                     bx.nonnull_metadata(load);
 451                 }
 452                 _ => {}
 453             }
 454         }
 455
 456         let val = if let Some(llextra) = place.llextra {
 457             OperandValue::Ref(place.llval, Some(llextra), place.align)
 458         } else if place.layout.is_llvm_immediate() {
 459             let mut const_llval = None;
 460             unsafe {
 461                 if let Some(global) = llvm::LLVMIsAGlobalVariable(place.llval) {
 462                     if llvm::LLVMIsGlobalConstant(global) == llvm::True {
 463                         const_llval = llvm::LLVMGetInitializer(global);
 464                     }
 465                 }
 466             }
 467             let llval = const_llval.unwrap_or_else(|| {
 468                 let load = self.load(place.llval, place.align);
 469                 if let abi::Abi::Scalar(ref scalar) = place.layout.abi {
 470                     scalar_load_metadata(self, load, scalar);
 471                 }
 472                 load
 473             });
 474             OperandValue::Immediate(to_immediate(self, llval, place.layout))
 475         } else if let abi::Abi::ScalarPair(ref a, ref b) = place.layout.abi {
 476             let b_offset = a.value.size(self).align_to(b.value.align(self).abi);
 477
 478             let mut load = |i, scalar: &abi::Scalar, align| {
 479                 let llptr = self.struct_gep(place.llval, i as u64);
 480                 let load = self.load(llptr, align);
 481                 scalar_load_metadata(self, load, scalar);
 482                 if scalar.is_bool() { self.trunc(load, self.type_i1()) } else { load }
 483             };
 484
 485             OperandValue::Pair(
 486                 load(0, a, place.align),
 487                 load(1, b, place.align.restrict_for_offset(b_offset)),
 488             )
 489         } else {
 490             OperandValue::Ref(place.llval, None, place.align)
 491         };
 492
 493         OperandRef { val, layout: place.layout }
 494     }
 495
 496     fn write_operand_repeatedly(
 497         mut self,
 498         cg_elem: OperandRef<'tcx, &'ll Value>,
 499         count: u64,
 500         dest: PlaceRef<'tcx, &'ll Value>,
 501     ) -> Self {
 502         let zero = self.const_usize(0);
 503         let count = self.const_usize(count);
 504         let start = dest.project_index(&mut self, zero).llval;
 505         let end = dest.project_index(&mut self, count).llval;
 506
 507         let mut header_bx = self.build_sibling_block("repeat_loop_header");
 508         let mut body_bx = self.build_sibling_block("repeat_loop_body");
 509         let next_bx = self.build_sibling_block("repeat_loop_next");
 510
 511         self.br(header_bx.llbb());
 512         let current = header_bx.phi(self.val_ty(start), &[start], &[self.llbb()]);
 513
 514         let keep_going = header_bx.icmp(IntPredicate::IntNE, current, end);
 515         header_bx.cond_br(keep_going, body_bx.llbb(), next_bx.llbb());
 516
 517         let align = dest.align.restrict_for_offset(dest.layout.field(self.cx(), 0).size);
 518         cg_elem
 519             .val
 520             .store(&mut body_bx, PlaceRef::new_sized_aligned(current, cg_elem.layout, align));
 521
 522         let next = body_bx.inbounds_gep(current, &[self.const_usize(1)]);
 523         body_bx.br(header_bx.llbb());
 524         header_bx.add_incoming_to_phi(current, next, body_bx.llbb());
 525
 526         next_bx
 527     }
 528
 529     fn range_metadata(&mut self, load: &'ll Value, range: Range<u128>) {
 530         if self.sess().target.target.arch == "amdgpu" {
 531             // amdgpu/LLVM does something weird and thinks a i64 value is
 532             // split into a v2i32, halving the bitwidth LLVM expects,
 533             // tripping an assertion. So, for now, just disable this
 534             // optimization.
 535             return;
 536         }
 537
 538         unsafe {
 539             let llty = self.cx.val_ty(load);
 540             let v = [
 541                 self.cx.const_uint_big(llty, range.start),
 542                 self.cx.const_uint_big(llty, range.end),
 543             ];
 544
 545             llvm::LLVMSetMetadata(
 546                 load,
 547                 llvm::MD_range as c_uint,
 548                 llvm::LLVMMDNodeInContext(self.cx.llcx, v.as_ptr(), v.len() as c_uint),
 549             );
 550         }
 551     }
 552
 553     fn nonnull_metadata(&mut self, load: &'ll Value) {
 554         unsafe {
 555             llvm::LLVMSetMetadata(
 556                 load,
 557                 llvm::MD_nonnull as c_uint,
 558                 llvm::LLVMMDNodeInContext(self.cx.llcx, ptr::null(), 0),
 559             );
 560         }
 561     }
 562
 563     fn store(&mut self, val: &'ll Value, ptr: &'ll Value, align: Align) -> &'ll Value {
 564         self.store_with_flags(val, ptr, align, MemFlags::empty())
 565     }
 566
 567     fn store_with_flags(
 568         &mut self,
 569         val: &'ll Value,
 570         ptr: &'ll Value,
 571         align: Align,
 572         flags: MemFlags,
 573     ) -> &'ll Value {
 574         debug!("Store {:?} -> {:?} ({:?})", val, ptr, flags);
 575         let ptr = self.check_store(val, ptr);
 576         unsafe {
 577             let store = llvm::LLVMBuildStore(self.llbuilder, val, ptr);
 578             let align =
 579                 if flags.contains(MemFlags::UNALIGNED) { 1 } else { align.bytes() as c_uint };
 580             llvm::LLVMSetAlignment(store, align);
 581             if flags.contains(MemFlags::VOLATILE) {
 582                 llvm::LLVMSetVolatile(store, llvm::True);
 583             }
 584             if flags.contains(MemFlags::NONTEMPORAL) {
 585                 // According to LLVM [1] building a nontemporal store must
 586                 // *always* point to a metadata value of the integer 1.
 587                 //
 588                 // [1]: http://llvm.org/docs/LangRef.html#store-instruction
 589                 let one = self.cx.const_i32(1);
 590                 let node = llvm::LLVMMDNodeInContext(self.cx.llcx, &one, 1);
 591                 llvm::LLVMSetMetadata(store, llvm::MD_nontemporal as c_uint, node);
 592             }
 593             store
 594         }
 595     }
 596
 597     fn atomic_store(
 598         &mut self,
 599         val: &'ll Value,
 600         ptr: &'ll Value,
 601         order: rustc_codegen_ssa::common::AtomicOrdering,
 602         size: Size,
 603     ) {
 604         debug!("Store {:?} -> {:?}", val, ptr);
 605         let ptr = self.check_store(val, ptr);
 606         unsafe {
 607             let store = llvm::LLVMRustBuildAtomicStore(
 608                 self.llbuilder,
 609                 val,
 610                 ptr,
 611                 AtomicOrdering::from_generic(order),
 612             );
 613             // LLVM requires the alignment of atomic stores to be at least the size of the type.
 614             llvm::LLVMSetAlignment(store, size.bytes() as c_uint);
 615         }
 616     }
 617
 618     fn gep(&mut self, ptr: &'ll Value, indices: &[&'ll Value]) -> &'ll Value {
 619         unsafe {
 620             llvm::LLVMBuildGEP(
 621                 self.llbuilder,
 622                 ptr,
 623                 indices.as_ptr(),
 624                 indices.len() as c_uint,
 625                 UNNAMED,
 626             )
 627         }
 628     }
 629
 630     fn inbounds_gep(&mut self, ptr: &'ll Value, indices: &[&'ll Value]) -> &'ll Value {
 631         unsafe {
 632             llvm::LLVMBuildInBoundsGEP(
 633                 self.llbuilder,
 634                 ptr,
 635                 indices.as_ptr(),
 636                 indices.len() as c_uint,
 637                 UNNAMED,
 638             )
 639         }
 640     }
 641
 642     fn struct_gep(&mut self, ptr: &'ll Value, idx: u64) -> &'ll Value {
 643         assert_eq!(idx as c_uint as u64, idx);
 644         unsafe { llvm::LLVMBuildStructGEP(self.llbuilder, ptr, idx as c_uint, UNNAMED) }
 645     }
 646
 647     /* Casts */
 648     fn trunc(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> &'ll Value {
 649         unsafe { llvm::LLVMBuildTrunc(self.llbuilder, val, dest_ty, UNNAMED) }
 650     }
 651
 652     fn sext(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> &'ll Value {
 653         unsafe { llvm::LLVMBuildSExt(self.llbuilder, val, dest_ty, UNNAMED) }
 654     }
 655
 656     fn fptoui_sat(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> Option<&'ll Value> {
 657         // WebAssembly has saturating floating point to integer casts if the
 658         // `nontrapping-fptoint` target feature is activated. We'll use those if
 659         // they are available.
 660         if self.sess().target.target.arch == "wasm32"
 661             && self.sess().target_features.contains(&sym::nontrapping_dash_fptoint)
 662         {
 663             let src_ty = self.cx.val_ty(val);
 664             let float_width = self.cx.float_width(src_ty);
 665             let int_width = self.cx.int_width(dest_ty);
 666             let name = match (int_width, float_width) {
 667                 (32, 32) => Some("llvm.wasm.trunc.saturate.unsigned.i32.f32"),
 668                 (32, 64) => Some("llvm.wasm.trunc.saturate.unsigned.i32.f64"),
 669                 (64, 32) => Some("llvm.wasm.trunc.saturate.unsigned.i64.f32"),
 670                 (64, 64) => Some("llvm.wasm.trunc.saturate.unsigned.i64.f64"),
 671                 _ => None,
 672             };
 673             if let Some(name) = name {
 674                 let intrinsic = self.get_intrinsic(name);
 675                 return Some(self.call(intrinsic, &[val], None));
 676             }
 677         }
 678         None
 679     }
 680
 681     fn fptosi_sat(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> Option<&'ll Value> {
 682         // WebAssembly has saturating floating point to integer casts if the
 683         // `nontrapping-fptoint` target feature is activated. We'll use those if
 684         // they are available.
 685         if self.sess().target.target.arch == "wasm32"
 686             && self.sess().target_features.contains(&sym::nontrapping_dash_fptoint)
 687         {
 688             let src_ty = self.cx.val_ty(val);
 689             let float_width = self.cx.float_width(src_ty);
 690             let int_width = self.cx.int_width(dest_ty);
 691             let name = match (int_width, float_width) {
 692                 (32, 32) => Some("llvm.wasm.trunc.saturate.signed.i32.f32"),
 693                 (32, 64) => Some("llvm.wasm.trunc.saturate.signed.i32.f64"),
 694                 (64, 32) => Some("llvm.wasm.trunc.saturate.signed.i64.f32"),
 695                 (64, 64) => Some("llvm.wasm.trunc.saturate.signed.i64.f64"),
 696                 _ => None,
 697             };
 698             if let Some(name) = name {
 699                 let intrinsic = self.get_intrinsic(name);
 700                 return Some(self.call(intrinsic, &[val], None));
 701             }
 702         }
 703         None
 704     }
 705
 706     fn fptosui_may_trap(&self, val: &'ll Value, dest_ty: &'ll Type) -> bool {
 707         // Most of the time we'll be generating the `fptosi` or `fptoui`
 708         // instruction for floating-point-to-integer conversions. These
 709         // instructions by definition in LLVM do not trap. For the WebAssembly
 710         // target, however, we'll lower in some cases to intrinsic calls instead
 711         // which may trap. If we detect that this is a situation where we'll be
 712         // using the intrinsics then we report that the call map trap, which
 713         // callers might need to handle.
 714         if !self.wasm_and_missing_nontrapping_fptoint() {
 715             return false;
 716         }
 717         let src_ty = self.cx.val_ty(val);
 718         let float_width = self.cx.float_width(src_ty);
 719         let int_width = self.cx.int_width(dest_ty);
 720         match (int_width, float_width) {
 721             (32, 32) | (32, 64) | (64, 32) | (64, 64) => true,
 722             _ => false,
 723         }
 724     }
 725
 726     fn fptoui(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> &'ll Value {
 727         // When we can, use the native wasm intrinsics which have tighter
 728         // codegen. Note that this has a semantic difference in that the
 729         // intrinsic can trap whereas `fptoui` never traps. That difference,
 730         // however, is handled by `fptosui_may_trap` above.
 731         if self.wasm_and_missing_nontrapping_fptoint() {
 732             let src_ty = self.cx.val_ty(val);
 733             let float_width = self.cx.float_width(src_ty);
 734             let int_width = self.cx.int_width(dest_ty);
 735             let name = match (int_width, float_width) {
 736                 (32, 32) => Some("llvm.wasm.trunc.unsigned.i32.f32"),
 737                 (32, 64) => Some("llvm.wasm.trunc.unsigned.i32.f64"),
 738                 (64, 32) => Some("llvm.wasm.trunc.unsigned.i64.f32"),
 739                 (64, 64) => Some("llvm.wasm.trunc.unsigned.i64.f64"),
 740                 _ => None,
 741             };
 742             if let Some(name) = name {
 743                 let intrinsic = self.get_intrinsic(name);
 744                 return self.call(intrinsic, &[val], None);
 745             }
 746         }
 747         unsafe { llvm::LLVMBuildFPToUI(self.llbuilder, val, dest_ty, UNNAMED) }
 748     }
 749
 750     fn fptosi(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> &'ll Value {
 751         if self.wasm_and_missing_nontrapping_fptoint() {
 752             let src_ty = self.cx.val_ty(val);
 753             let float_width = self.cx.float_width(src_ty);
 754             let int_width = self.cx.int_width(dest_ty);
 755             let name = match (int_width, float_width) {
 756                 (32, 32) => Some("llvm.wasm.trunc.signed.i32.f32"),
 757                 (32, 64) => Some("llvm.wasm.trunc.signed.i32.f64"),
 758                 (64, 32) => Some("llvm.wasm.trunc.signed.i64.f32"),
 759                 (64, 64) => Some("llvm.wasm.trunc.signed.i64.f64"),
 760                 _ => None,
 761             };
 762             if let Some(name) = name {
 763                 let intrinsic = self.get_intrinsic(name);
 764                 return self.call(intrinsic, &[val], None);
 765             }
 766         }
 767         unsafe { llvm::LLVMBuildFPToSI(self.llbuilder, val, dest_ty, UNNAMED) }
 768     }
 769
 770     fn uitofp(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> &'ll Value {
 771         unsafe { llvm::LLVMBuildUIToFP(self.llbuilder, val, dest_ty, UNNAMED) }
 772     }
 773
 774     fn sitofp(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> &'ll Value {
 775         unsafe { llvm::LLVMBuildSIToFP(self.llbuilder, val, dest_ty, UNNAMED) }
 776     }
 777
 778     fn fptrunc(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> &'ll Value {
 779         unsafe { llvm::LLVMBuildFPTrunc(self.llbuilder, val, dest_ty, UNNAMED) }
 780     }
 781
 782     fn fpext(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> &'ll Value {
 783         unsafe { llvm::LLVMBuildFPExt(self.llbuilder, val, dest_ty, UNNAMED) }
 784     }
 785
 786     fn ptrtoint(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> &'ll Value {
 787         unsafe { llvm::LLVMBuildPtrToInt(self.llbuilder, val, dest_ty, UNNAMED) }
 788     }
 789
 790     fn inttoptr(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> &'ll Value {
 791         unsafe { llvm::LLVMBuildIntToPtr(self.llbuilder, val, dest_ty, UNNAMED) }
 792     }
 793
 794     fn bitcast(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> &'ll Value {
 795         unsafe { llvm::LLVMBuildBitCast(self.llbuilder, val, dest_ty, UNNAMED) }
 796     }
 797
 798     fn intcast(&mut self, val: &'ll Value, dest_ty: &'ll Type, is_signed: bool) -> &'ll Value {
 799         unsafe { llvm::LLVMRustBuildIntCast(self.llbuilder, val, dest_ty, is_signed) }
 800     }
 801
 802     fn pointercast(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> &'ll Value {
 803         unsafe { llvm::LLVMBuildPointerCast(self.llbuilder, val, dest_ty, UNNAMED) }
 804     }
 805
 806     /* Comparisons */
 807     fn icmp(&mut self, op: IntPredicate, lhs: &'ll Value, rhs: &'ll Value) -> &'ll Value {
 808         let op = llvm::IntPredicate::from_generic(op);
 809         unsafe { llvm::LLVMBuildICmp(self.llbuilder, op as c_uint, lhs, rhs, UNNAMED) }
 810     }
 811
 812     fn fcmp(&mut self, op: RealPredicate, lhs: &'ll Value, rhs: &'ll Value) -> &'ll Value {
 813         unsafe { llvm::LLVMBuildFCmp(self.llbuilder, op as c_uint, lhs, rhs, UNNAMED) }
 814     }
 815
 816     /* Miscellaneous instructions */
 817     fn memcpy(
 818         &mut self,
 819         dst: &'ll Value,
 820         dst_align: Align,
 821         src: &'ll Value,
 822         src_align: Align,
 823         size: &'ll Value,
 824         flags: MemFlags,
 825     ) {
 826         if flags.contains(MemFlags::NONTEMPORAL) {
 827             // HACK(nox): This is inefficient but there is no nontemporal memcpy.
 828             let val = self.load(src, src_align);
 829             let ptr = self.pointercast(dst, self.type_ptr_to(self.val_ty(val)));
 830             self.store_with_flags(val, ptr, dst_align, flags);
 831             return;
 832         }
 833         let size = self.intcast(size, self.type_isize(), false);
 834         let is_volatile = flags.contains(MemFlags::VOLATILE);
 835         let dst = self.pointercast(dst, self.type_i8p());
 836         let src = self.pointercast(src, self.type_i8p());
 837         unsafe {
 838             llvm::LLVMRustBuildMemCpy(
 839                 self.llbuilder,
 840                 dst,
 841                 dst_align.bytes() as c_uint,
 842                 src,
 843                 src_align.bytes() as c_uint,
 844                 size,
 845                 is_volatile,
 846             );
 847         }
 848     }
 849
 850     fn memmove(
 851         &mut self,
 852         dst: &'ll Value,
 853         dst_align: Align,
 854         src: &'ll Value,
 855         src_align: Align,
 856         size: &'ll Value,
 857         flags: MemFlags,
 858     ) {
 859         if flags.contains(MemFlags::NONTEMPORAL) {
 860             // HACK(nox): This is inefficient but there is no nontemporal memmove.
 861             let val = self.load(src, src_align);
 862             let ptr = self.pointercast(dst, self.type_ptr_to(self.val_ty(val)));
 863             self.store_with_flags(val, ptr, dst_align, flags);
 864             return;
 865         }
 866         let size = self.intcast(size, self.type_isize(), false);
 867         let is_volatile = flags.contains(MemFlags::VOLATILE);
 868         let dst = self.pointercast(dst, self.type_i8p());
 869         let src = self.pointercast(src, self.type_i8p());
 870         unsafe {
 871             llvm::LLVMRustBuildMemMove(
 872                 self.llbuilder,
 873                 dst,
 874                 dst_align.bytes() as c_uint,
 875                 src,
 876                 src_align.bytes() as c_uint,
 877                 size,
 878                 is_volatile,
 879             );
 880         }
 881     }
 882
 883     fn memset(
 884         &mut self,
 885         ptr: &'ll Value,
 886         fill_byte: &'ll Value,
 887         size: &'ll Value,
 888         align: Align,
 889         flags: MemFlags,
 890     ) {
 891         let is_volatile = flags.contains(MemFlags::VOLATILE);
 892         let ptr = self.pointercast(ptr, self.type_i8p());
 893         unsafe {
 894             llvm::LLVMRustBuildMemSet(
 895                 self.llbuilder,
 896                 ptr,
 897                 align.bytes() as c_uint,
 898                 fill_byte,
 899                 size,
 900                 is_volatile,
 901             );
 902         }
 903     }
 904
 905     fn select(
 906         &mut self,
 907         cond: &'ll Value,
 908         then_val: &'ll Value,
 909         else_val: &'ll Value,
 910     ) -> &'ll Value {
 911         unsafe { llvm::LLVMBuildSelect(self.llbuilder, cond, then_val, else_val, UNNAMED) }
 912     }
 913
 914     #[allow(dead_code)]
 915     fn va_arg(&mut self, list: &'ll Value, ty: &'ll Type) -> &'ll Value {
 916         unsafe { llvm::LLVMBuildVAArg(self.llbuilder, list, ty, UNNAMED) }
 917     }
 918
 919     fn extract_element(&mut self, vec: &'ll Value, idx: &'ll Value) -> &'ll Value {
 920         unsafe { llvm::LLVMBuildExtractElement(self.llbuilder, vec, idx, UNNAMED) }
 921     }
 922
 923     fn vector_splat(&mut self, num_elts: usize, elt: &'ll Value) -> &'ll Value {
 924         unsafe {
 925             let elt_ty = self.cx.val_ty(elt);
 926             let undef = llvm::LLVMGetUndef(self.type_vector(elt_ty, num_elts as u64));
 927             let vec = self.insert_element(undef, elt, self.cx.const_i32(0));
 928             let vec_i32_ty = self.type_vector(self.type_i32(), num_elts as u64);
 929             self.shuffle_vector(vec, undef, self.const_null(vec_i32_ty))
 930         }
 931     }
 932
 933     fn extract_value(&mut self, agg_val: &'ll Value, idx: u64) -> &'ll Value {
 934         assert_eq!(idx as c_uint as u64, idx);
 935         unsafe { llvm::LLVMBuildExtractValue(self.llbuilder, agg_val, idx as c_uint, UNNAMED) }
 936     }
 937
 938     fn insert_value(&mut self, agg_val: &'ll Value, elt: &'ll Value, idx: u64) -> &'ll Value {
 939         assert_eq!(idx as c_uint as u64, idx);
 940         unsafe { llvm::LLVMBuildInsertValue(self.llbuilder, agg_val, elt, idx as c_uint, UNNAMED) }
 941     }
 942
 943     fn landing_pad(
 944         &mut self,
 945         ty: &'ll Type,
 946         pers_fn: &'ll Value,
 947         num_clauses: usize,
 948     ) -> &'ll Value {
 949         unsafe {
 950             llvm::LLVMBuildLandingPad(self.llbuilder, ty, pers_fn, num_clauses as c_uint, UNNAMED)
 951         }
 952     }
 953
 954     fn set_cleanup(&mut self, landing_pad: &'ll Value) {
 955         unsafe {
 956             llvm::LLVMSetCleanup(landing_pad, llvm::True);
 957         }
 958     }
 959
 960     fn resume(&mut self, exn: &'ll Value) -> &'ll Value {
 961         unsafe { llvm::LLVMBuildResume(self.llbuilder, exn) }
 962     }
 963
 964     fn cleanup_pad(&mut self, parent: Option<&'ll Value>, args: &[&'ll Value]) -> Funclet<'ll> {
 965         let name = const_cstr!("cleanuppad");
 966         let ret = unsafe {
 967             llvm::LLVMRustBuildCleanupPad(
 968                 self.llbuilder,
 969                 parent,
 970                 args.len() as c_uint,
 971                 args.as_ptr(),
 972                 name.as_ptr(),
 973             )
 974         };
 975         Funclet::new(ret.expect("LLVM does not have support for cleanuppad"))
 976     }
 977
 978     fn cleanup_ret(
 979         &mut self,
 980         funclet: &Funclet<'ll>,
 981         unwind: Option<&'ll BasicBlock>,
 982     ) -> &'ll Value {
 983         let ret =
 984             unsafe { llvm::LLVMRustBuildCleanupRet(self.llbuilder, funclet.cleanuppad(), unwind) };
 985         ret.expect("LLVM does not have support for cleanupret")
 986     }
 987
 988     fn catch_pad(&mut self, parent: &'ll Value, args: &[&'ll Value]) -> Funclet<'ll> {
 989         let name = const_cstr!("catchpad");
 990         let ret = unsafe {
 991             llvm::LLVMRustBuildCatchPad(
 992                 self.llbuilder,
 993                 parent,
 994                 args.len() as c_uint,
 995                 args.as_ptr(),
 996                 name.as_ptr(),
 997             )
 998         };
 999         Funclet::new(ret.expect("LLVM does not have support for catchpad"))
1000     }
1001
1002     fn catch_switch(
1003         &mut self,
1004         parent: Option<&'ll Value>,
1005         unwind: Option<&'ll BasicBlock>,
1006         num_handlers: usize,
1007     ) -> &'ll Value {
1008         let name = const_cstr!("catchswitch");
1009         let ret = unsafe {
1010             llvm::LLVMRustBuildCatchSwitch(
1011                 self.llbuilder,
1012                 parent,
1013                 unwind,
1014                 num_handlers as c_uint,
1015                 name.as_ptr(),
1016             )
1017         };
1018         ret.expect("LLVM does not have support for catchswitch")
1019     }
1020
1021     fn add_handler(&mut self, catch_switch: &'ll Value, handler: &'ll BasicBlock) {
1022         unsafe {
1023             llvm::LLVMRustAddHandler(catch_switch, handler);
1024         }
1025     }
1026
1027     fn set_personality_fn(&mut self, personality: &'ll Value) {
1028         unsafe {
1029             llvm::LLVMSetPersonalityFn(self.llfn(), personality);
1030         }
1031     }
1032
1033     // Atomic Operations
1034     fn atomic_cmpxchg(
1035         &mut self,
1036         dst: &'ll Value,
1037         cmp: &'ll Value,
1038         src: &'ll Value,
1039         order: rustc_codegen_ssa::common::AtomicOrdering,
1040         failure_order: rustc_codegen_ssa::common::AtomicOrdering,
1041         weak: bool,
1042     ) -> &'ll Value {
1043         let weak = if weak { llvm::True } else { llvm::False };
1044         unsafe {
1045             llvm::LLVMRustBuildAtomicCmpXchg(
1046                 self.llbuilder,
1047                 dst,
1048                 cmp,
1049                 src,
1050                 AtomicOrdering::from_generic(order),
1051                 AtomicOrdering::from_generic(failure_order),
1052                 weak,
1053             )
1054         }
1055     }
1056     fn atomic_rmw(
1057         &mut self,
1058         op: rustc_codegen_ssa::common::AtomicRmwBinOp,
1059         dst: &'ll Value,
1060         src: &'ll Value,
1061         order: rustc_codegen_ssa::common::AtomicOrdering,
1062     ) -> &'ll Value {
1063         unsafe {
1064             llvm::LLVMBuildAtomicRMW(
1065                 self.llbuilder,
1066                 AtomicRmwBinOp::from_generic(op),
1067                 dst,
1068                 src,
1069                 AtomicOrdering::from_generic(order),
1070                 False,
1071             )
1072         }
1073     }
1074
1075     fn atomic_fence(
1076         &mut self,
1077         order: rustc_codegen_ssa::common::AtomicOrdering,
1078         scope: rustc_codegen_ssa::common::SynchronizationScope,
1079     ) {
1080         unsafe {
1081             llvm::LLVMRustBuildAtomicFence(
1082                 self.llbuilder,
1083                 AtomicOrdering::from_generic(order),
1084                 SynchronizationScope::from_generic(scope),
1085             );
1086         }
1087     }
1088
1089     fn set_invariant_load(&mut self, load: &'ll Value) {
1090         unsafe {
1091             llvm::LLVMSetMetadata(
1092                 load,
1093                 llvm::MD_invariant_load as c_uint,
1094                 llvm::LLVMMDNodeInContext(self.cx.llcx, ptr::null(), 0),
1095             );
1096         }
1097     }
1098
1099     fn lifetime_start(&mut self, ptr: &'ll Value, size: Size) {
1100         self.call_lifetime_intrinsic("llvm.lifetime.start.p0i8", ptr, size);
1101     }
1102
1103     fn lifetime_end(&mut self, ptr: &'ll Value, size: Size) {
1104         self.call_lifetime_intrinsic("llvm.lifetime.end.p0i8", ptr, size);
1105     }
1106
1107     fn instrprof_increment(
1108         &mut self,
1109         fn_name: &'ll Value,
1110         hash: &'ll Value,
1111         num_counters: &'ll Value,
1112         index: &'ll Value,
1113     ) -> &'ll Value {
1114         debug!(
1115             "instrprof_increment() with args ({:?}, {:?}, {:?}, {:?})",
1116             fn_name, hash, num_counters, index
1117         );
1118
1119         let llfn = unsafe { llvm::LLVMRustGetInstrProfIncrementIntrinsic(self.cx().llmod) };
1120         let args = &[fn_name, hash, num_counters, index];
1121         let args = self.check_call("call", llfn, args);
1122
1123         unsafe {
1124             llvm::LLVMRustBuildCall(
1125                 self.llbuilder,
1126                 llfn,
1127                 args.as_ptr() as *const &llvm::Value,
1128                 args.len() as c_uint,
1129                 None,
1130             )
1131         }
1132     }
1133
1134     fn call(
1135         &mut self,
1136         llfn: &'ll Value,
1137         args: &[&'ll Value],
1138         funclet: Option<&Funclet<'ll>>,
1139     ) -> &'ll Value {
1140         debug!("call {:?} with args ({:?})", llfn, args);
1141
1142         let args = self.check_call("call", llfn, args);
1143         let bundle = funclet.map(|funclet| funclet.bundle());
1144         let bundle = bundle.as_ref().map(|b| &*b.raw);
1145
1146         unsafe {
1147             llvm::LLVMRustBuildCall(
1148                 self.llbuilder,
1149                 llfn,
1150                 args.as_ptr() as *const &llvm::Value,
1151                 args.len() as c_uint,
1152                 bundle,
1153             )
1154         }
1155     }
1156
1157     fn zext(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> &'ll Value {
1158         unsafe { llvm::LLVMBuildZExt(self.llbuilder, val, dest_ty, UNNAMED) }
1159     }
1160
1161     fn cx(&self) -> &CodegenCx<'ll, 'tcx> {
1162         self.cx
1163     }
1164
1165     unsafe fn delete_basic_block(&mut self, bb: &'ll BasicBlock) {
1166         llvm::LLVMDeleteBasicBlock(bb);
1167     }
1168
1169     fn do_not_inline(&mut self, llret: &'ll Value) {
1170         llvm::Attribute::NoInline.apply_callsite(llvm::AttributePlace::Function, llret);
1171     }
1172 }
1173
1174 impl StaticBuilderMethods for Builder<'a, 'll, 'tcx> {
1175     fn get_static(&mut self, def_id: DefId) -> &'ll Value {
1176         // Forward to the `get_static` method of `CodegenCx`
1177         self.cx().get_static(def_id)
1178     }
1179 }
1180
1181 impl Builder<'a, 'll, 'tcx> {
1182     pub fn llfn(&self) -> &'ll Value {
1183         unsafe { llvm::LLVMGetBasicBlockParent(self.llbb()) }
1184     }
1185
1186     fn position_at_start(&mut self, llbb: &'ll BasicBlock) {
1187         unsafe {
1188             llvm::LLVMRustPositionBuilderAtStart(self.llbuilder, llbb);
1189         }
1190     }
1191
1192     pub fn minnum(&mut self, lhs: &'ll Value, rhs: &'ll Value) -> &'ll Value {
1193         unsafe { llvm::LLVMRustBuildMinNum(self.llbuilder, lhs, rhs) }
1194     }
1195
1196     pub fn maxnum(&mut self, lhs: &'ll Value, rhs: &'ll Value) -> &'ll Value {
1197         unsafe { llvm::LLVMRustBuildMaxNum(self.llbuilder, lhs, rhs) }
1198     }
1199
1200     pub fn insert_element(
1201         &mut self,
1202         vec: &'ll Value,
1203         elt: &'ll Value,
1204         idx: &'ll Value,
1205     ) -> &'ll Value {
1206         unsafe { llvm::LLVMBuildInsertElement(self.llbuilder, vec, elt, idx, UNNAMED) }
1207     }
1208
1209     pub fn shuffle_vector(
1210         &mut self,
1211         v1: &'ll Value,
1212         v2: &'ll Value,
1213         mask: &'ll Value,
1214     ) -> &'ll Value {
1215         unsafe { llvm::LLVMBuildShuffleVector(self.llbuilder, v1, v2, mask, UNNAMED) }
1216     }
1217
1218     pub fn vector_reduce_fadd(&mut self, acc: &'ll Value, src: &'ll Value) -> &'ll Value {
1219         unsafe { llvm::LLVMRustBuildVectorReduceFAdd(self.llbuilder, acc, src) }
1220     }
1221     pub fn vector_reduce_fmul(&mut self, acc: &'ll Value, src: &'ll Value) -> &'ll Value {
1222         unsafe { llvm::LLVMRustBuildVectorReduceFMul(self.llbuilder, acc, src) }
1223     }
1224     pub fn vector_reduce_fadd_fast(&mut self, acc: &'ll Value, src: &'ll Value) -> &'ll Value {
1225         unsafe {
1226             let instr = llvm::LLVMRustBuildVectorReduceFAdd(self.llbuilder, acc, src);
1227             llvm::LLVMRustSetHasUnsafeAlgebra(instr);
1228             instr
1229         }
1230     }
1231     pub fn vector_reduce_fmul_fast(&mut self, acc: &'ll Value, src: &'ll Value) -> &'ll Value {
1232         unsafe {
1233             let instr = llvm::LLVMRustBuildVectorReduceFMul(self.llbuilder, acc, src);
1234             llvm::LLVMRustSetHasUnsafeAlgebra(instr);
1235             instr
1236         }
1237     }
1238     pub fn vector_reduce_add(&mut self, src: &'ll Value) -> &'ll Value {
1239         unsafe { llvm::LLVMRustBuildVectorReduceAdd(self.llbuilder, src) }
1240     }
1241     pub fn vector_reduce_mul(&mut self, src: &'ll Value) -> &'ll Value {
1242         unsafe { llvm::LLVMRustBuildVectorReduceMul(self.llbuilder, src) }
1243     }
1244     pub fn vector_reduce_and(&mut self, src: &'ll Value) -> &'ll Value {
1245         unsafe { llvm::LLVMRustBuildVectorReduceAnd(self.llbuilder, src) }
1246     }
1247     pub fn vector_reduce_or(&mut self, src: &'ll Value) -> &'ll Value {
1248         unsafe { llvm::LLVMRustBuildVectorReduceOr(self.llbuilder, src) }
1249     }
1250     pub fn vector_reduce_xor(&mut self, src: &'ll Value) -> &'ll Value {
1251         unsafe { llvm::LLVMRustBuildVectorReduceXor(self.llbuilder, src) }
1252     }
1253     pub fn vector_reduce_fmin(&mut self, src: &'ll Value) -> &'ll Value {
1254         unsafe {
1255             llvm::LLVMRustBuildVectorReduceFMin(self.llbuilder, src, /*NoNaNs:*/ false)
1256         }
1257     }
1258     pub fn vector_reduce_fmax(&mut self, src: &'ll Value) -> &'ll Value {
1259         unsafe {
1260             llvm::LLVMRustBuildVectorReduceFMax(self.llbuilder, src, /*NoNaNs:*/ false)
1261         }
1262     }
1263     pub fn vector_reduce_fmin_fast(&mut self, src: &'ll Value) -> &'ll Value {
1264         unsafe {
1265             let instr =
1266                 llvm::LLVMRustBuildVectorReduceFMin(self.llbuilder, src, /*NoNaNs:*/ true);
1267             llvm::LLVMRustSetHasUnsafeAlgebra(instr);
1268             instr
1269         }
1270     }
1271     pub fn vector_reduce_fmax_fast(&mut self, src: &'ll Value) -> &'ll Value {
1272         unsafe {
1273             let instr =
1274                 llvm::LLVMRustBuildVectorReduceFMax(self.llbuilder, src, /*NoNaNs:*/ true);
1275             llvm::LLVMRustSetHasUnsafeAlgebra(instr);
1276             instr
1277         }
1278     }
1279     pub fn vector_reduce_min(&mut self, src: &'ll Value, is_signed: bool) -> &'ll Value {
1280         unsafe { llvm::LLVMRustBuildVectorReduceMin(self.llbuilder, src, is_signed) }
1281     }
1282     pub fn vector_reduce_max(&mut self, src: &'ll Value, is_signed: bool) -> &'ll Value {
1283         unsafe { llvm::LLVMRustBuildVectorReduceMax(self.llbuilder, src, is_signed) }
1284     }
1285
1286     pub fn add_clause(&mut self, landing_pad: &'ll Value, clause: &'ll Value) {
1287         unsafe {
1288             llvm::LLVMAddClause(landing_pad, clause);
1289         }
1290     }
1291
1292     pub fn catch_ret(&mut self, funclet: &Funclet<'ll>, unwind: &'ll BasicBlock) -> &'ll Value {
1293         let ret =
1294             unsafe { llvm::LLVMRustBuildCatchRet(self.llbuilder, funclet.cleanuppad(), unwind) };
1295         ret.expect("LLVM does not have support for catchret")
1296     }
1297
1298     fn check_store(&mut self, val: &'ll Value, ptr: &'ll Value) -> &'ll Value {
1299         let dest_ptr_ty = self.cx.val_ty(ptr);
1300         let stored_ty = self.cx.val_ty(val);
1301         let stored_ptr_ty = self.cx.type_ptr_to(stored_ty);
1302
1303         assert_eq!(self.cx.type_kind(dest_ptr_ty), TypeKind::Pointer);
1304
1305         if dest_ptr_ty == stored_ptr_ty {
1306             ptr
1307         } else {
1308             debug!(
1309                 "type mismatch in store. \
1310                     Expected {:?}, got {:?}; inserting bitcast",
1311                 dest_ptr_ty, stored_ptr_ty
1312             );
1313             self.bitcast(ptr, stored_ptr_ty)
1314         }
1315     }
1316
1317     fn check_call<'b>(
1318         &mut self,
1319         typ: &str,
1320         llfn: &'ll Value,
1321         args: &'b [&'ll Value],
1322     ) -> Cow<'b, [&'ll Value]> {
1323         let mut fn_ty = self.cx.val_ty(llfn);
1324         // Strip off pointers
1325         while self.cx.type_kind(fn_ty) == TypeKind::Pointer {
1326             fn_ty = self.cx.element_type(fn_ty);
1327         }
1328
1329         assert!(
1330             self.cx.type_kind(fn_ty) == TypeKind::Function,
1331             "builder::{} not passed a function, but {:?}",
1332             typ,
1333             fn_ty
1334         );
1335
1336         let param_tys = self.cx.func_params_types(fn_ty);
1337
1338         let all_args_match = param_tys
1339             .iter()
1340             .zip(args.iter().map(|&v| self.val_ty(v)))
1341             .all(|(expected_ty, actual_ty)| *expected_ty == actual_ty);
1342
1343         if all_args_match {
1344             return Cow::Borrowed(args);
1345         }
1346
1347         let casted_args: Vec<_> = param_tys
1348             .into_iter()
1349             .zip(args.iter())
1350             .enumerate()
1351             .map(|(i, (expected_ty, &actual_val))| {
1352                 let actual_ty = self.val_ty(actual_val);
1353                 if expected_ty != actual_ty {
1354                     debug!(
1355                         "type mismatch in function call of {:?}. \
1356                             Expected {:?} for param {}, got {:?}; injecting bitcast",
1357                         llfn, expected_ty, i, actual_ty
1358                     );
1359                     self.bitcast(actual_val, expected_ty)
1360                 } else {
1361                     actual_val
1362                 }
1363             })
1364             .collect();
1365
1366         Cow::Owned(casted_args)
1367     }
1368
1369     pub fn va_arg(&mut self, list: &'ll Value, ty: &'ll Type) -> &'ll Value {
1370         unsafe { llvm::LLVMBuildVAArg(self.llbuilder, list, ty, UNNAMED) }
1371     }
1372
1373     fn call_lifetime_intrinsic(&mut self, intrinsic: &str, ptr: &'ll Value, size: Size) {
1374         let size = size.bytes();
1375         if size == 0 {
1376             return;
1377         }
1378
1379         if !self.cx().sess().emit_lifetime_markers() {
1380             return;
1381         }
1382
1383         let lifetime_intrinsic = self.cx.get_intrinsic(intrinsic);
1384
1385         let ptr = self.pointercast(ptr, self.cx.type_i8p());
1386         self.call(lifetime_intrinsic, &[self.cx.const_u64(size), ptr], None);
1387     }
1388
1389     pub(crate) fn phi(
1390         &mut self,
1391         ty: &'ll Type,
1392         vals: &[&'ll Value],
1393         bbs: &[&'ll BasicBlock],
1394     ) -> &'ll Value {
1395         assert_eq!(vals.len(), bbs.len());
1396         let phi = unsafe { llvm::LLVMBuildPhi(self.llbuilder, ty, UNNAMED) };
1397         unsafe {
1398             llvm::LLVMAddIncoming(phi, vals.as_ptr(), bbs.as_ptr(), vals.len() as c_uint);
1399             phi
1400         }
1401     }
1402
1403     fn add_incoming_to_phi(&mut self, phi: &'ll Value, val: &'ll Value, bb: &'ll BasicBlock) {
1404         unsafe {
1405             llvm::LLVMAddIncoming(phi, &val, &bb, 1 as c_uint);
1406         }
1407     }
1408
1409     fn wasm_and_missing_nontrapping_fptoint(&self) -> bool {
1410         self.sess().target.target.arch == "wasm32"
1411             && !self.sess().target_features.contains(&sym::nontrapping_dash_fptoint)
1412     }
1413 }