compiler/rustc_codegen_llvm/src/builder.rs

   1 use crate::common::Funclet;
   2 use crate::context::CodegenCx;
   3 use crate::llvm::{self, BasicBlock, False};
   4 use crate::llvm::{AtomicOrdering, AtomicRmwBinOp, SynchronizationScope};
   5 use crate::llvm_util;
   6 use crate::type_::Type;
   7 use crate::type_of::LayoutLlvmExt;
   8 use crate::value::Value;
   9 use cstr::cstr;
  10 use libc::{c_char, c_uint};
  11 use rustc_codegen_ssa::common::{IntPredicate, RealPredicate, TypeKind};
  12 use rustc_codegen_ssa::mir::operand::{OperandRef, OperandValue};
  13 use rustc_codegen_ssa::mir::place::PlaceRef;
  14 use rustc_codegen_ssa::traits::*;
  15 use rustc_codegen_ssa::MemFlags;
  16 use rustc_data_structures::small_c_str::SmallCStr;
  17 use rustc_hir::def_id::DefId;
  18 use rustc_middle::ty::layout::{
  19     FnAbiError, FnAbiOfHelpers, FnAbiRequest, LayoutError, LayoutOfHelpers, TyAndLayout,
  20 };
  21 use rustc_middle::ty::{self, Ty, TyCtxt};
  22 use rustc_span::Span;
  23 use rustc_target::abi::{self, call::FnAbi, Align, Size, WrappingRange};
  24 use rustc_target::spec::{HasTargetSpec, Target};
  25 use std::borrow::Cow;
  26 use std::ffi::CStr;
  27 use std::iter;
  28 use std::ops::Deref;
  29 use std::ptr;
  30 use tracing::debug;
  31
  32 // All Builders must have an llfn associated with them
  33 #[must_use]
  34 pub struct Builder<'a, 'll, 'tcx> {
  35     pub llbuilder: &'ll mut llvm::Builder<'ll>,
  36     pub cx: &'a CodegenCx<'ll, 'tcx>,
  37 }
  38
  39 impl Drop for Builder<'_, '_, '_> {
  40     fn drop(&mut self) {
  41         unsafe {
  42             llvm::LLVMDisposeBuilder(&mut *(self.llbuilder as *mut _));
  43         }
  44     }
  45 }
  46
  47 // FIXME(eddyb) use a checked constructor when they become `const fn`.
  48 const EMPTY_C_STR: &CStr = unsafe { CStr::from_bytes_with_nul_unchecked(b"\0") };
  49
  50 /// Empty string, to be used where LLVM expects an instruction name, indicating
  51 /// that the instruction is to be left unnamed (i.e. numbered, in textual IR).
  52 // FIXME(eddyb) pass `&CStr` directly to FFI once it's a thin pointer.
  53 const UNNAMED: *const c_char = EMPTY_C_STR.as_ptr();
  54
  55 impl<'ll, 'tcx> BackendTypes for Builder<'_, 'll, 'tcx> {
  56     type Value = <CodegenCx<'ll, 'tcx> as BackendTypes>::Value;
  57     type Function = <CodegenCx<'ll, 'tcx> as BackendTypes>::Function;
  58     type BasicBlock = <CodegenCx<'ll, 'tcx> as BackendTypes>::BasicBlock;
  59     type Type = <CodegenCx<'ll, 'tcx> as BackendTypes>::Type;
  60     type Funclet = <CodegenCx<'ll, 'tcx> as BackendTypes>::Funclet;
  61
  62     type DIScope = <CodegenCx<'ll, 'tcx> as BackendTypes>::DIScope;
  63     type DILocation = <CodegenCx<'ll, 'tcx> as BackendTypes>::DILocation;
  64     type DIVariable = <CodegenCx<'ll, 'tcx> as BackendTypes>::DIVariable;
  65 }
  66
  67 impl abi::HasDataLayout for Builder<'_, '_, '_> {
  68     fn data_layout(&self) -> &abi::TargetDataLayout {
  69         self.cx.data_layout()
  70     }
  71 }
  72
  73 impl<'tcx> ty::layout::HasTyCtxt<'tcx> for Builder<'_, '_, 'tcx> {
  74     #[inline]
  75     fn tcx(&self) -> TyCtxt<'tcx> {
  76         self.cx.tcx
  77     }
  78 }
  79
  80 impl<'tcx> ty::layout::HasParamEnv<'tcx> for Builder<'_, '_, 'tcx> {
  81     fn param_env(&self) -> ty::ParamEnv<'tcx> {
  82         self.cx.param_env()
  83     }
  84 }
  85
  86 impl HasTargetSpec for Builder<'_, '_, '_> {
  87     #[inline]
  88     fn target_spec(&self) -> &Target {
  89         self.cx.target_spec()
  90     }
  91 }
  92
  93 impl<'tcx> LayoutOfHelpers<'tcx> for Builder<'_, '_, 'tcx> {
  94     type LayoutOfResult = TyAndLayout<'tcx>;
  95
  96     #[inline]
  97     fn handle_layout_err(&self, err: LayoutError<'tcx>, span: Span, ty: Ty<'tcx>) -> ! {
  98         self.cx.handle_layout_err(err, span, ty)
  99     }
 100 }
 101
 102 impl<'tcx> FnAbiOfHelpers<'tcx> for Builder<'_, '_, 'tcx> {
 103     type FnAbiOfResult = &'tcx FnAbi<'tcx, Ty<'tcx>>;
 104
 105     #[inline]
 106     fn handle_fn_abi_err(
 107         &self,
 108         err: FnAbiError<'tcx>,
 109         span: Span,
 110         fn_abi_request: FnAbiRequest<'tcx>,
 111     ) -> ! {
 112         self.cx.handle_fn_abi_err(err, span, fn_abi_request)
 113     }
 114 }
 115
 116 impl<'ll, 'tcx> Deref for Builder<'_, 'll, 'tcx> {
 117     type Target = CodegenCx<'ll, 'tcx>;
 118
 119     #[inline]
 120     fn deref(&self) -> &Self::Target {
 121         self.cx
 122     }
 123 }
 124
 125 impl<'ll, 'tcx> HasCodegen<'tcx> for Builder<'_, 'll, 'tcx> {
 126     type CodegenCx = CodegenCx<'ll, 'tcx>;
 127 }
 128
 129 macro_rules! builder_methods_for_value_instructions {
 130     ($($name:ident($($arg:ident),*) => $llvm_capi:ident),+ $(,)?) => {
 131         $(fn $name(&mut self, $($arg: &'ll Value),*) -> &'ll Value {
 132             unsafe {
 133                 llvm::$llvm_capi(self.llbuilder, $($arg,)* UNNAMED)
 134             }
 135         })+
 136     }
 137 }
 138
 139 impl<'a, 'll, 'tcx> BuilderMethods<'a, 'tcx> for Builder<'a, 'll, 'tcx> {
 140     fn build(cx: &'a CodegenCx<'ll, 'tcx>, llbb: &'ll BasicBlock) -> Self {
 141         let bx = Builder::with_cx(cx);
 142         unsafe {
 143             llvm::LLVMPositionBuilderAtEnd(bx.llbuilder, llbb);
 144         }
 145         bx
 146     }
 147
 148     fn cx(&self) -> &CodegenCx<'ll, 'tcx> {
 149         self.cx
 150     }
 151
 152     fn llbb(&self) -> &'ll BasicBlock {
 153         unsafe { llvm::LLVMGetInsertBlock(self.llbuilder) }
 154     }
 155
 156     fn set_span(&mut self, _span: Span) {}
 157
 158     fn append_block(cx: &'a CodegenCx<'ll, 'tcx>, llfn: &'ll Value, name: &str) -> &'ll BasicBlock {
 159         unsafe {
 160             let name = SmallCStr::new(name);
 161             llvm::LLVMAppendBasicBlockInContext(cx.llcx, llfn, name.as_ptr())
 162         }
 163     }
 164
 165     fn append_sibling_block(&mut self, name: &str) -> &'ll BasicBlock {
 166         Self::append_block(self.cx, self.llfn(), name)
 167     }
 168
 169     fn build_sibling_block(&mut self, name: &str) -> Self {
 170         let llbb = self.append_sibling_block(name);
 171         Self::build(self.cx, llbb)
 172     }
 173
 174     fn ret_void(&mut self) {
 175         unsafe {
 176             llvm::LLVMBuildRetVoid(self.llbuilder);
 177         }
 178     }
 179
 180     fn ret(&mut self, v: &'ll Value) {
 181         unsafe {
 182             llvm::LLVMBuildRet(self.llbuilder, v);
 183         }
 184     }
 185
 186     fn br(&mut self, dest: &'ll BasicBlock) {
 187         unsafe {
 188             llvm::LLVMBuildBr(self.llbuilder, dest);
 189         }
 190     }
 191
 192     fn cond_br(
 193         &mut self,
 194         cond: &'ll Value,
 195         then_llbb: &'ll BasicBlock,
 196         else_llbb: &'ll BasicBlock,
 197     ) {
 198         unsafe {
 199             llvm::LLVMBuildCondBr(self.llbuilder, cond, then_llbb, else_llbb);
 200         }
 201     }
 202
 203     fn switch(
 204         &mut self,
 205         v: &'ll Value,
 206         else_llbb: &'ll BasicBlock,
 207         cases: impl ExactSizeIterator<Item = (u128, &'ll BasicBlock)>,
 208     ) {
 209         let switch =
 210             unsafe { llvm::LLVMBuildSwitch(self.llbuilder, v, else_llbb, cases.len() as c_uint) };
 211         for (on_val, dest) in cases {
 212             let on_val = self.const_uint_big(self.val_ty(v), on_val);
 213             unsafe { llvm::LLVMAddCase(switch, on_val, dest) }
 214         }
 215     }
 216
 217     fn invoke(
 218         &mut self,
 219         llty: &'ll Type,
 220         llfn: &'ll Value,
 221         args: &[&'ll Value],
 222         then: &'ll BasicBlock,
 223         catch: &'ll BasicBlock,
 224         funclet: Option<&Funclet<'ll>>,
 225     ) -> &'ll Value {
 226         debug!("invoke {:?} with args ({:?})", llfn, args);
 227
 228         let args = self.check_call("invoke", llty, llfn, args);
 229         let bundle = funclet.map(|funclet| funclet.bundle());
 230         let bundle = bundle.as_ref().map(|b| &*b.raw);
 231
 232         unsafe {
 233             llvm::LLVMRustBuildInvoke(
 234                 self.llbuilder,
 235                 llty,
 236                 llfn,
 237                 args.as_ptr(),
 238                 args.len() as c_uint,
 239                 then,
 240                 catch,
 241                 bundle,
 242                 UNNAMED,
 243             )
 244         }
 245     }
 246
 247     fn unreachable(&mut self) {
 248         unsafe {
 249             llvm::LLVMBuildUnreachable(self.llbuilder);
 250         }
 251     }
 252
 253     builder_methods_for_value_instructions! {
 254         add(a, b) => LLVMBuildAdd,
 255         fadd(a, b) => LLVMBuildFAdd,
 256         sub(a, b) => LLVMBuildSub,
 257         fsub(a, b) => LLVMBuildFSub,
 258         mul(a, b) => LLVMBuildMul,
 259         fmul(a, b) => LLVMBuildFMul,
 260         udiv(a, b) => LLVMBuildUDiv,
 261         exactudiv(a, b) => LLVMBuildExactUDiv,
 262         sdiv(a, b) => LLVMBuildSDiv,
 263         exactsdiv(a, b) => LLVMBuildExactSDiv,
 264         fdiv(a, b) => LLVMBuildFDiv,
 265         urem(a, b) => LLVMBuildURem,
 266         srem(a, b) => LLVMBuildSRem,
 267         frem(a, b) => LLVMBuildFRem,
 268         shl(a, b) => LLVMBuildShl,
 269         lshr(a, b) => LLVMBuildLShr,
 270         ashr(a, b) => LLVMBuildAShr,
 271         and(a, b) => LLVMBuildAnd,
 272         or(a, b) => LLVMBuildOr,
 273         xor(a, b) => LLVMBuildXor,
 274         neg(x) => LLVMBuildNeg,
 275         fneg(x) => LLVMBuildFNeg,
 276         not(x) => LLVMBuildNot,
 277         unchecked_sadd(x, y) => LLVMBuildNSWAdd,
 278         unchecked_uadd(x, y) => LLVMBuildNUWAdd,
 279         unchecked_ssub(x, y) => LLVMBuildNSWSub,
 280         unchecked_usub(x, y) => LLVMBuildNUWSub,
 281         unchecked_smul(x, y) => LLVMBuildNSWMul,
 282         unchecked_umul(x, y) => LLVMBuildNUWMul,
 283     }
 284
 285     fn fadd_fast(&mut self, lhs: &'ll Value, rhs: &'ll Value) -> &'ll Value {
 286         unsafe {
 287             let instr = llvm::LLVMBuildFAdd(self.llbuilder, lhs, rhs, UNNAMED);
 288             llvm::LLVMRustSetFastMath(instr);
 289             instr
 290         }
 291     }
 292
 293     fn fsub_fast(&mut self, lhs: &'ll Value, rhs: &'ll Value) -> &'ll Value {
 294         unsafe {
 295             let instr = llvm::LLVMBuildFSub(self.llbuilder, lhs, rhs, UNNAMED);
 296             llvm::LLVMRustSetFastMath(instr);
 297             instr
 298         }
 299     }
 300
 301     fn fmul_fast(&mut self, lhs: &'ll Value, rhs: &'ll Value) -> &'ll Value {
 302         unsafe {
 303             let instr = llvm::LLVMBuildFMul(self.llbuilder, lhs, rhs, UNNAMED);
 304             llvm::LLVMRustSetFastMath(instr);
 305             instr
 306         }
 307     }
 308
 309     fn fdiv_fast(&mut self, lhs: &'ll Value, rhs: &'ll Value) -> &'ll Value {
 310         unsafe {
 311             let instr = llvm::LLVMBuildFDiv(self.llbuilder, lhs, rhs, UNNAMED);
 312             llvm::LLVMRustSetFastMath(instr);
 313             instr
 314         }
 315     }
 316
 317     fn frem_fast(&mut self, lhs: &'ll Value, rhs: &'ll Value) -> &'ll Value {
 318         unsafe {
 319             let instr = llvm::LLVMBuildFRem(self.llbuilder, lhs, rhs, UNNAMED);
 320             llvm::LLVMRustSetFastMath(instr);
 321             instr
 322         }
 323     }
 324
 325     fn checked_binop(
 326         &mut self,
 327         oop: OverflowOp,
 328         ty: Ty<'_>,
 329         lhs: Self::Value,
 330         rhs: Self::Value,
 331     ) -> (Self::Value, Self::Value) {
 332         use rustc_middle::ty::{Int, Uint};
 333         use rustc_middle::ty::{IntTy::*, UintTy::*};
 334
 335         let new_kind = match ty.kind() {
 336             Int(t @ Isize) => Int(t.normalize(self.tcx.sess.target.pointer_width)),
 337             Uint(t @ Usize) => Uint(t.normalize(self.tcx.sess.target.pointer_width)),
 338             t @ (Uint(_) | Int(_)) => t.clone(),
 339             _ => panic!("tried to get overflow intrinsic for op applied to non-int type"),
 340         };
 341
 342         let name = match oop {
 343             OverflowOp::Add => match new_kind {
 344                 Int(I8) => "llvm.sadd.with.overflow.i8",
 345                 Int(I16) => "llvm.sadd.with.overflow.i16",
 346                 Int(I32) => "llvm.sadd.with.overflow.i32",
 347                 Int(I64) => "llvm.sadd.with.overflow.i64",
 348                 Int(I128) => "llvm.sadd.with.overflow.i128",
 349
 350                 Uint(U8) => "llvm.uadd.with.overflow.i8",
 351                 Uint(U16) => "llvm.uadd.with.overflow.i16",
 352                 Uint(U32) => "llvm.uadd.with.overflow.i32",
 353                 Uint(U64) => "llvm.uadd.with.overflow.i64",
 354                 Uint(U128) => "llvm.uadd.with.overflow.i128",
 355
 356                 _ => unreachable!(),
 357             },
 358             OverflowOp::Sub => match new_kind {
 359                 Int(I8) => "llvm.ssub.with.overflow.i8",
 360                 Int(I16) => "llvm.ssub.with.overflow.i16",
 361                 Int(I32) => "llvm.ssub.with.overflow.i32",
 362                 Int(I64) => "llvm.ssub.with.overflow.i64",
 363                 Int(I128) => "llvm.ssub.with.overflow.i128",
 364
 365                 Uint(U8) => "llvm.usub.with.overflow.i8",
 366                 Uint(U16) => "llvm.usub.with.overflow.i16",
 367                 Uint(U32) => "llvm.usub.with.overflow.i32",
 368                 Uint(U64) => "llvm.usub.with.overflow.i64",
 369                 Uint(U128) => "llvm.usub.with.overflow.i128",
 370
 371                 _ => unreachable!(),
 372             },
 373             OverflowOp::Mul => match new_kind {
 374                 Int(I8) => "llvm.smul.with.overflow.i8",
 375                 Int(I16) => "llvm.smul.with.overflow.i16",
 376                 Int(I32) => "llvm.smul.with.overflow.i32",
 377                 Int(I64) => "llvm.smul.with.overflow.i64",
 378                 Int(I128) => "llvm.smul.with.overflow.i128",
 379
 380                 Uint(U8) => "llvm.umul.with.overflow.i8",
 381                 Uint(U16) => "llvm.umul.with.overflow.i16",
 382                 Uint(U32) => "llvm.umul.with.overflow.i32",
 383                 Uint(U64) => "llvm.umul.with.overflow.i64",
 384                 Uint(U128) => "llvm.umul.with.overflow.i128",
 385
 386                 _ => unreachable!(),
 387             },
 388         };
 389
 390         let res = self.call_intrinsic(name, &[lhs, rhs]);
 391         (self.extract_value(res, 0), self.extract_value(res, 1))
 392     }
 393
 394     fn from_immediate(&mut self, val: Self::Value) -> Self::Value {
 395         if self.cx().val_ty(val) == self.cx().type_i1() {
 396             self.zext(val, self.cx().type_i8())
 397         } else {
 398             val
 399         }
 400     }
 401     fn to_immediate_scalar(&mut self, val: Self::Value, scalar: abi::Scalar) -> Self::Value {
 402         if scalar.is_bool() {
 403             return self.trunc(val, self.cx().type_i1());
 404         }
 405         val
 406     }
 407
 408     fn alloca(&mut self, ty: &'ll Type, align: Align) -> &'ll Value {
 409         let mut bx = Builder::with_cx(self.cx);
 410         bx.position_at_start(unsafe { llvm::LLVMGetFirstBasicBlock(self.llfn()) });
 411         bx.dynamic_alloca(ty, align)
 412     }
 413
 414     fn dynamic_alloca(&mut self, ty: &'ll Type, align: Align) -> &'ll Value {
 415         unsafe {
 416             let alloca = llvm::LLVMBuildAlloca(self.llbuilder, ty, UNNAMED);
 417             llvm::LLVMSetAlignment(alloca, align.bytes() as c_uint);
 418             alloca
 419         }
 420     }
 421
 422     fn array_alloca(&mut self, ty: &'ll Type, len: &'ll Value, align: Align) -> &'ll Value {
 423         unsafe {
 424             let alloca = llvm::LLVMBuildArrayAlloca(self.llbuilder, ty, len, UNNAMED);
 425             llvm::LLVMSetAlignment(alloca, align.bytes() as c_uint);
 426             alloca
 427         }
 428     }
 429
 430     fn load(&mut self, ty: &'ll Type, ptr: &'ll Value, align: Align) -> &'ll Value {
 431         unsafe {
 432             let load = llvm::LLVMBuildLoad2(self.llbuilder, ty, ptr, UNNAMED);
 433             llvm::LLVMSetAlignment(load, align.bytes() as c_uint);
 434             load
 435         }
 436     }
 437
 438     fn volatile_load(&mut self, ty: &'ll Type, ptr: &'ll Value) -> &'ll Value {
 439         unsafe {
 440             let load = llvm::LLVMBuildLoad2(self.llbuilder, ty, ptr, UNNAMED);
 441             llvm::LLVMSetVolatile(load, llvm::True);
 442             load
 443         }
 444     }
 445
 446     fn atomic_load(
 447         &mut self,
 448         ty: &'ll Type,
 449         ptr: &'ll Value,
 450         order: rustc_codegen_ssa::common::AtomicOrdering,
 451         size: Size,
 452     ) -> &'ll Value {
 453         unsafe {
 454             let load = llvm::LLVMRustBuildAtomicLoad(
 455                 self.llbuilder,
 456                 ty,
 457                 ptr,
 458                 UNNAMED,
 459                 AtomicOrdering::from_generic(order),
 460             );
 461             // LLVM requires the alignment of atomic loads to be at least the size of the type.
 462             llvm::LLVMSetAlignment(load, size.bytes() as c_uint);
 463             load
 464         }
 465     }
 466
 467     fn load_operand(&mut self, place: PlaceRef<'tcx, &'ll Value>) -> OperandRef<'tcx, &'ll Value> {
 468         debug!("PlaceRef::load: {:?}", place);
 469
 470         assert_eq!(place.llextra.is_some(), place.layout.is_unsized());
 471
 472         if place.layout.is_zst() {
 473             return OperandRef::new_zst(self, place.layout);
 474         }
 475
 476         fn scalar_load_metadata<'a, 'll, 'tcx>(
 477             bx: &mut Builder<'a, 'll, 'tcx>,
 478             load: &'ll Value,
 479             scalar: abi::Scalar,
 480         ) {
 481             match scalar.value {
 482                 abi::Int(..) => {
 483                     if !scalar.is_always_valid(bx) {
 484                         bx.range_metadata(load, scalar.valid_range);
 485                     }
 486                 }
 487                 abi::Pointer if !scalar.valid_range.contains(0) => {
 488                     bx.nonnull_metadata(load);
 489                 }
 490                 _ => {}
 491             }
 492         }
 493
 494         let val = if let Some(llextra) = place.llextra {
 495             OperandValue::Ref(place.llval, Some(llextra), place.align)
 496         } else if place.layout.is_llvm_immediate() {
 497             let mut const_llval = None;
 498             unsafe {
 499                 if let Some(global) = llvm::LLVMIsAGlobalVariable(place.llval) {
 500                     if llvm::LLVMIsGlobalConstant(global) == llvm::True {
 501                         const_llval = llvm::LLVMGetInitializer(global);
 502                     }
 503                 }
 504             }
 505             let llval = const_llval.unwrap_or_else(|| {
 506                 let load = self.load(place.layout.llvm_type(self), place.llval, place.align);
 507                 if let abi::Abi::Scalar(scalar) = place.layout.abi {
 508                     scalar_load_metadata(self, load, scalar);
 509                 }
 510                 load
 511             });
 512             OperandValue::Immediate(self.to_immediate(llval, place.layout))
 513         } else if let abi::Abi::ScalarPair(a, b) = place.layout.abi {
 514             let b_offset = a.value.size(self).align_to(b.value.align(self).abi);
 515             let pair_ty = place.layout.llvm_type(self);
 516
 517             let mut load = |i, scalar: abi::Scalar, align| {
 518                 let llptr = self.struct_gep(pair_ty, place.llval, i as u64);
 519                 let llty = place.layout.scalar_pair_element_llvm_type(self, i, false);
 520                 let load = self.load(llty, llptr, align);
 521                 scalar_load_metadata(self, load, scalar);
 522                 self.to_immediate_scalar(load, scalar)
 523             };
 524
 525             OperandValue::Pair(
 526                 load(0, a, place.align),
 527                 load(1, b, place.align.restrict_for_offset(b_offset)),
 528             )
 529         } else {
 530             OperandValue::Ref(place.llval, None, place.align)
 531         };
 532
 533         OperandRef { val, layout: place.layout }
 534     }
 535
 536     fn write_operand_repeatedly(
 537         mut self,
 538         cg_elem: OperandRef<'tcx, &'ll Value>,
 539         count: u64,
 540         dest: PlaceRef<'tcx, &'ll Value>,
 541     ) -> Self {
 542         let zero = self.const_usize(0);
 543         let count = self.const_usize(count);
 544         let start = dest.project_index(&mut self, zero).llval;
 545         let end = dest.project_index(&mut self, count).llval;
 546
 547         let mut header_bx = self.build_sibling_block("repeat_loop_header");
 548         let mut body_bx = self.build_sibling_block("repeat_loop_body");
 549         let next_bx = self.build_sibling_block("repeat_loop_next");
 550
 551         self.br(header_bx.llbb());
 552         let current = header_bx.phi(self.val_ty(start), &[start], &[self.llbb()]);
 553
 554         let keep_going = header_bx.icmp(IntPredicate::IntNE, current, end);
 555         header_bx.cond_br(keep_going, body_bx.llbb(), next_bx.llbb());
 556
 557         let align = dest.align.restrict_for_offset(dest.layout.field(self.cx(), 0).size);
 558         cg_elem
 559             .val
 560             .store(&mut body_bx, PlaceRef::new_sized_aligned(current, cg_elem.layout, align));
 561
 562         let next = body_bx.inbounds_gep(
 563             self.backend_type(cg_elem.layout),
 564             current,
 565             &[self.const_usize(1)],
 566         );
 567         body_bx.br(header_bx.llbb());
 568         header_bx.add_incoming_to_phi(current, next, body_bx.llbb());
 569
 570         next_bx
 571     }
 572
 573     fn range_metadata(&mut self, load: &'ll Value, range: WrappingRange) {
 574         if self.sess().target.arch == "amdgpu" {
 575             // amdgpu/LLVM does something weird and thinks an i64 value is
 576             // split into a v2i32, halving the bitwidth LLVM expects,
 577             // tripping an assertion. So, for now, just disable this
 578             // optimization.
 579             return;
 580         }
 581
 582         unsafe {
 583             let llty = self.cx.val_ty(load);
 584             let v = [
 585                 self.cx.const_uint_big(llty, range.start),
 586                 self.cx.const_uint_big(llty, range.end.wrapping_add(1)),
 587             ];
 588
 589             llvm::LLVMSetMetadata(
 590                 load,
 591                 llvm::MD_range as c_uint,
 592                 llvm::LLVMMDNodeInContext(self.cx.llcx, v.as_ptr(), v.len() as c_uint),
 593             );
 594         }
 595     }
 596
 597     fn nonnull_metadata(&mut self, load: &'ll Value) {
 598         unsafe {
 599             llvm::LLVMSetMetadata(
 600                 load,
 601                 llvm::MD_nonnull as c_uint,
 602                 llvm::LLVMMDNodeInContext(self.cx.llcx, ptr::null(), 0),
 603             );
 604         }
 605     }
 606
 607     fn type_metadata(&mut self, function: &'ll Value, typeid: String) {
 608         let typeid_metadata = self.typeid_metadata(typeid);
 609         let v = [self.const_usize(0), typeid_metadata];
 610         unsafe {
 611             llvm::LLVMGlobalSetMetadata(
 612                 function,
 613                 llvm::MD_type as c_uint,
 614                 llvm::LLVMValueAsMetadata(llvm::LLVMMDNodeInContext(
 615                     self.cx.llcx,
 616                     v.as_ptr(),
 617                     v.len() as c_uint,
 618                 )),
 619             )
 620         }
 621     }
 622
 623     fn typeid_metadata(&mut self, typeid: String) -> Self::Value {
 624         unsafe {
 625             llvm::LLVMMDStringInContext(
 626                 self.cx.llcx,
 627                 typeid.as_ptr() as *const c_char,
 628                 typeid.as_bytes().len() as c_uint,
 629             )
 630         }
 631     }
 632
 633     fn store(&mut self, val: &'ll Value, ptr: &'ll Value, align: Align) -> &'ll Value {
 634         self.store_with_flags(val, ptr, align, MemFlags::empty())
 635     }
 636
 637     fn store_with_flags(
 638         &mut self,
 639         val: &'ll Value,
 640         ptr: &'ll Value,
 641         align: Align,
 642         flags: MemFlags,
 643     ) -> &'ll Value {
 644         debug!("Store {:?} -> {:?} ({:?})", val, ptr, flags);
 645         let ptr = self.check_store(val, ptr);
 646         unsafe {
 647             let store = llvm::LLVMBuildStore(self.llbuilder, val, ptr);
 648             let align =
 649                 if flags.contains(MemFlags::UNALIGNED) { 1 } else { align.bytes() as c_uint };
 650             llvm::LLVMSetAlignment(store, align);
 651             if flags.contains(MemFlags::VOLATILE) {
 652                 llvm::LLVMSetVolatile(store, llvm::True);
 653             }
 654             if flags.contains(MemFlags::NONTEMPORAL) {
 655                 // According to LLVM [1] building a nontemporal store must
 656                 // *always* point to a metadata value of the integer 1.
 657                 //
 658                 // [1]: https://llvm.org/docs/LangRef.html#store-instruction
 659                 let one = self.cx.const_i32(1);
 660                 let node = llvm::LLVMMDNodeInContext(self.cx.llcx, &one, 1);
 661                 llvm::LLVMSetMetadata(store, llvm::MD_nontemporal as c_uint, node);
 662             }
 663             store
 664         }
 665     }
 666
 667     fn atomic_store(
 668         &mut self,
 669         val: &'ll Value,
 670         ptr: &'ll Value,
 671         order: rustc_codegen_ssa::common::AtomicOrdering,
 672         size: Size,
 673     ) {
 674         debug!("Store {:?} -> {:?}", val, ptr);
 675         let ptr = self.check_store(val, ptr);
 676         unsafe {
 677             let store = llvm::LLVMRustBuildAtomicStore(
 678                 self.llbuilder,
 679                 val,
 680                 ptr,
 681                 AtomicOrdering::from_generic(order),
 682             );
 683             // LLVM requires the alignment of atomic stores to be at least the size of the type.
 684             llvm::LLVMSetAlignment(store, size.bytes() as c_uint);
 685         }
 686     }
 687
 688     fn gep(&mut self, ty: &'ll Type, ptr: &'ll Value, indices: &[&'ll Value]) -> &'ll Value {
 689         unsafe {
 690             llvm::LLVMBuildGEP2(
 691                 self.llbuilder,
 692                 ty,
 693                 ptr,
 694                 indices.as_ptr(),
 695                 indices.len() as c_uint,
 696                 UNNAMED,
 697             )
 698         }
 699     }
 700
 701     fn inbounds_gep(
 702         &mut self,
 703         ty: &'ll Type,
 704         ptr: &'ll Value,
 705         indices: &[&'ll Value],
 706     ) -> &'ll Value {
 707         unsafe {
 708             llvm::LLVMBuildInBoundsGEP2(
 709                 self.llbuilder,
 710                 ty,
 711                 ptr,
 712                 indices.as_ptr(),
 713                 indices.len() as c_uint,
 714                 UNNAMED,
 715             )
 716         }
 717     }
 718
 719     fn struct_gep(&mut self, ty: &'ll Type, ptr: &'ll Value, idx: u64) -> &'ll Value {
 720         assert_eq!(idx as c_uint as u64, idx);
 721         unsafe { llvm::LLVMBuildStructGEP2(self.llbuilder, ty, ptr, idx as c_uint, UNNAMED) }
 722     }
 723
 724     /* Casts */
 725     fn trunc(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> &'ll Value {
 726         unsafe { llvm::LLVMBuildTrunc(self.llbuilder, val, dest_ty, UNNAMED) }
 727     }
 728
 729     fn sext(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> &'ll Value {
 730         unsafe { llvm::LLVMBuildSExt(self.llbuilder, val, dest_ty, UNNAMED) }
 731     }
 732
 733     fn fptoui_sat(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> Option<&'ll Value> {
 734         self.fptoint_sat(false, val, dest_ty)
 735     }
 736
 737     fn fptosi_sat(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> Option<&'ll Value> {
 738         self.fptoint_sat(true, val, dest_ty)
 739     }
 740
 741     fn fptoui(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> &'ll Value {
 742         // On WebAssembly the `fptoui` and `fptosi` instructions currently have
 743         // poor codegen. The reason for this is that the corresponding wasm
 744         // instructions, `i32.trunc_f32_s` for example, will trap when the float
 745         // is out-of-bounds, infinity, or nan. This means that LLVM
 746         // automatically inserts control flow around `fptoui` and `fptosi`
 747         // because the LLVM instruction `fptoui` is defined as producing a
 748         // poison value, not having UB on out-of-bounds values.
 749         //
 750         // This method, however, is only used with non-saturating casts that
 751         // have UB on out-of-bounds values. This means that it's ok if we use
 752         // the raw wasm instruction since out-of-bounds values can do whatever
 753         // we like. To ensure that LLVM picks the right instruction we choose
 754         // the raw wasm intrinsic functions which avoid LLVM inserting all the
 755         // other control flow automatically.
 756         if self.sess().target.is_like_wasm {
 757             let src_ty = self.cx.val_ty(val);
 758             if self.cx.type_kind(src_ty) != TypeKind::Vector {
 759                 let float_width = self.cx.float_width(src_ty);
 760                 let int_width = self.cx.int_width(dest_ty);
 761                 let name = match (int_width, float_width) {
 762                     (32, 32) => Some("llvm.wasm.trunc.unsigned.i32.f32"),
 763                     (32, 64) => Some("llvm.wasm.trunc.unsigned.i32.f64"),
 764                     (64, 32) => Some("llvm.wasm.trunc.unsigned.i64.f32"),
 765                     (64, 64) => Some("llvm.wasm.trunc.unsigned.i64.f64"),
 766                     _ => None,
 767                 };
 768                 if let Some(name) = name {
 769                     return self.call_intrinsic(name, &[val]);
 770                 }
 771             }
 772         }
 773         unsafe { llvm::LLVMBuildFPToUI(self.llbuilder, val, dest_ty, UNNAMED) }
 774     }
 775
 776     fn fptosi(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> &'ll Value {
 777         // see `fptoui` above for why wasm is different here
 778         if self.sess().target.is_like_wasm {
 779             let src_ty = self.cx.val_ty(val);
 780             if self.cx.type_kind(src_ty) != TypeKind::Vector {
 781                 let float_width = self.cx.float_width(src_ty);
 782                 let int_width = self.cx.int_width(dest_ty);
 783                 let name = match (int_width, float_width) {
 784                     (32, 32) => Some("llvm.wasm.trunc.signed.i32.f32"),
 785                     (32, 64) => Some("llvm.wasm.trunc.signed.i32.f64"),
 786                     (64, 32) => Some("llvm.wasm.trunc.signed.i64.f32"),
 787                     (64, 64) => Some("llvm.wasm.trunc.signed.i64.f64"),
 788                     _ => None,
 789                 };
 790                 if let Some(name) = name {
 791                     return self.call_intrinsic(name, &[val]);
 792                 }
 793             }
 794         }
 795         unsafe { llvm::LLVMBuildFPToSI(self.llbuilder, val, dest_ty, UNNAMED) }
 796     }
 797
 798     fn uitofp(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> &'ll Value {
 799         unsafe { llvm::LLVMBuildUIToFP(self.llbuilder, val, dest_ty, UNNAMED) }
 800     }
 801
 802     fn sitofp(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> &'ll Value {
 803         unsafe { llvm::LLVMBuildSIToFP(self.llbuilder, val, dest_ty, UNNAMED) }
 804     }
 805
 806     fn fptrunc(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> &'ll Value {
 807         unsafe { llvm::LLVMBuildFPTrunc(self.llbuilder, val, dest_ty, UNNAMED) }
 808     }
 809
 810     fn fpext(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> &'ll Value {
 811         unsafe { llvm::LLVMBuildFPExt(self.llbuilder, val, dest_ty, UNNAMED) }
 812     }
 813
 814     fn ptrtoint(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> &'ll Value {
 815         unsafe { llvm::LLVMBuildPtrToInt(self.llbuilder, val, dest_ty, UNNAMED) }
 816     }
 817
 818     fn inttoptr(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> &'ll Value {
 819         unsafe { llvm::LLVMBuildIntToPtr(self.llbuilder, val, dest_ty, UNNAMED) }
 820     }
 821
 822     fn bitcast(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> &'ll Value {
 823         unsafe { llvm::LLVMBuildBitCast(self.llbuilder, val, dest_ty, UNNAMED) }
 824     }
 825
 826     fn intcast(&mut self, val: &'ll Value, dest_ty: &'ll Type, is_signed: bool) -> &'ll Value {
 827         unsafe { llvm::LLVMRustBuildIntCast(self.llbuilder, val, dest_ty, is_signed) }
 828     }
 829
 830     fn pointercast(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> &'ll Value {
 831         unsafe { llvm::LLVMBuildPointerCast(self.llbuilder, val, dest_ty, UNNAMED) }
 832     }
 833
 834     /* Comparisons */
 835     fn icmp(&mut self, op: IntPredicate, lhs: &'ll Value, rhs: &'ll Value) -> &'ll Value {
 836         let op = llvm::IntPredicate::from_generic(op);
 837         unsafe { llvm::LLVMBuildICmp(self.llbuilder, op as c_uint, lhs, rhs, UNNAMED) }
 838     }
 839
 840     fn fcmp(&mut self, op: RealPredicate, lhs: &'ll Value, rhs: &'ll Value) -> &'ll Value {
 841         let op = llvm::RealPredicate::from_generic(op);
 842         unsafe { llvm::LLVMBuildFCmp(self.llbuilder, op as c_uint, lhs, rhs, UNNAMED) }
 843     }
 844
 845     /* Miscellaneous instructions */
 846     fn memcpy(
 847         &mut self,
 848         dst: &'ll Value,
 849         dst_align: Align,
 850         src: &'ll Value,
 851         src_align: Align,
 852         size: &'ll Value,
 853         flags: MemFlags,
 854     ) {
 855         assert!(!flags.contains(MemFlags::NONTEMPORAL), "non-temporal memcpy not supported");
 856         let size = self.intcast(size, self.type_isize(), false);
 857         let is_volatile = flags.contains(MemFlags::VOLATILE);
 858         let dst = self.pointercast(dst, self.type_i8p());
 859         let src = self.pointercast(src, self.type_i8p());
 860         unsafe {
 861             llvm::LLVMRustBuildMemCpy(
 862                 self.llbuilder,
 863                 dst,
 864                 dst_align.bytes() as c_uint,
 865                 src,
 866                 src_align.bytes() as c_uint,
 867                 size,
 868                 is_volatile,
 869             );
 870         }
 871     }
 872
 873     fn memmove(
 874         &mut self,
 875         dst: &'ll Value,
 876         dst_align: Align,
 877         src: &'ll Value,
 878         src_align: Align,
 879         size: &'ll Value,
 880         flags: MemFlags,
 881     ) {
 882         assert!(!flags.contains(MemFlags::NONTEMPORAL), "non-temporal memmove not supported");
 883         let size = self.intcast(size, self.type_isize(), false);
 884         let is_volatile = flags.contains(MemFlags::VOLATILE);
 885         let dst = self.pointercast(dst, self.type_i8p());
 886         let src = self.pointercast(src, self.type_i8p());
 887         unsafe {
 888             llvm::LLVMRustBuildMemMove(
 889                 self.llbuilder,
 890                 dst,
 891                 dst_align.bytes() as c_uint,
 892                 src,
 893                 src_align.bytes() as c_uint,
 894                 size,
 895                 is_volatile,
 896             );
 897         }
 898     }
 899
 900     fn memset(
 901         &mut self,
 902         ptr: &'ll Value,
 903         fill_byte: &'ll Value,
 904         size: &'ll Value,
 905         align: Align,
 906         flags: MemFlags,
 907     ) {
 908         let is_volatile = flags.contains(MemFlags::VOLATILE);
 909         let ptr = self.pointercast(ptr, self.type_i8p());
 910         unsafe {
 911             llvm::LLVMRustBuildMemSet(
 912                 self.llbuilder,
 913                 ptr,
 914                 align.bytes() as c_uint,
 915                 fill_byte,
 916                 size,
 917                 is_volatile,
 918             );
 919         }
 920     }
 921
 922     fn select(
 923         &mut self,
 924         cond: &'ll Value,
 925         then_val: &'ll Value,
 926         else_val: &'ll Value,
 927     ) -> &'ll Value {
 928         unsafe { llvm::LLVMBuildSelect(self.llbuilder, cond, then_val, else_val, UNNAMED) }
 929     }
 930
 931     fn va_arg(&mut self, list: &'ll Value, ty: &'ll Type) -> &'ll Value {
 932         unsafe { llvm::LLVMBuildVAArg(self.llbuilder, list, ty, UNNAMED) }
 933     }
 934
 935     fn extract_element(&mut self, vec: &'ll Value, idx: &'ll Value) -> &'ll Value {
 936         unsafe { llvm::LLVMBuildExtractElement(self.llbuilder, vec, idx, UNNAMED) }
 937     }
 938
 939     fn vector_splat(&mut self, num_elts: usize, elt: &'ll Value) -> &'ll Value {
 940         unsafe {
 941             let elt_ty = self.cx.val_ty(elt);
 942             let undef = llvm::LLVMGetUndef(self.type_vector(elt_ty, num_elts as u64));
 943             let vec = self.insert_element(undef, elt, self.cx.const_i32(0));
 944             let vec_i32_ty = self.type_vector(self.type_i32(), num_elts as u64);
 945             self.shuffle_vector(vec, undef, self.const_null(vec_i32_ty))
 946         }
 947     }
 948
 949     fn extract_value(&mut self, agg_val: &'ll Value, idx: u64) -> &'ll Value {
 950         assert_eq!(idx as c_uint as u64, idx);
 951         unsafe { llvm::LLVMBuildExtractValue(self.llbuilder, agg_val, idx as c_uint, UNNAMED) }
 952     }
 953
 954     fn insert_value(&mut self, agg_val: &'ll Value, elt: &'ll Value, idx: u64) -> &'ll Value {
 955         assert_eq!(idx as c_uint as u64, idx);
 956         unsafe { llvm::LLVMBuildInsertValue(self.llbuilder, agg_val, elt, idx as c_uint, UNNAMED) }
 957     }
 958
 959     fn landing_pad(
 960         &mut self,
 961         ty: &'ll Type,
 962         pers_fn: &'ll Value,
 963         num_clauses: usize,
 964     ) -> &'ll Value {
 965         // Use LLVMSetPersonalityFn to set the personality. It supports arbitrary Consts while,
 966         // LLVMBuildLandingPad requires the argument to be a Function (as of LLVM 12). The
 967         // personality lives on the parent function anyway.
 968         self.set_personality_fn(pers_fn);
 969         unsafe {
 970             llvm::LLVMBuildLandingPad(self.llbuilder, ty, None, num_clauses as c_uint, UNNAMED)
 971         }
 972     }
 973
 974     fn set_cleanup(&mut self, landing_pad: &'ll Value) {
 975         unsafe {
 976             llvm::LLVMSetCleanup(landing_pad, llvm::True);
 977         }
 978     }
 979
 980     fn resume(&mut self, exn: &'ll Value) -> &'ll Value {
 981         unsafe { llvm::LLVMBuildResume(self.llbuilder, exn) }
 982     }
 983
 984     fn cleanup_pad(&mut self, parent: Option<&'ll Value>, args: &[&'ll Value]) -> Funclet<'ll> {
 985         let name = cstr!("cleanuppad");
 986         let ret = unsafe {
 987             llvm::LLVMRustBuildCleanupPad(
 988                 self.llbuilder,
 989                 parent,
 990                 args.len() as c_uint,
 991                 args.as_ptr(),
 992                 name.as_ptr(),
 993             )
 994         };
 995         Funclet::new(ret.expect("LLVM does not have support for cleanuppad"))
 996     }
 997
 998     fn cleanup_ret(
 999         &mut self,
1000         funclet: &Funclet<'ll>,
1001         unwind: Option<&'ll BasicBlock>,
1002     ) -> &'ll Value {
1003         let ret =
1004             unsafe { llvm::LLVMRustBuildCleanupRet(self.llbuilder, funclet.cleanuppad(), unwind) };
1005         ret.expect("LLVM does not have support for cleanupret")
1006     }
1007
1008     fn catch_pad(&mut self, parent: &'ll Value, args: &[&'ll Value]) -> Funclet<'ll> {
1009         let name = cstr!("catchpad");
1010         let ret = unsafe {
1011             llvm::LLVMRustBuildCatchPad(
1012                 self.llbuilder,
1013                 parent,
1014                 args.len() as c_uint,
1015                 args.as_ptr(),
1016                 name.as_ptr(),
1017             )
1018         };
1019         Funclet::new(ret.expect("LLVM does not have support for catchpad"))
1020     }
1021
1022     fn catch_switch(
1023         &mut self,
1024         parent: Option<&'ll Value>,
1025         unwind: Option<&'ll BasicBlock>,
1026         num_handlers: usize,
1027     ) -> &'ll Value {
1028         let name = cstr!("catchswitch");
1029         let ret = unsafe {
1030             llvm::LLVMRustBuildCatchSwitch(
1031                 self.llbuilder,
1032                 parent,
1033                 unwind,
1034                 num_handlers as c_uint,
1035                 name.as_ptr(),
1036             )
1037         };
1038         ret.expect("LLVM does not have support for catchswitch")
1039     }
1040
1041     fn add_handler(&mut self, catch_switch: &'ll Value, handler: &'ll BasicBlock) {
1042         unsafe {
1043             llvm::LLVMRustAddHandler(catch_switch, handler);
1044         }
1045     }
1046
1047     fn set_personality_fn(&mut self, personality: &'ll Value) {
1048         unsafe {
1049             llvm::LLVMSetPersonalityFn(self.llfn(), personality);
1050         }
1051     }
1052
1053     // Atomic Operations
1054     fn atomic_cmpxchg(
1055         &mut self,
1056         dst: &'ll Value,
1057         cmp: &'ll Value,
1058         src: &'ll Value,
1059         order: rustc_codegen_ssa::common::AtomicOrdering,
1060         failure_order: rustc_codegen_ssa::common::AtomicOrdering,
1061         weak: bool,
1062     ) -> &'ll Value {
1063         let weak = if weak { llvm::True } else { llvm::False };
1064         unsafe {
1065             llvm::LLVMRustBuildAtomicCmpXchg(
1066                 self.llbuilder,
1067                 dst,
1068                 cmp,
1069                 src,
1070                 AtomicOrdering::from_generic(order),
1071                 AtomicOrdering::from_generic(failure_order),
1072                 weak,
1073             )
1074         }
1075     }
1076     fn atomic_rmw(
1077         &mut self,
1078         op: rustc_codegen_ssa::common::AtomicRmwBinOp,
1079         dst: &'ll Value,
1080         src: &'ll Value,
1081         order: rustc_codegen_ssa::common::AtomicOrdering,
1082     ) -> &'ll Value {
1083         unsafe {
1084             llvm::LLVMBuildAtomicRMW(
1085                 self.llbuilder,
1086                 AtomicRmwBinOp::from_generic(op),
1087                 dst,
1088                 src,
1089                 AtomicOrdering::from_generic(order),
1090                 False,
1091             )
1092         }
1093     }
1094
1095     fn atomic_fence(
1096         &mut self,
1097         order: rustc_codegen_ssa::common::AtomicOrdering,
1098         scope: rustc_codegen_ssa::common::SynchronizationScope,
1099     ) {
1100         unsafe {
1101             llvm::LLVMRustBuildAtomicFence(
1102                 self.llbuilder,
1103                 AtomicOrdering::from_generic(order),
1104                 SynchronizationScope::from_generic(scope),
1105             );
1106         }
1107     }
1108
1109     fn set_invariant_load(&mut self, load: &'ll Value) {
1110         unsafe {
1111             llvm::LLVMSetMetadata(
1112                 load,
1113                 llvm::MD_invariant_load as c_uint,
1114                 llvm::LLVMMDNodeInContext(self.cx.llcx, ptr::null(), 0),
1115             );
1116         }
1117     }
1118
1119     fn lifetime_start(&mut self, ptr: &'ll Value, size: Size) {
1120         self.call_lifetime_intrinsic("llvm.lifetime.start.p0i8", ptr, size);
1121     }
1122
1123     fn lifetime_end(&mut self, ptr: &'ll Value, size: Size) {
1124         self.call_lifetime_intrinsic("llvm.lifetime.end.p0i8", ptr, size);
1125     }
1126
1127     fn instrprof_increment(
1128         &mut self,
1129         fn_name: &'ll Value,
1130         hash: &'ll Value,
1131         num_counters: &'ll Value,
1132         index: &'ll Value,
1133     ) {
1134         debug!(
1135             "instrprof_increment() with args ({:?}, {:?}, {:?}, {:?})",
1136             fn_name, hash, num_counters, index
1137         );
1138
1139         let llfn = unsafe { llvm::LLVMRustGetInstrProfIncrementIntrinsic(self.cx().llmod) };
1140         let llty = self.cx.type_func(
1141             &[self.cx.type_i8p(), self.cx.type_i64(), self.cx.type_i32(), self.cx.type_i32()],
1142             self.cx.type_void(),
1143         );
1144         let args = &[fn_name, hash, num_counters, index];
1145         let args = self.check_call("call", llty, llfn, args);
1146
1147         unsafe {
1148             let _ = llvm::LLVMRustBuildCall(
1149                 self.llbuilder,
1150                 llty,
1151                 llfn,
1152                 args.as_ptr() as *const &llvm::Value,
1153                 args.len() as c_uint,
1154                 None,
1155             );
1156         }
1157     }
1158
1159     fn call(
1160         &mut self,
1161         llty: &'ll Type,
1162         llfn: &'ll Value,
1163         args: &[&'ll Value],
1164         funclet: Option<&Funclet<'ll>>,
1165     ) -> &'ll Value {
1166         debug!("call {:?} with args ({:?})", llfn, args);
1167
1168         let args = self.check_call("call", llty, llfn, args);
1169         let bundle = funclet.map(|funclet| funclet.bundle());
1170         let bundle = bundle.as_ref().map(|b| &*b.raw);
1171
1172         unsafe {
1173             llvm::LLVMRustBuildCall(
1174                 self.llbuilder,
1175                 llty,
1176                 llfn,
1177                 args.as_ptr() as *const &llvm::Value,
1178                 args.len() as c_uint,
1179                 bundle,
1180             )
1181         }
1182     }
1183
1184     fn zext(&mut self, val: &'ll Value, dest_ty: &'ll Type) -> &'ll Value {
1185         unsafe { llvm::LLVMBuildZExt(self.llbuilder, val, dest_ty, UNNAMED) }
1186     }
1187
1188     fn apply_attrs_to_cleanup_callsite(&mut self, llret: &'ll Value) {
1189         // Cleanup is always the cold path.
1190         llvm::Attribute::Cold.apply_callsite(llvm::AttributePlace::Function, llret);
1191
1192         // In LLVM versions with deferred inlining (currently, system LLVM < 14),
1193         // inlining drop glue can lead to exponential size blowup, see #41696 and #92110.
1194         if !llvm_util::is_rust_llvm() && llvm_util::get_version() < (14, 0, 0) {
1195             llvm::Attribute::NoInline.apply_callsite(llvm::AttributePlace::Function, llret);
1196         }
1197     }
1198 }
1199
1200 impl<'ll> StaticBuilderMethods for Builder<'_, 'll, '_> {
1201     fn get_static(&mut self, def_id: DefId) -> &'ll Value {
1202         // Forward to the `get_static` method of `CodegenCx`
1203         self.cx().get_static(def_id)
1204     }
1205 }
1206
1207 impl<'a, 'll, 'tcx> Builder<'a, 'll, 'tcx> {
1208     fn with_cx(cx: &'a CodegenCx<'ll, 'tcx>) -> Self {
1209         // Create a fresh builder from the crate context.
1210         let llbuilder = unsafe { llvm::LLVMCreateBuilderInContext(cx.llcx) };
1211         Builder { llbuilder, cx }
1212     }
1213
1214     pub fn llfn(&self) -> &'ll Value {
1215         unsafe { llvm::LLVMGetBasicBlockParent(self.llbb()) }
1216     }
1217
1218     fn position_at_start(&mut self, llbb: &'ll BasicBlock) {
1219         unsafe {
1220             llvm::LLVMRustPositionBuilderAtStart(self.llbuilder, llbb);
1221         }
1222     }
1223
1224     pub fn minnum(&mut self, lhs: &'ll Value, rhs: &'ll Value) -> &'ll Value {
1225         unsafe { llvm::LLVMRustBuildMinNum(self.llbuilder, lhs, rhs) }
1226     }
1227
1228     pub fn maxnum(&mut self, lhs: &'ll Value, rhs: &'ll Value) -> &'ll Value {
1229         unsafe { llvm::LLVMRustBuildMaxNum(self.llbuilder, lhs, rhs) }
1230     }
1231
1232     pub fn insert_element(
1233         &mut self,
1234         vec: &'ll Value,
1235         elt: &'ll Value,
1236         idx: &'ll Value,
1237     ) -> &'ll Value {
1238         unsafe { llvm::LLVMBuildInsertElement(self.llbuilder, vec, elt, idx, UNNAMED) }
1239     }
1240
1241     pub fn shuffle_vector(
1242         &mut self,
1243         v1: &'ll Value,
1244         v2: &'ll Value,
1245         mask: &'ll Value,
1246     ) -> &'ll Value {
1247         unsafe { llvm::LLVMBuildShuffleVector(self.llbuilder, v1, v2, mask, UNNAMED) }
1248     }
1249
1250     pub fn vector_reduce_fadd(&mut self, acc: &'ll Value, src: &'ll Value) -> &'ll Value {
1251         unsafe { llvm::LLVMRustBuildVectorReduceFAdd(self.llbuilder, acc, src) }
1252     }
1253     pub fn vector_reduce_fmul(&mut self, acc: &'ll Value, src: &'ll Value) -> &'ll Value {
1254         unsafe { llvm::LLVMRustBuildVectorReduceFMul(self.llbuilder, acc, src) }
1255     }
1256     pub fn vector_reduce_fadd_fast(&mut self, acc: &'ll Value, src: &'ll Value) -> &'ll Value {
1257         unsafe {
1258             let instr = llvm::LLVMRustBuildVectorReduceFAdd(self.llbuilder, acc, src);
1259             llvm::LLVMRustSetFastMath(instr);
1260             instr
1261         }
1262     }
1263     pub fn vector_reduce_fmul_fast(&mut self, acc: &'ll Value, src: &'ll Value) -> &'ll Value {
1264         unsafe {
1265             let instr = llvm::LLVMRustBuildVectorReduceFMul(self.llbuilder, acc, src);
1266             llvm::LLVMRustSetFastMath(instr);
1267             instr
1268         }
1269     }
1270     pub fn vector_reduce_add(&mut self, src: &'ll Value) -> &'ll Value {
1271         unsafe { llvm::LLVMRustBuildVectorReduceAdd(self.llbuilder, src) }
1272     }
1273     pub fn vector_reduce_mul(&mut self, src: &'ll Value) -> &'ll Value {
1274         unsafe { llvm::LLVMRustBuildVectorReduceMul(self.llbuilder, src) }
1275     }
1276     pub fn vector_reduce_and(&mut self, src: &'ll Value) -> &'ll Value {
1277         unsafe { llvm::LLVMRustBuildVectorReduceAnd(self.llbuilder, src) }
1278     }
1279     pub fn vector_reduce_or(&mut self, src: &'ll Value) -> &'ll Value {
1280         unsafe { llvm::LLVMRustBuildVectorReduceOr(self.llbuilder, src) }
1281     }
1282     pub fn vector_reduce_xor(&mut self, src: &'ll Value) -> &'ll Value {
1283         unsafe { llvm::LLVMRustBuildVectorReduceXor(self.llbuilder, src) }
1284     }
1285     pub fn vector_reduce_fmin(&mut self, src: &'ll Value) -> &'ll Value {
1286         unsafe {
1287             llvm::LLVMRustBuildVectorReduceFMin(self.llbuilder, src, /*NoNaNs:*/ false)
1288         }
1289     }
1290     pub fn vector_reduce_fmax(&mut self, src: &'ll Value) -> &'ll Value {
1291         unsafe {
1292             llvm::LLVMRustBuildVectorReduceFMax(self.llbuilder, src, /*NoNaNs:*/ false)
1293         }
1294     }
1295     pub fn vector_reduce_fmin_fast(&mut self, src: &'ll Value) -> &'ll Value {
1296         unsafe {
1297             let instr =
1298                 llvm::LLVMRustBuildVectorReduceFMin(self.llbuilder, src, /*NoNaNs:*/ true);
1299             llvm::LLVMRustSetFastMath(instr);
1300             instr
1301         }
1302     }
1303     pub fn vector_reduce_fmax_fast(&mut self, src: &'ll Value) -> &'ll Value {
1304         unsafe {
1305             let instr =
1306                 llvm::LLVMRustBuildVectorReduceFMax(self.llbuilder, src, /*NoNaNs:*/ true);
1307             llvm::LLVMRustSetFastMath(instr);
1308             instr
1309         }
1310     }
1311     pub fn vector_reduce_min(&mut self, src: &'ll Value, is_signed: bool) -> &'ll Value {
1312         unsafe { llvm::LLVMRustBuildVectorReduceMin(self.llbuilder, src, is_signed) }
1313     }
1314     pub fn vector_reduce_max(&mut self, src: &'ll Value, is_signed: bool) -> &'ll Value {
1315         unsafe { llvm::LLVMRustBuildVectorReduceMax(self.llbuilder, src, is_signed) }
1316     }
1317
1318     pub fn add_clause(&mut self, landing_pad: &'ll Value, clause: &'ll Value) {
1319         unsafe {
1320             llvm::LLVMAddClause(landing_pad, clause);
1321         }
1322     }
1323
1324     pub fn catch_ret(&mut self, funclet: &Funclet<'ll>, unwind: &'ll BasicBlock) -> &'ll Value {
1325         let ret =
1326             unsafe { llvm::LLVMRustBuildCatchRet(self.llbuilder, funclet.cleanuppad(), unwind) };
1327         ret.expect("LLVM does not have support for catchret")
1328     }
1329
1330     fn check_store(&mut self, val: &'ll Value, ptr: &'ll Value) -> &'ll Value {
1331         let dest_ptr_ty = self.cx.val_ty(ptr);
1332         let stored_ty = self.cx.val_ty(val);
1333         let stored_ptr_ty = self.cx.type_ptr_to(stored_ty);
1334
1335         assert_eq!(self.cx.type_kind(dest_ptr_ty), TypeKind::Pointer);
1336
1337         if dest_ptr_ty == stored_ptr_ty {
1338             ptr
1339         } else {
1340             debug!(
1341                 "type mismatch in store. \
1342                     Expected {:?}, got {:?}; inserting bitcast",
1343                 dest_ptr_ty, stored_ptr_ty
1344             );
1345             self.bitcast(ptr, stored_ptr_ty)
1346         }
1347     }
1348
1349     fn check_call<'b>(
1350         &mut self,
1351         typ: &str,
1352         fn_ty: &'ll Type,
1353         llfn: &'ll Value,
1354         args: &'b [&'ll Value],
1355     ) -> Cow<'b, [&'ll Value]> {
1356         assert!(
1357             self.cx.type_kind(fn_ty) == TypeKind::Function,
1358             "builder::{} not passed a function, but {:?}",
1359             typ,
1360             fn_ty
1361         );
1362
1363         let param_tys = self.cx.func_params_types(fn_ty);
1364
1365         let all_args_match = iter::zip(&param_tys, args.iter().map(|&v| self.val_ty(v)))
1366             .all(|(expected_ty, actual_ty)| *expected_ty == actual_ty);
1367
1368         if all_args_match {
1369             return Cow::Borrowed(args);
1370         }
1371
1372         let casted_args: Vec<_> = iter::zip(param_tys, args)
1373             .enumerate()
1374             .map(|(i, (expected_ty, &actual_val))| {
1375                 let actual_ty = self.val_ty(actual_val);
1376                 if expected_ty != actual_ty {
1377                     debug!(
1378                         "type mismatch in function call of {:?}. \
1379                             Expected {:?} for param {}, got {:?}; injecting bitcast",
1380                         llfn, expected_ty, i, actual_ty
1381                     );
1382                     self.bitcast(actual_val, expected_ty)
1383                 } else {
1384                     actual_val
1385                 }
1386             })
1387             .collect();
1388
1389         Cow::Owned(casted_args)
1390     }
1391
1392     pub fn va_arg(&mut self, list: &'ll Value, ty: &'ll Type) -> &'ll Value {
1393         unsafe { llvm::LLVMBuildVAArg(self.llbuilder, list, ty, UNNAMED) }
1394     }
1395
1396     crate fn call_intrinsic(&mut self, intrinsic: &str, args: &[&'ll Value]) -> &'ll Value {
1397         let (ty, f) = self.cx.get_intrinsic(intrinsic);
1398         self.call(ty, f, args, None)
1399     }
1400
1401     fn call_lifetime_intrinsic(&mut self, intrinsic: &str, ptr: &'ll Value, size: Size) {
1402         let size = size.bytes();
1403         if size == 0 {
1404             return;
1405         }
1406
1407         if !self.cx().sess().emit_lifetime_markers() {
1408             return;
1409         }
1410
1411         let ptr = self.pointercast(ptr, self.cx.type_i8p());
1412         self.call_intrinsic(intrinsic, &[self.cx.const_u64(size), ptr]);
1413     }
1414
1415     pub(crate) fn phi(
1416         &mut self,
1417         ty: &'ll Type,
1418         vals: &[&'ll Value],
1419         bbs: &[&'ll BasicBlock],
1420     ) -> &'ll Value {
1421         assert_eq!(vals.len(), bbs.len());
1422         let phi = unsafe { llvm::LLVMBuildPhi(self.llbuilder, ty, UNNAMED) };
1423         unsafe {
1424             llvm::LLVMAddIncoming(phi, vals.as_ptr(), bbs.as_ptr(), vals.len() as c_uint);
1425             phi
1426         }
1427     }
1428
1429     fn add_incoming_to_phi(&mut self, phi: &'ll Value, val: &'ll Value, bb: &'ll BasicBlock) {
1430         unsafe {
1431             llvm::LLVMAddIncoming(phi, &val, &bb, 1 as c_uint);
1432         }
1433     }
1434
1435     fn fptoint_sat_broken_in_llvm(&self) -> bool {
1436         match self.tcx.sess.target.arch.as_str() {
1437             // FIXME - https://bugs.llvm.org/show_bug.cgi?id=50083
1438             "riscv64" => llvm_util::get_version() < (13, 0, 0),
1439             _ => false,
1440         }
1441     }
1442
1443     fn fptoint_sat(
1444         &mut self,
1445         signed: bool,
1446         val: &'ll Value,
1447         dest_ty: &'ll Type,
1448     ) -> Option<&'ll Value> {
1449         if !self.fptoint_sat_broken_in_llvm() {
1450             let src_ty = self.cx.val_ty(val);
1451             let (float_ty, int_ty, vector_length) = if self.cx.type_kind(src_ty) == TypeKind::Vector
1452             {
1453                 assert_eq!(self.cx.vector_length(src_ty), self.cx.vector_length(dest_ty));
1454                 (
1455                     self.cx.element_type(src_ty),
1456                     self.cx.element_type(dest_ty),
1457                     Some(self.cx.vector_length(src_ty)),
1458                 )
1459             } else {
1460                 (src_ty, dest_ty, None)
1461             };
1462             let float_width = self.cx.float_width(float_ty);
1463             let int_width = self.cx.int_width(int_ty);
1464
1465             let instr = if signed { "fptosi" } else { "fptoui" };
1466             let name = if let Some(vector_length) = vector_length {
1467                 format!(
1468                     "llvm.{}.sat.v{}i{}.v{}f{}",
1469                     instr, vector_length, int_width, vector_length, float_width
1470                 )
1471             } else {
1472                 format!("llvm.{}.sat.i{}.f{}", instr, int_width, float_width)
1473             };
1474             let f =
1475                 self.declare_cfn(&name, llvm::UnnamedAddr::No, self.type_func(&[src_ty], dest_ty));
1476             Some(self.call(self.type_func(&[src_ty], dest_ty), f, &[val], None))
1477         } else {
1478             None
1479         }
1480     }
1481 }