compiler/rustc_codegen_cranelift/src/driver/jit.rs

   1 //! The JIT driver uses [`cranelift_jit`] to JIT execute programs without writing any object
   2 //! files.
   3
   4 use std::cell::RefCell;
   5 use std::ffi::CString;
   6 use std::os::raw::{c_char, c_int};
   7
   8 use cranelift_codegen::binemit::{NullStackMapSink, NullTrapSink};
   9 use rustc_codegen_ssa::CrateInfo;
  10 use rustc_middle::mir::mono::MonoItem;
  11 use rustc_session::config::EntryFnType;
  12
  13 use cranelift_jit::{JITBuilder, JITModule};
  14
  15 use crate::{prelude::*, BackendConfig};
  16 use crate::{CodegenCx, CodegenMode};
  17
  18 struct JitState {
  19     backend_config: BackendConfig,
  20     jit_module: JITModule,
  21 }
  22
  23 thread_local! {
  24     static LAZY_JIT_STATE: RefCell<Option<JitState>> = RefCell::new(None);
  25 }
  26
  27 fn create_jit_module<'tcx>(
  28     tcx: TyCtxt<'tcx>,
  29     backend_config: &BackendConfig,
  30     hotswap: bool,
  31 ) -> (JITModule, CodegenCx<'tcx>) {
  32     let imported_symbols = load_imported_symbols_for_jit(tcx);
  33
  34     let isa = crate::build_isa(tcx.sess, backend_config);
  35     let mut jit_builder = JITBuilder::with_isa(isa, cranelift_module::default_libcall_names());
  36     jit_builder.hotswap(hotswap);
  37     crate::compiler_builtins::register_functions_for_jit(&mut jit_builder);
  38     jit_builder.symbols(imported_symbols);
  39     let mut jit_module = JITModule::new(jit_builder);
  40
  41     let mut cx = crate::CodegenCx::new(tcx, backend_config.clone(), jit_module.isa(), false);
  42
  43     crate::allocator::codegen(tcx, &mut jit_module, &mut cx.unwind_context);
  44     crate::main_shim::maybe_create_entry_wrapper(
  45         tcx,
  46         &mut jit_module,
  47         &mut cx.unwind_context,
  48         true,
  49     );
  50
  51     (jit_module, cx)
  52 }
  53
  54 pub(crate) fn run_jit(tcx: TyCtxt<'_>, backend_config: BackendConfig) -> ! {
  55     if !tcx.sess.opts.output_types.should_codegen() {
  56         tcx.sess.fatal("JIT mode doesn't work with `cargo check`");
  57     }
  58
  59     if !tcx.sess.crate_types().contains(&rustc_session::config::CrateType::Executable) {
  60         tcx.sess.fatal("can't jit non-executable crate");
  61     }
  62
  63     let (mut jit_module, mut cx) = create_jit_module(
  64         tcx,
  65         &backend_config,
  66         matches!(backend_config.codegen_mode, CodegenMode::JitLazy),
  67     );
  68
  69     let (_, cgus) = tcx.collect_and_partition_mono_items(LOCAL_CRATE);
  70     let mono_items = cgus
  71         .iter()
  72         .map(|cgu| cgu.items_in_deterministic_order(tcx).into_iter())
  73         .flatten()
  74         .collect::<FxHashMap<_, (_, _)>>()
  75         .into_iter()
  76         .collect::<Vec<(_, (_, _))>>();
  77
  78     super::time(tcx, backend_config.display_cg_time, "codegen mono items", || {
  79         super::predefine_mono_items(tcx, &mut jit_module, &mono_items);
  80         for (mono_item, _) in mono_items {
  81             match mono_item {
  82                 MonoItem::Fn(inst) => match backend_config.codegen_mode {
  83                     CodegenMode::Aot => unreachable!(),
  84                     CodegenMode::Jit => {
  85                         cx.tcx.sess.time("codegen fn", || {
  86                             crate::base::codegen_fn(&mut cx, &mut jit_module, inst)
  87                         });
  88                     }
  89                     CodegenMode::JitLazy => codegen_shim(&mut cx, &mut jit_module, inst),
  90                 },
  91                 MonoItem::Static(def_id) => {
  92                     crate::constant::codegen_static(tcx, &mut jit_module, def_id);
  93                 }
  94                 MonoItem::GlobalAsm(item_id) => {
  95                     let item = tcx.hir().item(item_id);
  96                     tcx.sess.span_fatal(item.span, "Global asm is not supported in JIT mode");
  97                 }
  98             }
  99         }
 100     });
 101
 102     if !cx.global_asm.is_empty() {
 103         tcx.sess.fatal("Inline asm is not supported in JIT mode");
 104     }
 105
 106     tcx.sess.abort_if_errors();
 107
 108     jit_module.finalize_definitions();
 109     unsafe { cx.unwind_context.register_jit(&jit_module) };
 110
 111     println!(
 112         "Rustc codegen cranelift will JIT run the executable, because -Cllvm-args=mode=jit was passed"
 113     );
 114
 115     let args = std::iter::once(&*tcx.crate_name(LOCAL_CRATE).as_str().to_string())
 116         .chain(backend_config.jit_args.iter().map(|arg| &**arg))
 117         .map(|arg| CString::new(arg).unwrap())
 118         .collect::<Vec<_>>();
 119     let mut argv = args.iter().map(|arg| arg.as_ptr()).collect::<Vec<_>>();
 120
 121     // Push a null pointer as a terminating argument. This is required by POSIX and
 122     // useful as some dynamic linkers use it as a marker to jump over.
 123     argv.push(std::ptr::null());
 124
 125     let start_sig = Signature {
 126         params: vec![
 127             AbiParam::new(jit_module.target_config().pointer_type()),
 128             AbiParam::new(jit_module.target_config().pointer_type()),
 129         ],
 130         returns: vec![AbiParam::new(jit_module.target_config().pointer_type() /*isize*/)],
 131         call_conv: CallConv::triple_default(&crate::target_triple(tcx.sess)),
 132     };
 133     let start_func_id = jit_module.declare_function("main", Linkage::Import, &start_sig).unwrap();
 134     let finalized_start: *const u8 = jit_module.get_finalized_function(start_func_id);
 135
 136     LAZY_JIT_STATE.with(|lazy_jit_state| {
 137         let mut lazy_jit_state = lazy_jit_state.borrow_mut();
 138         assert!(lazy_jit_state.is_none());
 139         *lazy_jit_state = Some(JitState { backend_config, jit_module });
 140     });
 141
 142     let f: extern "C" fn(c_int, *const *const c_char) -> c_int =
 143         unsafe { ::std::mem::transmute(finalized_start) };
 144     let ret = f(args.len() as c_int, argv.as_ptr());
 145     std::process::exit(ret);
 146 }
 147
 148 #[no_mangle]
 149 extern "C" fn __clif_jit_fn(instance_ptr: *const Instance<'static>) -> *const u8 {
 150     rustc_middle::ty::tls::with(|tcx| {
 151         // lift is used to ensure the correct lifetime for instance.
 152         let instance = tcx.lift(unsafe { *instance_ptr }).unwrap();
 153
 154         LAZY_JIT_STATE.with(|lazy_jit_state| {
 155             let mut lazy_jit_state = lazy_jit_state.borrow_mut();
 156             let lazy_jit_state = lazy_jit_state.as_mut().unwrap();
 157             let jit_module = &mut lazy_jit_state.jit_module;
 158             let backend_config = lazy_jit_state.backend_config.clone();
 159
 160             let name = tcx.symbol_name(instance).name;
 161             let sig = crate::abi::get_function_sig(tcx, jit_module.isa().triple(), instance);
 162             let func_id = jit_module.declare_function(name, Linkage::Export, &sig).unwrap();
 163             jit_module.prepare_for_function_redefine(func_id).unwrap();
 164
 165             let mut cx = crate::CodegenCx::new(tcx, backend_config, jit_module.isa(), false);
 166             tcx.sess.time("codegen fn", || crate::base::codegen_fn(&mut cx, jit_module, instance));
 167
 168             assert!(cx.global_asm.is_empty());
 169             jit_module.finalize_definitions();
 170             unsafe { cx.unwind_context.register_jit(&jit_module) };
 171             jit_module.get_finalized_function(func_id)
 172         })
 173     })
 174 }
 175
 176 fn load_imported_symbols_for_jit(tcx: TyCtxt<'_>) -> Vec<(String, *const u8)> {
 177     use rustc_middle::middle::dependency_format::Linkage;
 178
 179     let mut dylib_paths = Vec::new();
 180
 181     let crate_info = CrateInfo::new(tcx);
 182     let formats = tcx.dependency_formats(LOCAL_CRATE);
 183     let data = &formats
 184         .iter()
 185         .find(|(crate_type, _data)| *crate_type == rustc_session::config::CrateType::Executable)
 186         .unwrap()
 187         .1;
 188     for &(cnum, _) in &crate_info.used_crates_dynamic {
 189         let src = &crate_info.used_crate_source[&cnum];
 190         match data[cnum.as_usize() - 1] {
 191             Linkage::NotLinked | Linkage::IncludedFromDylib => {}
 192             Linkage::Static => {
 193                 let name = tcx.crate_name(cnum);
 194                 let mut err =
 195                     tcx.sess.struct_err(&format!("Can't load static lib {}", name.as_str()));
 196                 err.note("rustc_codegen_cranelift can only load dylibs in JIT mode.");
 197                 err.emit();
 198             }
 199             Linkage::Dynamic => {
 200                 dylib_paths.push(src.dylib.as_ref().unwrap().0.clone());
 201             }
 202         }
 203     }
 204
 205     let mut imported_symbols = Vec::new();
 206     for path in dylib_paths {
 207         use object::{Object, ObjectSymbol};
 208         let lib = libloading::Library::new(&path).unwrap();
 209         let obj = std::fs::read(path).unwrap();
 210         let obj = object::File::parse(&obj).unwrap();
 211         imported_symbols.extend(obj.dynamic_symbols().filter_map(|symbol| {
 212             let name = symbol.name().unwrap().to_string();
 213             if name.is_empty() || !symbol.is_global() || symbol.is_undefined() {
 214                 return None;
 215             }
 216             if name.starts_with("rust_metadata_") {
 217                 // The metadata is part of a section that is not loaded by the dynamic linker in
 218                 // case of cg_llvm.
 219                 return None;
 220             }
 221             let dlsym_name = if cfg!(target_os = "macos") {
 222                 // On macOS `dlsym` expects the name without leading `_`.
 223                 assert!(name.starts_with('_'), "{:?}", name);
 224                 &name[1..]
 225             } else {
 226                 &name
 227             };
 228             let symbol: libloading::Symbol<'_, *const u8> =
 229                 unsafe { lib.get(dlsym_name.as_bytes()) }.unwrap();
 230             Some((name, *symbol))
 231         }));
 232         std::mem::forget(lib)
 233     }
 234
 235     tcx.sess.abort_if_errors();
 236
 237     imported_symbols
 238 }
 239
 240 fn codegen_shim<'tcx>(cx: &mut CodegenCx<'tcx>, module: &mut JITModule, inst: Instance<'tcx>) {
 241     let tcx = cx.tcx;
 242
 243     let pointer_type = module.target_config().pointer_type();
 244
 245     let name = tcx.symbol_name(inst).name;
 246     let sig = crate::abi::get_function_sig(tcx, module.isa().triple(), inst);
 247     let func_id = module.declare_function(name, Linkage::Export, &sig).unwrap();
 248
 249     let instance_ptr = Box::into_raw(Box::new(inst));
 250
 251     let jit_fn = module
 252         .declare_function(
 253             "__clif_jit_fn",
 254             Linkage::Import,
 255             &Signature {
 256                 call_conv: module.target_config().default_call_conv,
 257                 params: vec![AbiParam::new(pointer_type)],
 258                 returns: vec![AbiParam::new(pointer_type)],
 259             },
 260         )
 261         .unwrap();
 262
 263     cx.cached_context.clear();
 264     let trampoline = &mut cx.cached_context.func;
 265     trampoline.signature = sig.clone();
 266
 267     let mut builder_ctx = FunctionBuilderContext::new();
 268     let mut trampoline_builder = FunctionBuilder::new(trampoline, &mut builder_ctx);
 269
 270     let jit_fn = module.declare_func_in_func(jit_fn, trampoline_builder.func);
 271     let sig_ref = trampoline_builder.func.import_signature(sig);
 272
 273     let entry_block = trampoline_builder.create_block();
 274     trampoline_builder.append_block_params_for_function_params(entry_block);
 275     let fn_args = trampoline_builder.func.dfg.block_params(entry_block).to_vec();
 276
 277     trampoline_builder.switch_to_block(entry_block);
 278     let instance_ptr = trampoline_builder.ins().iconst(pointer_type, instance_ptr as u64 as i64);
 279     let jitted_fn = trampoline_builder.ins().call(jit_fn, &[instance_ptr]);
 280     let jitted_fn = trampoline_builder.func.dfg.inst_results(jitted_fn)[0];
 281     let call_inst = trampoline_builder.ins().call_indirect(sig_ref, jitted_fn, &fn_args);
 282     let ret_vals = trampoline_builder.func.dfg.inst_results(call_inst).to_vec();
 283     trampoline_builder.ins().return_(&ret_vals);
 284
 285     module
 286         .define_function(
 287             func_id,
 288             &mut cx.cached_context,
 289             &mut NullTrapSink {},
 290             &mut NullStackMapSink {},
 291         )
 292         .unwrap();
 293 }