]> git.lizzy.rs Git - rust.git/blob - src/machine.rs
Auto merge of #1337 - RalfJung:intrinsic-tests, r=RalfJung
[rust.git] / src / machine.rs
1 //! Global machine state as well as implementation of the interpreter engine
2 //! `Machine` trait.
3
4 use std::borrow::Cow;
5 use std::cell::RefCell;
6 use std::num::NonZeroU64;
7 use std::rc::Rc;
8 use std::time::Instant;
9 use std::fmt;
10
11 use log::trace;
12 use rand::rngs::StdRng;
13
14 use rustc_ast::attr;
15 use rustc_data_structures::fx::FxHashMap;
16 use rustc_middle::{
17     mir,
18     ty::{
19         self,
20         layout::{LayoutCx, LayoutError, TyAndLayout},
21         TyCtxt,
22     },
23 };
24 use rustc_span::symbol::{sym, Symbol};
25 use rustc_target::abi::{LayoutOf, Size};
26
27 use crate::*;
28
29 // Some global facts about the emulated machine.
30 pub const PAGE_SIZE: u64 = 4 * 1024; // FIXME: adjust to target architecture
31 pub const STACK_ADDR: u64 = 32 * PAGE_SIZE; // not really about the "stack", but where we start assigning integer addresses to allocations
32 pub const STACK_SIZE: u64 = 16 * PAGE_SIZE; // whatever
33 pub const NUM_CPUS: u64 = 1;
34
35 /// Extra data stored with each stack frame
36 #[derive(Debug)]
37 pub struct FrameData<'tcx> {
38     /// Extra data for Stacked Borrows.
39     pub call_id: stacked_borrows::CallId,
40
41     /// If this is Some(), then this is a special "catch unwind" frame (the frame of `try_fn`
42     /// called by `try`). When this frame is popped during unwinding a panic,
43     /// we stop unwinding, use the `CatchUnwindData` to handle catching.
44     pub catch_unwind: Option<CatchUnwindData<'tcx>>,
45 }
46
47 /// Extra memory kinds
48 #[derive(Debug, Copy, Clone, PartialEq, Eq)]
49 pub enum MiriMemoryKind {
50     /// `__rust_alloc` memory.
51     Rust,
52     /// `malloc` memory.
53     C,
54     /// Windows `HeapAlloc` memory.
55     WinHeap,
56     /// Memory for args, errno, extern statics and other parts of the machine-managed environment.
57     /// This memory may leak.
58     Machine,
59     /// Memory for env vars. Separate from `Machine` because we clean it up and leak-check it.
60     Env,
61     /// Globals copied from `tcx`.
62     /// This memory may leak.
63     Global,
64 }
65
66 impl Into<MemoryKind<MiriMemoryKind>> for MiriMemoryKind {
67     #[inline(always)]
68     fn into(self) -> MemoryKind<MiriMemoryKind> {
69         MemoryKind::Machine(self)
70     }
71 }
72
73 impl MayLeak for MiriMemoryKind {
74     #[inline(always)]
75     fn may_leak(self) -> bool {
76         use self::MiriMemoryKind::*;
77         match self {
78             Rust | C | WinHeap | Env => false,
79             Machine | Global => true,
80         }
81     }
82 }
83
84 impl fmt::Display for MiriMemoryKind {
85     fn fmt(&self, f: &mut fmt::Formatter<'_>) -> fmt::Result {
86         use self::MiriMemoryKind::*;
87         match self {
88             Rust => write!(f, "Rust heap"),
89             C => write!(f, "C heap"),
90             WinHeap => write!(f, "Windows heap"),
91             Machine => write!(f, "machine-managed memory"),
92             Env => write!(f, "environment variable"),
93             Global => write!(f, "global"),
94         }
95     }
96 }
97
98 /// Extra per-allocation data
99 #[derive(Debug, Clone)]
100 pub struct AllocExtra {
101     /// Stacked Borrows state is only added if it is enabled.
102     pub stacked_borrows: Option<stacked_borrows::AllocExtra>,
103 }
104
105 /// Extra global memory data
106 #[derive(Clone, Debug)]
107 pub struct MemoryExtra {
108     pub stacked_borrows: Option<stacked_borrows::MemoryExtra>,
109     pub intptrcast: intptrcast::MemoryExtra,
110
111     /// Mapping extern static names to their canonical allocation.
112     extern_statics: FxHashMap<Symbol, AllocId>,
113
114     /// The random number generator used for resolving non-determinism.
115     /// Needs to be queried by ptr_to_int, hence needs interior mutability.
116     pub(crate) rng: RefCell<StdRng>,
117
118     /// An allocation ID to report when it is being allocated
119     /// (helps for debugging memory leaks and use after free bugs).
120     tracked_alloc_id: Option<AllocId>,
121
122     /// Controls whether alignment of memory accesses is being checked.
123     check_alignment: bool,
124 }
125
126 impl MemoryExtra {
127     pub fn new(
128         rng: StdRng,
129         stacked_borrows: bool,
130         tracked_pointer_tag: Option<PtrId>,
131         tracked_alloc_id: Option<AllocId>,
132         check_alignment: bool,
133     ) -> Self {
134         let stacked_borrows = if stacked_borrows {
135             Some(Rc::new(RefCell::new(stacked_borrows::GlobalState::new(tracked_pointer_tag))))
136         } else {
137             None
138         };
139         MemoryExtra {
140             stacked_borrows,
141             intptrcast: Default::default(),
142             extern_statics: FxHashMap::default(),
143             rng: RefCell::new(rng),
144             tracked_alloc_id,
145             check_alignment,
146         }
147     }
148
149     fn add_extern_static<'tcx, 'mir>(
150         this: &mut MiriEvalContext<'mir, 'tcx>,
151         name: &str,
152         ptr: Scalar<Tag>,
153     ) {
154         let ptr = ptr.assert_ptr();
155         assert_eq!(ptr.offset, Size::ZERO);
156         this.memory
157             .extra
158             .extern_statics
159             .insert(Symbol::intern(name), ptr.alloc_id)
160             .unwrap_none();
161     }
162
163     /// Sets up the "extern statics" for this machine.
164     pub fn init_extern_statics<'tcx, 'mir>(
165         this: &mut MiriEvalContext<'mir, 'tcx>,
166     ) -> InterpResult<'tcx> {
167         match this.tcx.sess.target.target.target_os.as_str() {
168             "linux" => {
169                 // "__cxa_thread_atexit_impl"
170                 // This should be all-zero, pointer-sized.
171                 let layout = this.layout_of(this.tcx.types.usize)?;
172                 let place = this.allocate(layout, MiriMemoryKind::Machine.into());
173                 this.write_scalar(Scalar::from_machine_usize(0, this), place.into())?;
174                 Self::add_extern_static(this, "__cxa_thread_atexit_impl", place.ptr);
175                 // "environ"
176                 Self::add_extern_static(this, "environ", this.machine.env_vars.environ.unwrap().ptr);
177             }
178             "windows" => {
179                 // "_tls_used"
180                 // This is some obscure hack that is part of the Windows TLS story. It's a `u8`.
181                 let layout = this.layout_of(this.tcx.types.u8)?;
182                 let place = this.allocate(layout, MiriMemoryKind::Machine.into());
183                 this.write_scalar(Scalar::from_u8(0), place.into())?;
184                 Self::add_extern_static(this, "_tls_used", place.ptr);
185             }
186             _ => {} // No "extern statics" supported on this target
187         }
188         Ok(())
189     }
190 }
191
192 /// Precomputed layouts of primitive types
193 pub(crate) struct PrimitiveLayouts<'tcx> {
194     pub(crate) i32: TyAndLayout<'tcx>,
195     pub(crate) u32: TyAndLayout<'tcx>,
196 }
197
198 impl<'mir, 'tcx: 'mir> PrimitiveLayouts<'tcx> {
199     fn new(layout_cx: LayoutCx<'tcx, TyCtxt<'tcx>>) -> Result<Self, LayoutError<'tcx>> {
200         Ok(Self {
201             i32: layout_cx.layout_of(layout_cx.tcx.types.i32)?,
202             u32: layout_cx.layout_of(layout_cx.tcx.types.u32)?,
203         })
204     }
205 }
206
207 /// The machine itself.
208 pub struct Evaluator<'tcx> {
209     /// Environment variables set by `setenv`.
210     /// Miri does not expose env vars from the host to the emulated program.
211     pub(crate) env_vars: EnvVars<'tcx>,
212
213     /// Program arguments (`Option` because we can only initialize them after creating the ecx).
214     /// These are *pointers* to argc/argv because macOS.
215     /// We also need the full command line as one string because of Windows.
216     pub(crate) argc: Option<Scalar<Tag>>,
217     pub(crate) argv: Option<Scalar<Tag>>,
218     pub(crate) cmd_line: Option<Scalar<Tag>>,
219
220     /// Last OS error location in memory. It is a 32-bit integer.
221     pub(crate) last_error: Option<MPlaceTy<'tcx, Tag>>,
222
223     /// TLS state.
224     pub(crate) tls: TlsData<'tcx>,
225
226     /// If enabled, the `env_vars` field is populated with the host env vars during initialization
227     /// and random number generation is delegated to the host.
228     pub(crate) communicate: bool,
229
230     /// Whether to enforce the validity invariant.
231     pub(crate) validate: bool,
232
233     pub(crate) file_handler: FileHandler,
234     pub(crate) dir_handler: DirHandler,
235
236     /// The temporary used for storing the argument of
237     /// the call to `miri_start_panic` (the panic payload) when unwinding.
238     /// This is pointer-sized, and matches the `Payload` type in `src/libpanic_unwind/miri.rs`.
239     pub(crate) panic_payload: Option<Scalar<Tag>>,
240
241     /// The "time anchor" for this machine's monotone clock (for `Instant` simulation).
242     pub(crate) time_anchor: Instant,
243
244     /// Precomputed `TyLayout`s for primitive data types that are commonly used inside Miri.
245     /// FIXME: Search through the rest of the codebase for more layout_of() calls that
246     /// could be stored here.
247     pub(crate) layouts: PrimitiveLayouts<'tcx>,
248 }
249
250 impl<'tcx> Evaluator<'tcx> {
251     pub(crate) fn new(
252         communicate: bool,
253         validate: bool,
254         layout_cx: LayoutCx<'tcx, TyCtxt<'tcx>>,
255     ) -> Self {
256         let layouts = PrimitiveLayouts::new(layout_cx)
257             .expect("Couldn't get layouts of primitive types");
258         Evaluator {
259             // `env_vars` could be initialized properly here if `Memory` were available before
260             // calling this method.
261             env_vars: EnvVars::default(),
262             argc: None,
263             argv: None,
264             cmd_line: None,
265             last_error: None,
266             tls: TlsData::default(),
267             communicate,
268             validate,
269             file_handler: Default::default(),
270             dir_handler: Default::default(),
271             panic_payload: None,
272             time_anchor: Instant::now(),
273             layouts,
274         }
275     }
276 }
277
278 /// A rustc InterpCx for Miri.
279 pub type MiriEvalContext<'mir, 'tcx> = InterpCx<'mir, 'tcx, Evaluator<'tcx>>;
280
281 /// A little trait that's useful to be inherited by extension traits.
282 pub trait MiriEvalContextExt<'mir, 'tcx> {
283     fn eval_context_ref<'a>(&'a self) -> &'a MiriEvalContext<'mir, 'tcx>;
284     fn eval_context_mut<'a>(&'a mut self) -> &'a mut MiriEvalContext<'mir, 'tcx>;
285 }
286 impl<'mir, 'tcx> MiriEvalContextExt<'mir, 'tcx> for MiriEvalContext<'mir, 'tcx> {
287     #[inline(always)]
288     fn eval_context_ref(&self) -> &MiriEvalContext<'mir, 'tcx> {
289         self
290     }
291     #[inline(always)]
292     fn eval_context_mut(&mut self) -> &mut MiriEvalContext<'mir, 'tcx> {
293         self
294     }
295 }
296
297 /// Machine hook implementations.
298 impl<'mir, 'tcx> Machine<'mir, 'tcx> for Evaluator<'tcx> {
299     type MemoryKind = MiriMemoryKind;
300
301     type FrameExtra = FrameData<'tcx>;
302     type MemoryExtra = MemoryExtra;
303     type AllocExtra = AllocExtra;
304     type PointerTag = Tag;
305     type ExtraFnVal = Dlsym;
306
307     type MemoryMap =
308         MonoHashMap<AllocId, (MemoryKind<MiriMemoryKind>, Allocation<Tag, Self::AllocExtra>)>;
309
310     const GLOBAL_KIND: Option<MiriMemoryKind> = Some(MiriMemoryKind::Global);
311
312     #[inline(always)]
313     fn enforce_alignment(memory_extra: &MemoryExtra) -> bool {
314         memory_extra.check_alignment
315     }
316
317     #[inline(always)]
318     fn enforce_validity(ecx: &InterpCx<'mir, 'tcx, Self>) -> bool {
319         ecx.machine.validate
320     }
321
322     #[inline(always)]
323     fn find_mir_or_eval_fn(
324         ecx: &mut InterpCx<'mir, 'tcx, Self>,
325         instance: ty::Instance<'tcx>,
326         args: &[OpTy<'tcx, Tag>],
327         ret: Option<(PlaceTy<'tcx, Tag>, mir::BasicBlock)>,
328         unwind: Option<mir::BasicBlock>,
329     ) -> InterpResult<'tcx, Option<&'mir mir::Body<'tcx>>> {
330         ecx.find_mir_or_eval_fn(instance, args, ret, unwind)
331     }
332
333     #[inline(always)]
334     fn call_extra_fn(
335         ecx: &mut InterpCx<'mir, 'tcx, Self>,
336         fn_val: Dlsym,
337         args: &[OpTy<'tcx, Tag>],
338         ret: Option<(PlaceTy<'tcx, Tag>, mir::BasicBlock)>,
339         _unwind: Option<mir::BasicBlock>,
340     ) -> InterpResult<'tcx> {
341         ecx.call_dlsym(fn_val, args, ret)
342     }
343
344     #[inline(always)]
345     fn call_intrinsic(
346         ecx: &mut rustc_mir::interpret::InterpCx<'mir, 'tcx, Self>,
347         instance: ty::Instance<'tcx>,
348         args: &[OpTy<'tcx, Tag>],
349         ret: Option<(PlaceTy<'tcx, Tag>, mir::BasicBlock)>,
350         unwind: Option<mir::BasicBlock>,
351     ) -> InterpResult<'tcx> {
352         ecx.call_intrinsic(instance, args, ret, unwind)
353     }
354
355     #[inline(always)]
356     fn assert_panic(
357         ecx: &mut InterpCx<'mir, 'tcx, Self>,
358         msg: &mir::AssertMessage<'tcx>,
359         unwind: Option<mir::BasicBlock>,
360     ) -> InterpResult<'tcx> {
361         ecx.assert_panic(msg, unwind)
362     }
363
364     #[inline(always)]
365     fn abort(_ecx: &mut InterpCx<'mir, 'tcx, Self>) -> InterpResult<'tcx, !> {
366         throw_machine_stop!(TerminationInfo::Abort(None))
367     }
368
369     #[inline(always)]
370     fn binary_ptr_op(
371         ecx: &rustc_mir::interpret::InterpCx<'mir, 'tcx, Self>,
372         bin_op: mir::BinOp,
373         left: ImmTy<'tcx, Tag>,
374         right: ImmTy<'tcx, Tag>,
375     ) -> InterpResult<'tcx, (Scalar<Tag>, bool, ty::Ty<'tcx>)> {
376         ecx.binary_ptr_op(bin_op, left, right)
377     }
378
379     fn box_alloc(
380         ecx: &mut InterpCx<'mir, 'tcx, Self>,
381         dest: PlaceTy<'tcx, Tag>,
382     ) -> InterpResult<'tcx> {
383         trace!("box_alloc for {:?}", dest.layout.ty);
384         let layout = ecx.layout_of(dest.layout.ty.builtin_deref(false).unwrap().ty)?;
385         // First argument: `size`.
386         // (`0` is allowed here -- this is expected to be handled by the lang item).
387         let size = Scalar::from_machine_usize(layout.size.bytes(), ecx);
388
389         // Second argument: `align`.
390         let align = Scalar::from_machine_usize(layout.align.abi.bytes(), ecx);
391
392         // Call the `exchange_malloc` lang item.
393         let malloc = ecx.tcx.lang_items().exchange_malloc_fn().unwrap();
394         let malloc = ty::Instance::mono(ecx.tcx.tcx, malloc);
395         ecx.call_function(
396             malloc,
397             &[size.into(), align.into()],
398             Some(dest),
399             // Don't do anything when we are done. The `statement()` function will increment
400             // the old stack frame's stmt counter to the next statement, which means that when
401             // `exchange_malloc` returns, we go on evaluating exactly where we want to be.
402             StackPopCleanup::None { cleanup: true },
403         )?;
404         Ok(())
405     }
406
407     fn canonical_alloc_id(mem: &Memory<'mir, 'tcx, Self>, id: AllocId) -> AllocId {
408         let tcx = mem.tcx;
409         // Figure out if this is an extern static, and if yes, which one.
410         let def_id = match tcx.alloc_map.lock().get(id) {
411             Some(GlobalAlloc::Static(def_id)) if tcx.is_foreign_item(def_id) => def_id,
412             _ => {
413                 // No need to canonicalize anything.
414                 return id;
415             }
416         };
417         let attrs = tcx.get_attrs(def_id);
418         let link_name = match attr::first_attr_value_str_by_name(&attrs, sym::link_name) {
419             Some(name) => name,
420             None => tcx.item_name(def_id),
421         };
422         // Check if we know this one.
423         if let Some(canonical_id) = mem.extra.extern_statics.get(&link_name) {
424             trace!("canonical_alloc_id: {:?} ({}) -> {:?}", id, link_name, canonical_id);
425             *canonical_id
426         } else {
427             // Return original id; `Memory::get_static_alloc` will throw an error.
428             id
429         }
430     }
431
432     fn init_allocation_extra<'b>(
433         memory_extra: &MemoryExtra,
434         id: AllocId,
435         alloc: Cow<'b, Allocation>,
436         kind: Option<MemoryKind<Self::MemoryKind>>,
437     ) -> (Cow<'b, Allocation<Self::PointerTag, Self::AllocExtra>>, Self::PointerTag) {
438         if Some(id) == memory_extra.tracked_alloc_id {
439             register_diagnostic(NonHaltingDiagnostic::CreatedAlloc(id));
440         }
441
442         let kind = kind.expect("we set our STATIC_KIND so this cannot be None");
443         let alloc = alloc.into_owned();
444         let (stacks, base_tag) =
445             if let Some(stacked_borrows) = &memory_extra.stacked_borrows {
446                 let (stacks, base_tag) =
447                     Stacks::new_allocation(id, alloc.size, Rc::clone(stacked_borrows), kind);
448                 (Some(stacks), base_tag)
449             } else {
450                 // No stacks, no tag.
451                 (None, Tag::Untagged)
452             };
453         let mut stacked_borrows = memory_extra.stacked_borrows.as_ref().map(|sb| sb.borrow_mut());
454         let alloc: Allocation<Tag, Self::AllocExtra> = alloc.with_tags_and_extra(
455             |alloc| {
456                 if let Some(stacked_borrows) = &mut stacked_borrows {
457                     // Only globals may already contain pointers at this point
458                     assert_eq!(kind, MiriMemoryKind::Global.into());
459                     stacked_borrows.global_base_ptr(alloc)
460                 } else {
461                     Tag::Untagged
462                 }
463             },
464             AllocExtra { stacked_borrows: stacks },
465         );
466         (Cow::Owned(alloc), base_tag)
467     }
468
469     #[inline(always)]
470     fn before_deallocation(
471         memory_extra: &mut Self::MemoryExtra,
472         id: AllocId,
473     ) -> InterpResult<'tcx> {
474         if Some(id) == memory_extra.tracked_alloc_id {
475             register_diagnostic(NonHaltingDiagnostic::FreedAlloc(id));
476         }
477         
478         Ok(())
479     }
480
481     #[inline(always)]
482     fn tag_global_base_pointer(memory_extra: &MemoryExtra, id: AllocId) -> Self::PointerTag {
483         if let Some(stacked_borrows) = &memory_extra.stacked_borrows {
484             stacked_borrows.borrow_mut().global_base_ptr(id)
485         } else {
486             Tag::Untagged
487         }
488     }
489
490     #[inline(always)]
491     fn retag(
492         ecx: &mut InterpCx<'mir, 'tcx, Self>,
493         kind: mir::RetagKind,
494         place: PlaceTy<'tcx, Tag>,
495     ) -> InterpResult<'tcx> {
496         if ecx.memory.extra.stacked_borrows.is_some() {
497             ecx.retag(kind, place)
498         } else {
499             Ok(())
500         }
501     }
502
503     #[inline(always)]
504     fn init_frame_extra(
505         ecx: &mut InterpCx<'mir, 'tcx, Self>,
506         frame: Frame<'mir, 'tcx, Tag>,
507     ) -> InterpResult<'tcx, Frame<'mir, 'tcx, Tag, FrameData<'tcx>>> {
508         let stacked_borrows = ecx.memory.extra.stacked_borrows.as_ref();
509         let call_id = stacked_borrows.map_or(NonZeroU64::new(1).unwrap(), |stacked_borrows| {
510             stacked_borrows.borrow_mut().new_call()
511         });
512         let extra = FrameData { call_id, catch_unwind: None };
513         Ok(frame.with_extra(extra))
514     }
515
516     #[inline(always)]
517     fn after_stack_push(ecx: &mut InterpCx<'mir, 'tcx, Self>) -> InterpResult<'tcx> {
518         if ecx.memory.extra.stacked_borrows.is_some() {
519             ecx.retag_return_place()
520         } else {
521             Ok(())
522         }
523     }
524
525     #[inline(always)]
526     fn after_stack_pop(
527         ecx: &mut InterpCx<'mir, 'tcx, Self>,
528         frame: Frame<'mir, 'tcx, Tag, FrameData<'tcx>>,
529         unwinding: bool,
530     ) -> InterpResult<'tcx, StackPopJump> {
531         ecx.handle_stack_pop(frame.extra, unwinding)
532     }
533
534     #[inline(always)]
535     fn int_to_ptr(
536         memory: &Memory<'mir, 'tcx, Self>,
537         int: u64,
538     ) -> InterpResult<'tcx, Pointer<Self::PointerTag>> {
539         intptrcast::GlobalState::int_to_ptr(int, memory)
540     }
541
542     #[inline(always)]
543     fn ptr_to_int(
544         memory: &Memory<'mir, 'tcx, Self>,
545         ptr: Pointer<Self::PointerTag>,
546     ) -> InterpResult<'tcx, u64> {
547         intptrcast::GlobalState::ptr_to_int(ptr, memory)
548     }
549 }
550
551 impl AllocationExtra<Tag> for AllocExtra {
552     #[inline(always)]
553     fn memory_read<'tcx>(
554         alloc: &Allocation<Tag, AllocExtra>,
555         ptr: Pointer<Tag>,
556         size: Size,
557     ) -> InterpResult<'tcx> {
558         if let Some(stacked_borrows) = &alloc.extra.stacked_borrows {
559             stacked_borrows.memory_read(ptr, size)
560         } else {
561             Ok(())
562         }
563     }
564
565     #[inline(always)]
566     fn memory_written<'tcx>(
567         alloc: &mut Allocation<Tag, AllocExtra>,
568         ptr: Pointer<Tag>,
569         size: Size,
570     ) -> InterpResult<'tcx> {
571         if let Some(stacked_borrows) = &mut alloc.extra.stacked_borrows {
572             stacked_borrows.memory_written(ptr, size)
573         } else {
574             Ok(())
575         }
576     }
577
578     #[inline(always)]
579     fn memory_deallocated<'tcx>(
580         alloc: &mut Allocation<Tag, AllocExtra>,
581         ptr: Pointer<Tag>,
582         size: Size,
583     ) -> InterpResult<'tcx> {
584         if let Some(stacked_borrows) = &mut alloc.extra.stacked_borrows {
585             stacked_borrows.memory_deallocated(ptr, size)
586         } else {
587             Ok(())
588         }
589     }
590 }