]> git.lizzy.rs Git - rust.git/blob - src/common.rs
Perform some optimizations
[rust.git] / src / common.rs
1 use std::fmt;
2
3 use rustc_target::spec::{HasTargetSpec, Target};
4
5 use cranelift_module::Module;
6
7 use crate::prelude::*;
8
9 pub fn mir_var(loc: Local) -> Variable {
10     Variable::with_u32(loc.index() as u32)
11 }
12
13 pub fn pointer_ty(tcx: TyCtxt) -> types::Type {
14     match tcx.data_layout.pointer_size.bits() {
15         16 => types::I16,
16         32 => types::I32,
17         64 => types::I64,
18         bits => bug!("ptr_sized_integer: unknown pointer bit size {}", bits),
19     }
20 }
21
22 fn scalar_to_cton_type(tcx: TyCtxt, scalar: &Scalar) -> Type {
23     match scalar.value.size(tcx).bits() {
24         8 => types::I8,
25         16 => types::I16,
26         32 => types::I32,
27         64 => types::I64,
28         size => bug!("Unsupported scalar size {}", size),
29     }
30 }
31
32 fn ptr_referee<'tcx>(ty: Ty<'tcx>) -> Ty<'tcx> {
33     match ty.sty {
34         ty::Ref(_, ty, _) => ty,
35         ty::RawPtr(TypeAndMut { ty, mutbl: _ }) => ty,
36         _ => bug!("{:?}", ty),
37     }
38 }
39
40 pub fn cton_type_from_ty<'a, 'tcx: 'a>(
41     tcx: TyCtxt<'a, 'tcx, 'tcx>,
42     ty: Ty<'tcx>,
43 ) -> Option<types::Type> {
44     Some(match ty.sty {
45         ty::Bool => types::I8,
46         ty::Uint(size) => match size {
47             UintTy::U8 => types::I8,
48             UintTy::U16 => types::I16,
49             UintTy::U32 => types::I32,
50             UintTy::U64 => types::I64,
51             UintTy::U128 => unimpl!("u128"),
52             UintTy::Usize => pointer_ty(tcx),
53         },
54         ty::Int(size) => match size {
55             IntTy::I8 => types::I8,
56             IntTy::I16 => types::I16,
57             IntTy::I32 => types::I32,
58             IntTy::I64 => types::I64,
59             IntTy::I128 => unimpl!("i128"),
60             IntTy::Isize => pointer_ty(tcx),
61         },
62         ty::Char => types::I32,
63         ty::Float(size) => match size {
64             FloatTy::F32 => types::F32,
65             FloatTy::F64 => types::F64,
66         },
67         ty::FnPtr(_) => pointer_ty(tcx),
68         ty::RawPtr(TypeAndMut { ty, mutbl: _ }) | ty::Ref(_, ty, _) => {
69             if ty.is_sized(tcx.at(DUMMY_SP), ParamEnv::reveal_all()) {
70                 pointer_ty(tcx)
71             } else {
72                 return None;
73             }
74         }
75         ty::Param(_) => bug!("{:?}: {:?}", ty, ty.sty),
76         _ => return None,
77     })
78 }
79
80 fn codegen_field<'a, 'tcx: 'a>(
81     fx: &mut FunctionCx<'a, 'tcx, impl Backend>,
82     base: Value,
83     layout: TyLayout<'tcx>,
84     field: mir::Field,
85 ) -> (Value, TyLayout<'tcx>) {
86     let field_offset = layout.fields.offset(field.index());
87     let field_ty = layout.field(&*fx, field.index());
88     if field_offset.bytes() > 0 {
89         (
90             fx.bcx.ins().iadd_imm(base, field_offset.bytes() as i64),
91             field_ty,
92         )
93     } else {
94         (base, field_ty)
95     }
96 }
97
98 /// A read-only value
99 #[derive(Debug, Copy, Clone)]
100 pub enum CValue<'tcx> {
101     ByRef(Value, TyLayout<'tcx>),
102     ByVal(Value, TyLayout<'tcx>),
103     ByValPair(Value, Value, TyLayout<'tcx>),
104 }
105
106 impl<'tcx> CValue<'tcx> {
107     pub fn layout(&self) -> TyLayout<'tcx> {
108         match *self {
109             CValue::ByRef(_, layout)
110             | CValue::ByVal(_, layout)
111             | CValue::ByValPair(_, _, layout) => layout,
112         }
113     }
114
115     pub fn force_stack<'a>(self, fx: &mut FunctionCx<'a, 'tcx, impl Backend>) -> Value
116     where
117         'tcx: 'a,
118     {
119         match self {
120             CValue::ByRef(value, _layout) => value,
121             CValue::ByVal(value, layout) => {
122                 let stack_slot = fx.bcx.create_stack_slot(StackSlotData {
123                     kind: StackSlotKind::ExplicitSlot,
124                     size: layout.size.bytes() as u32,
125                     offset: None,
126                 });
127                 fx.bcx.ins().stack_store(value, stack_slot, 0);
128                 fx.bcx
129                     .ins()
130                     .stack_addr(fx.module.pointer_type(), stack_slot, 0)
131             }
132             CValue::ByValPair(value, extra, layout) => {
133                 let stack_slot = fx.bcx.create_stack_slot(StackSlotData {
134                     kind: StackSlotKind::ExplicitSlot,
135                     size: layout.size.bytes() as u32,
136                     offset: None,
137                 });
138                 let base = fx.bcx.ins().stack_addr(types::I64, stack_slot, 0);
139                 let a_addr = codegen_field(fx, base, layout, mir::Field::new(0)).0;
140                 let b_addr = codegen_field(fx, base, layout, mir::Field::new(1)).0;
141                 fx.bcx.ins().store(MemFlags::new(), value, a_addr, 0);
142                 fx.bcx.ins().store(MemFlags::new(), extra, b_addr, 0);
143                 base
144             }
145         }
146     }
147
148     pub fn load_value<'a>(self, fx: &mut FunctionCx<'a, 'tcx, impl Backend>) -> Value
149     where
150         'tcx: 'a,
151     {
152         match self {
153             CValue::ByRef(addr, layout) => {
154                 let cton_ty = fx
155                     .cton_type(layout.ty)
156                     .expect(&format!("load_value of type {:?}", layout.ty));
157                 fx.bcx.ins().load(cton_ty, MemFlags::new(), addr, 0)
158             }
159             CValue::ByVal(value, _layout) => value,
160             CValue::ByValPair(_, _, _layout) => bug!("Please use load_value_pair for ByValPair"),
161         }
162     }
163
164     pub fn load_value_pair<'a>(self, fx: &mut FunctionCx<'a, 'tcx, impl Backend>) -> (Value, Value)
165     where
166         'tcx: 'a,
167     {
168         match self {
169             CValue::ByRef(addr, layout) => {
170                 assert_eq!(
171                     layout.size.bytes(),
172                     fx.tcx.data_layout.pointer_size.bytes() * 2
173                 );
174                 let val1_offset = layout.fields.offset(0).bytes() as i32;
175                 let val2_offset = layout.fields.offset(1).bytes() as i32;
176                 let val1 =
177                     fx.bcx
178                         .ins()
179                         .load(fx.module.pointer_type(), MemFlags::new(), addr, val1_offset);
180                 let val2 =
181                     fx.bcx
182                         .ins()
183                         .load(fx.module.pointer_type(), MemFlags::new(), addr, val2_offset);
184                 (val1, val2)
185             }
186             CValue::ByVal(_, _layout) => bug!("Please use load_value for ByVal"),
187             CValue::ByValPair(val1, val2, _layout) => (val1, val2),
188         }
189     }
190
191     pub fn expect_byref(self) -> (Value, TyLayout<'tcx>) {
192         match self {
193             CValue::ByRef(value, layout) => (value, layout),
194             CValue::ByVal(_, _) => bug!("Expected CValue::ByRef, found CValue::ByVal: {:?}", self),
195             CValue::ByValPair(_, _, _) => bug!(
196                 "Expected CValue::ByRef, found CValue::ByValPair: {:?}",
197                 self
198             ),
199         }
200     }
201
202     pub fn value_field<'a>(
203         self,
204         fx: &mut FunctionCx<'a, 'tcx, impl Backend>,
205         field: mir::Field,
206     ) -> CValue<'tcx>
207     where
208         'tcx: 'a,
209     {
210         let (base, layout) = match self {
211             CValue::ByRef(addr, layout) => (addr, layout),
212             _ => bug!("place_field for {:?}", self),
213         };
214
215         let (field_ptr, field_layout) = codegen_field(fx, base, layout, field);
216         CValue::ByRef(field_ptr, field_layout)
217     }
218
219     pub fn unsize_value<'a>(self, fx: &mut FunctionCx<'a, 'tcx, impl Backend>, dest: CPlace<'tcx>) {
220         if self.layout().ty == dest.layout().ty {
221             dest.write_cvalue(fx, self); // FIXME this shouldn't happen (rust-lang/rust#53602)
222             return;
223         }
224         match &self.layout().ty.sty {
225             ty::Ref(_, ty, _) | ty::RawPtr(TypeAndMut { ty, mutbl: _ }) => {
226                 let (ptr, extra) = match ptr_referee(dest.layout().ty).sty {
227                     ty::Slice(slice_elem_ty) => match ty.sty {
228                         ty::Array(array_elem_ty, size) => {
229                             assert_eq!(slice_elem_ty, array_elem_ty);
230                             let ptr = self.load_value(fx);
231                             let extra = fx
232                                 .bcx
233                                 .ins()
234                                 .iconst(fx.module.pointer_type(), size.unwrap_usize(fx.tcx) as i64);
235                             (ptr, extra)
236                         }
237                         _ => bug!("unsize non array {:?} to slice", ty),
238                     },
239                     ty::Dynamic(_, _) => match ty.sty {
240                         ty::Dynamic(_, _) => self.load_value_pair(fx),
241                         _ => unimpl!("unsize of type ... to {:?}", dest.layout().ty),
242                     },
243                     _ => bug!(
244                         "unsize of type {:?} to {:?}",
245                         self.layout().ty,
246                         dest.layout().ty
247                     ),
248                 };
249                 dest.write_cvalue(fx, CValue::ByValPair(ptr, extra, dest.layout()));
250             }
251             ty => unimpl!("unsize of non ptr {:?}", ty),
252         }
253     }
254
255     pub fn const_val<'a>(
256         fx: &mut FunctionCx<'a, 'tcx, impl Backend>,
257         ty: Ty<'tcx>,
258         const_val: i64,
259     ) -> CValue<'tcx>
260     where
261         'tcx: 'a,
262     {
263         let cton_ty = fx.cton_type(ty).unwrap();
264         let layout = fx.layout_of(ty);
265         CValue::ByVal(fx.bcx.ins().iconst(cton_ty, const_val), layout)
266     }
267
268     pub fn unchecked_cast_to(self, layout: TyLayout<'tcx>) -> Self {
269         match self {
270             CValue::ByRef(addr, _) => CValue::ByRef(addr, layout),
271             CValue::ByVal(val, _) => CValue::ByVal(val, layout),
272             CValue::ByValPair(val, extra, _) => CValue::ByValPair(val, extra, layout),
273         }
274     }
275 }
276
277 /// A place where you can write a value to or read a value from
278 #[derive(Debug, Copy, Clone)]
279 pub enum CPlace<'tcx> {
280     Var(Local, TyLayout<'tcx>),
281     Addr(Value, Option<Value>, TyLayout<'tcx>),
282 }
283
284 impl<'a, 'tcx: 'a> CPlace<'tcx> {
285     pub fn layout(&self) -> TyLayout<'tcx> {
286         match *self {
287             CPlace::Var(_, layout) | CPlace::Addr(_, _, layout) => layout,
288         }
289     }
290
291     pub fn temp(fx: &mut FunctionCx<'a, 'tcx, impl Backend>, ty: Ty<'tcx>) -> CPlace<'tcx> {
292         let layout = fx.layout_of(ty);
293         assert!(!layout.is_unsized());
294         let stack_slot = fx.bcx.create_stack_slot(StackSlotData {
295             kind: StackSlotKind::ExplicitSlot,
296             size: layout.size.bytes() as u32,
297             offset: None,
298         });
299         CPlace::Addr(
300             fx.bcx
301                 .ins()
302                 .stack_addr(fx.module.pointer_type(), stack_slot, 0),
303             None,
304             layout,
305         )
306     }
307
308     pub fn from_stack_slot(
309         fx: &mut FunctionCx<'a, 'tcx, impl Backend>,
310         stack_slot: StackSlot,
311         ty: Ty<'tcx>,
312     ) -> CPlace<'tcx> {
313         let layout = fx.layout_of(ty);
314         assert!(!layout.is_unsized());
315         CPlace::Addr(
316             fx.bcx
317                 .ins()
318                 .stack_addr(fx.module.pointer_type(), stack_slot, 0),
319             None,
320             layout,
321         )
322     }
323
324     pub fn to_cvalue(self, fx: &mut FunctionCx<'a, 'tcx, impl Backend>) -> CValue<'tcx> {
325         match self {
326             CPlace::Var(var, layout) => CValue::ByVal(fx.bcx.use_var(mir_var(var)), layout),
327             CPlace::Addr(addr, extra, layout) => {
328                 assert!(extra.is_none(), "unsized values are not yet supported");
329                 CValue::ByRef(addr, layout)
330             }
331         }
332     }
333
334     pub fn expect_addr(self) -> Value {
335         match self {
336             CPlace::Addr(addr, None, _layout) => addr,
337             CPlace::Addr(_, _, _) => bug!("Expected sized CPlace::Addr, found {:?}", self),
338             CPlace::Var(_, _) => bug!("Expected CPlace::Addr, found CPlace::Var"),
339         }
340     }
341
342     pub fn write_cvalue(self, fx: &mut FunctionCx<'a, 'tcx, impl Backend>, from: CValue<'tcx>) {
343         match (&self.layout().ty.sty, &from.layout().ty.sty) {
344             (ty::Ref(_, t, dest_mut), ty::Ref(_, u, src_mut))
345                 if (if *dest_mut != ::rustc::hir::Mutability::MutImmutable && src_mut != dest_mut {
346                     false
347                 } else if t != u {
348                     false
349                 } else {
350                     true
351                 }) =>
352             {
353                 // &mut T -> &T is allowed
354                 // &'a T -> &'b T is allowed
355             }
356             _ => {
357                 assert_eq!(
358                     self.layout().ty,
359                     from.layout().ty,
360                     "Can't write value of incompatible type to place {:?} {:?}\n\n{:#?}",
361                     self.layout().ty.sty,
362                     from.layout().ty.sty,
363                     fx,
364                 );
365             }
366         }
367
368         match self {
369             CPlace::Var(var, _) => {
370                 let data = from.load_value(fx);
371                 fx.bcx.def_var(mir_var(var), data)
372             }
373             CPlace::Addr(addr, None, layout) => {
374                 let size = layout.size.bytes() as i32;
375
376                 match from {
377                     CValue::ByVal(val, _layout) => {
378                         fx.bcx.ins().store(MemFlags::new(), val, addr, 0);
379                     }
380                     CValue::ByValPair(val1, val2, _layout) => {
381                         let val1_offset = layout.fields.offset(0).bytes() as i32;
382                         let val2_offset = layout.fields.offset(1).bytes() as i32;
383                         fx.bcx.ins().store(MemFlags::new(), val1, addr, val1_offset);
384                         fx.bcx.ins().store(MemFlags::new(), val2, addr, val2_offset);
385                     }
386                     CValue::ByRef(from, _layout) => {
387                         let mut offset = 0;
388                         while size - offset >= 8 {
389                             let byte = fx.bcx.ins().load(
390                                 fx.module.pointer_type(),
391                                 MemFlags::new(),
392                                 from,
393                                 offset,
394                             );
395                             fx.bcx.ins().store(MemFlags::new(), byte, addr, offset);
396                             offset += 8;
397                         }
398                         while size - offset >= 4 {
399                             let byte = fx.bcx.ins().load(types::I32, MemFlags::new(), from, offset);
400                             fx.bcx.ins().store(MemFlags::new(), byte, addr, offset);
401                             offset += 4;
402                         }
403                         while offset < size {
404                             let byte = fx.bcx.ins().load(types::I8, MemFlags::new(), from, offset);
405                             fx.bcx.ins().store(MemFlags::new(), byte, addr, offset);
406                             offset += 1;
407                         }
408                     }
409                 }
410             }
411             CPlace::Addr(_, _, _) => bug!("Can't write value to unsized place {:?}", self),
412         }
413     }
414
415     pub fn place_field(
416         self,
417         fx: &mut FunctionCx<'a, 'tcx, impl Backend>,
418         field: mir::Field,
419     ) -> CPlace<'tcx> {
420         let layout = self.layout();
421         if layout.is_unsized() {
422             unimpl!("unsized place_field");
423         }
424
425         let base = self.expect_addr();
426         let (field_ptr, field_layout) = codegen_field(fx, base, layout, field);
427         CPlace::Addr(field_ptr, None, field_layout)
428     }
429
430     pub fn place_index(
431         self,
432         fx: &mut FunctionCx<'a, 'tcx, impl Backend>,
433         index: Value,
434     ) -> CPlace<'tcx> {
435         let (elem_layout, addr) = match self.layout().ty.sty {
436             ty::Array(elem_ty, _) => (fx.layout_of(elem_ty), self.expect_addr()),
437             ty::Slice(elem_ty) => (
438                 fx.layout_of(elem_ty),
439                 match self {
440                     CPlace::Addr(addr, _, _) => addr,
441                     CPlace::Var(_, _) => bug!("Expected CPlace::Addr found CPlace::Var"),
442                 },
443             ),
444             _ => bug!("place_index({:?})", self.layout().ty),
445         };
446
447         let offset = fx
448             .bcx
449             .ins()
450             .imul_imm(index, elem_layout.size.bytes() as i64);
451
452         CPlace::Addr(fx.bcx.ins().iadd(addr, offset), None, elem_layout)
453     }
454
455     pub fn place_deref(self, fx: &mut FunctionCx<'a, 'tcx, impl Backend>) -> CPlace<'tcx> {
456         let inner_layout = fx.layout_of(ptr_referee(self.layout().ty));
457         if !inner_layout.is_unsized() {
458             CPlace::Addr(self.to_cvalue(fx).load_value(fx), None, inner_layout)
459         } else {
460             match self.layout().abi {
461                 Abi::ScalarPair(ref a, ref b) => {
462                     let addr = self.expect_addr();
463                     let ptr =
464                         fx.bcx
465                             .ins()
466                             .load(scalar_to_cton_type(fx.tcx, a), MemFlags::new(), addr, 0);
467                     let extra = fx.bcx.ins().load(
468                         scalar_to_cton_type(fx.tcx, b),
469                         MemFlags::new(),
470                         addr,
471                         a.value.size(fx.tcx).bytes() as u32 as i32,
472                     );
473                     CPlace::Addr(ptr, Some(extra), inner_layout)
474                 }
475                 _ => bug!(
476                     "Fat ptr doesn't have abi ScalarPair, but it has {:?}",
477                     self.layout().abi
478                 ),
479             }
480         }
481     }
482
483     pub fn write_place_ref(self, fx: &mut FunctionCx<'a, 'tcx, impl Backend>, dest: CPlace<'tcx>) {
484         if !self.layout().is_unsized() {
485             let ptr = CValue::ByVal(self.expect_addr(), dest.layout());
486             dest.write_cvalue(fx, ptr);
487         } else {
488             match self {
489                 CPlace::Var(_, _) => bug!("expected CPlace::Addr found CPlace::Var"),
490                 CPlace::Addr(value, extra, _) => match dest.layout().abi {
491                     Abi::ScalarPair(ref a, _) => {
492                         fx.bcx
493                             .ins()
494                             .store(MemFlags::new(), value, dest.expect_addr(), 0);
495                         fx.bcx.ins().store(
496                             MemFlags::new(),
497                             extra.expect("unsized type without metadata"),
498                             dest.expect_addr(),
499                             a.value.size(fx.tcx).bytes() as u32 as i32,
500                         );
501                     }
502                     _ => bug!(
503                         "Non ScalarPair abi {:?} in write_place_ref dest",
504                         dest.layout().abi
505                     ),
506                 },
507             }
508         }
509     }
510
511     pub fn unchecked_cast_to(self, layout: TyLayout<'tcx>) -> Self {
512         match self {
513             CPlace::Var(var, _) => CPlace::Var(var, layout),
514             CPlace::Addr(addr, extra, _) => {
515                 assert!(!layout.is_unsized());
516                 CPlace::Addr(addr, extra, layout)
517             }
518         }
519     }
520
521     pub fn downcast_variant(self, fx: &FunctionCx<'a, 'tcx, impl Backend>, variant: usize) -> Self {
522         let layout = self.layout().for_variant(fx, variant);
523         self.unchecked_cast_to(layout)
524     }
525 }
526
527 pub fn cton_intcast<'a, 'tcx: 'a>(
528     fx: &mut FunctionCx<'a, 'tcx, impl Backend>,
529     val: Value,
530     to: Type,
531     signed: bool,
532 ) -> Value {
533     let from = fx.bcx.func.dfg.value_type(val);
534     if from == to {
535         return val;
536     }
537     if to.wider_or_equal(from) {
538         if signed {
539             fx.bcx.ins().sextend(to, val)
540         } else {
541             fx.bcx.ins().uextend(to, val)
542         }
543     } else {
544         fx.bcx.ins().ireduce(to, val)
545     }
546 }
547
548 pub struct FunctionCx<'a, 'tcx: 'a, B: Backend + 'a> {
549     pub tcx: TyCtxt<'a, 'tcx, 'tcx>,
550     pub module: &'a mut Module<B>,
551     pub instance: Instance<'tcx>,
552     pub mir: &'tcx Mir<'tcx>,
553     pub param_substs: &'tcx Substs<'tcx>,
554     pub bcx: FunctionBuilder<'a>,
555     pub ebb_map: HashMap<BasicBlock, Ebb>,
556     pub local_map: HashMap<Local, CPlace<'tcx>>,
557     pub comments: HashMap<Inst, String>,
558     pub constants: &'a mut crate::constant::ConstantCx,
559     pub caches: &'a mut Caches,
560
561     /// add_global_comment inserts a comment here
562     pub top_nop: Option<Inst>,
563 }
564
565 impl<'a, 'tcx: 'a, B: Backend + 'a> fmt::Debug for FunctionCx<'a, 'tcx, B> {
566     fn fmt(&self, f: &mut fmt::Formatter) -> fmt::Result {
567         writeln!(f, "{:?}", self.param_substs)?;
568         writeln!(f, "{:?}", self.local_map)?;
569
570         let mut clif = String::new();
571         let mut writer = crate::pretty_clif::CommentWriter(self.comments.clone());
572         ::cranelift::codegen::write::decorate_function(
573             &mut writer,
574             &mut clif,
575             &self.bcx.func,
576             None,
577         ).unwrap();
578         writeln!(f, "\n{}", clif)
579     }
580 }
581
582 impl<'a, 'tcx: 'a, B: Backend> LayoutOf for &'a FunctionCx<'a, 'tcx, B> {
583     type Ty = Ty<'tcx>;
584     type TyLayout = TyLayout<'tcx>;
585
586     fn layout_of(self, ty: Ty<'tcx>) -> TyLayout<'tcx> {
587         let ty = self.monomorphize(&ty);
588         self.tcx.layout_of(ParamEnv::reveal_all().and(&ty)).unwrap()
589     }
590 }
591
592 impl<'a, 'tcx, B: Backend + 'a> layout::HasTyCtxt<'tcx> for &'a FunctionCx<'a, 'tcx, B> {
593     fn tcx<'b>(&'b self) -> TyCtxt<'b, 'tcx, 'tcx> {
594         self.tcx
595     }
596 }
597
598 impl<'a, 'tcx, B: Backend + 'a> layout::HasDataLayout for &'a FunctionCx<'a, 'tcx, B> {
599     fn data_layout(&self) -> &layout::TargetDataLayout {
600         &self.tcx.data_layout
601     }
602 }
603
604 impl<'a, 'tcx, B: Backend + 'a> HasTargetSpec for &'a FunctionCx<'a, 'tcx, B> {
605     fn target_spec(&self) -> &Target {
606         &self.tcx.sess.target.target
607     }
608 }
609
610 impl<'a, 'tcx: 'a, B: Backend + 'a> FunctionCx<'a, 'tcx, B> {
611     pub fn monomorphize<T>(&self, value: &T) -> T
612     where
613         T: TypeFoldable<'tcx>,
614     {
615         self.tcx.subst_and_normalize_erasing_regions(
616             self.param_substs,
617             ty::ParamEnv::reveal_all(),
618             value,
619         )
620     }
621
622     pub fn cton_type(&self, ty: Ty<'tcx>) -> Option<Type> {
623         cton_type_from_ty(self.tcx, self.monomorphize(&ty))
624     }
625
626     pub fn get_ebb(&self, bb: BasicBlock) -> Ebb {
627         *self.ebb_map.get(&bb).unwrap()
628     }
629
630     pub fn get_local_place(&mut self, local: Local) -> CPlace<'tcx> {
631         *self.local_map.get(&local).unwrap()
632     }
633 }