src/librustc_mir/dataflow/move_paths/builder.rs

   1 use rustc_index::vec::IndexVec;
   2 use rustc_middle::mir::tcx::RvalueInitializationState;
   3 use rustc_middle::mir::*;
   4 use rustc_middle::ty::{self, TyCtxt};
   5 use smallvec::{smallvec, SmallVec};
   6
   7 use std::convert::TryInto;
   8 use std::mem;
   9
  10 use super::abs_domain::Lift;
  11 use super::IllegalMoveOriginKind::*;
  12 use super::{Init, InitIndex, InitKind, InitLocation, LookupResult, MoveError};
  13 use super::{
  14     LocationMap, MoveData, MoveOut, MoveOutIndex, MovePath, MovePathIndex, MovePathLookup,
  15 };
  16
  17 struct MoveDataBuilder<'a, 'tcx> {
  18     body: &'a Body<'tcx>,
  19     tcx: TyCtxt<'tcx>,
  20     param_env: ty::ParamEnv<'tcx>,
  21     data: MoveData<'tcx>,
  22     errors: Vec<(Place<'tcx>, MoveError<'tcx>)>,
  23 }
  24
  25 impl<'a, 'tcx> MoveDataBuilder<'a, 'tcx> {
  26     fn new(body: &'a Body<'tcx>, tcx: TyCtxt<'tcx>, param_env: ty::ParamEnv<'tcx>) -> Self {
  27         let mut move_paths = IndexVec::new();
  28         let mut path_map = IndexVec::new();
  29         let mut init_path_map = IndexVec::new();
  30
  31         MoveDataBuilder {
  32             body,
  33             tcx,
  34             param_env,
  35             errors: Vec::new(),
  36             data: MoveData {
  37                 moves: IndexVec::new(),
  38                 loc_map: LocationMap::new(body),
  39                 rev_lookup: MovePathLookup {
  40                     locals: body
  41                         .local_decls
  42                         .indices()
  43                         .map(|i| {
  44                             Self::new_move_path(
  45                                 &mut move_paths,
  46                                 &mut path_map,
  47                                 &mut init_path_map,
  48                                 None,
  49                                 Place::from(i),
  50                             )
  51                         })
  52                         .collect(),
  53                     projections: Default::default(),
  54                 },
  55                 move_paths,
  56                 path_map,
  57                 inits: IndexVec::new(),
  58                 init_loc_map: LocationMap::new(body),
  59                 init_path_map,
  60             },
  61         }
  62     }
  63
  64     fn new_move_path(
  65         move_paths: &mut IndexVec<MovePathIndex, MovePath<'tcx>>,
  66         path_map: &mut IndexVec<MovePathIndex, SmallVec<[MoveOutIndex; 4]>>,
  67         init_path_map: &mut IndexVec<MovePathIndex, SmallVec<[InitIndex; 4]>>,
  68         parent: Option<MovePathIndex>,
  69         place: Place<'tcx>,
  70     ) -> MovePathIndex {
  71         let move_path =
  72             move_paths.push(MovePath { next_sibling: None, first_child: None, parent, place });
  73
  74         if let Some(parent) = parent {
  75             let next_sibling = mem::replace(&mut move_paths[parent].first_child, Some(move_path));
  76             move_paths[move_path].next_sibling = next_sibling;
  77         }
  78
  79         let path_map_ent = path_map.push(smallvec![]);
  80         assert_eq!(path_map_ent, move_path);
  81
  82         let init_path_map_ent = init_path_map.push(smallvec![]);
  83         assert_eq!(init_path_map_ent, move_path);
  84
  85         move_path
  86     }
  87 }
  88
  89 impl<'b, 'a, 'tcx> Gatherer<'b, 'a, 'tcx> {
  90     /// This creates a MovePath for a given place, returning an `MovePathError`
  91     /// if that place can't be moved from.
  92     ///
  93     /// NOTE: places behind references *do not* get a move path, which is
  94     /// problematic for borrowck.
  95     ///
  96     /// Maybe we should have separate "borrowck" and "moveck" modes.
  97     fn move_path_for(&mut self, place: Place<'tcx>) -> Result<MovePathIndex, MoveError<'tcx>> {
  98         debug!("lookup({:?})", place);
  99         let mut base = self.builder.data.rev_lookup.locals[place.local];
 100
 101         // The move path index of the first union that we find. Once this is
 102         // some we stop creating child move paths, since moves from unions
 103         // move the whole thing.
 104         // We continue looking for other move errors though so that moving
 105         // from `*(u.f: &_)` isn't allowed.
 106         let mut union_path = None;
 107
 108         for (i, elem) in place.projection.iter().enumerate() {
 109             let proj_base = &place.projection[..i];
 110             let body = self.builder.body;
 111             let tcx = self.builder.tcx;
 112             let place_ty = Place::ty_from(place.local, proj_base, body, tcx).ty;
 113             match place_ty.kind {
 114                 ty::Ref(..) | ty::RawPtr(..) => {
 115                     let proj = &place.projection[..i + 1];
 116                     return Err(MoveError::cannot_move_out_of(
 117                         self.loc,
 118                         BorrowedContent {
 119                             target_place: Place {
 120                                 local: place.local,
 121                                 projection: tcx.intern_place_elems(proj),
 122                             },
 123                         },
 124                     ));
 125                 }
 126                 ty::Adt(adt, _) if adt.has_dtor(tcx) && !adt.is_box() => {
 127                     return Err(MoveError::cannot_move_out_of(
 128                         self.loc,
 129                         InteriorOfTypeWithDestructor { container_ty: place_ty },
 130                     ));
 131                 }
 132                 ty::Adt(adt, _) if adt.is_union() => {
 133                     union_path.get_or_insert(base);
 134                 }
 135                 ty::Slice(_) => {
 136                     return Err(MoveError::cannot_move_out_of(
 137                         self.loc,
 138                         InteriorOfSliceOrArray {
 139                             ty: place_ty,
 140                             is_index: match elem {
 141                                 ProjectionElem::Index(..) => true,
 142                                 _ => false,
 143                             },
 144                         },
 145                     ));
 146                 }
 147
 148                 ty::Array(..) => {
 149                     if let ProjectionElem::Index(..) = elem {
 150                         return Err(MoveError::cannot_move_out_of(
 151                             self.loc,
 152                             InteriorOfSliceOrArray { ty: place_ty, is_index: true },
 153                         ));
 154                     }
 155                 }
 156
 157                 _ => {}
 158             };
 159
 160             if union_path.is_none() {
 161                 base = self.add_move_path(base, elem, |tcx| Place {
 162                     local: place.local,
 163                     projection: tcx.intern_place_elems(&place.projection[..i + 1]),
 164                 });
 165             }
 166         }
 167
 168         if let Some(base) = union_path {
 169             // Move out of union - always move the entire union.
 170             Err(MoveError::UnionMove { path: base })
 171         } else {
 172             Ok(base)
 173         }
 174     }
 175
 176     fn add_move_path(
 177         &mut self,
 178         base: MovePathIndex,
 179         elem: PlaceElem<'tcx>,
 180         mk_place: impl FnOnce(TyCtxt<'tcx>) -> Place<'tcx>,
 181     ) -> MovePathIndex {
 182         let MoveDataBuilder {
 183             data: MoveData { rev_lookup, move_paths, path_map, init_path_map, .. },
 184             tcx,
 185             ..
 186         } = self.builder;
 187         *rev_lookup.projections.entry((base, elem.lift())).or_insert_with(move || {
 188             MoveDataBuilder::new_move_path(
 189                 move_paths,
 190                 path_map,
 191                 init_path_map,
 192                 Some(base),
 193                 mk_place(*tcx),
 194             )
 195         })
 196     }
 197
 198     fn create_move_path(&mut self, place: Place<'tcx>) {
 199         // This is an non-moving access (such as an overwrite or
 200         // drop), so this not being a valid move path is OK.
 201         let _ = self.move_path_for(place);
 202     }
 203 }
 204
 205 impl<'a, 'tcx> MoveDataBuilder<'a, 'tcx> {
 206     fn finalize(
 207         self,
 208     ) -> Result<MoveData<'tcx>, (MoveData<'tcx>, Vec<(Place<'tcx>, MoveError<'tcx>)>)> {
 209         debug!("{}", {
 210             debug!("moves for {:?}:", self.body.span);
 211             for (j, mo) in self.data.moves.iter_enumerated() {
 212                 debug!("    {:?} = {:?}", j, mo);
 213             }
 214             debug!("move paths for {:?}:", self.body.span);
 215             for (j, path) in self.data.move_paths.iter_enumerated() {
 216                 debug!("    {:?} = {:?}", j, path);
 217             }
 218             "done dumping moves"
 219         });
 220
 221         if !self.errors.is_empty() { Err((self.data, self.errors)) } else { Ok(self.data) }
 222     }
 223 }
 224
 225 pub(super) fn gather_moves<'tcx>(
 226     body: &Body<'tcx>,
 227     tcx: TyCtxt<'tcx>,
 228     param_env: ty::ParamEnv<'tcx>,
 229 ) -> Result<MoveData<'tcx>, (MoveData<'tcx>, Vec<(Place<'tcx>, MoveError<'tcx>)>)> {
 230     let mut builder = MoveDataBuilder::new(body, tcx, param_env);
 231
 232     builder.gather_args();
 233
 234     for (bb, block) in body.basic_blocks().iter_enumerated() {
 235         for (i, stmt) in block.statements.iter().enumerate() {
 236             let source = Location { block: bb, statement_index: i };
 237             builder.gather_statement(source, stmt);
 238         }
 239
 240         let terminator_loc = Location { block: bb, statement_index: block.statements.len() };
 241         builder.gather_terminator(terminator_loc, block.terminator());
 242     }
 243
 244     builder.finalize()
 245 }
 246
 247 impl<'a, 'tcx> MoveDataBuilder<'a, 'tcx> {
 248     fn gather_args(&mut self) {
 249         for arg in self.body.args_iter() {
 250             let path = self.data.rev_lookup.locals[arg];
 251
 252             let init = self.data.inits.push(Init {
 253                 path,
 254                 kind: InitKind::Deep,
 255                 location: InitLocation::Argument(arg),
 256             });
 257
 258             debug!("gather_args: adding init {:?} of {:?} for argument {:?}", init, path, arg);
 259
 260             self.data.init_path_map[path].push(init);
 261         }
 262     }
 263
 264     fn gather_statement(&mut self, loc: Location, stmt: &Statement<'tcx>) {
 265         debug!("gather_statement({:?}, {:?})", loc, stmt);
 266         (Gatherer { builder: self, loc }).gather_statement(stmt);
 267     }
 268
 269     fn gather_terminator(&mut self, loc: Location, term: &Terminator<'tcx>) {
 270         debug!("gather_terminator({:?}, {:?})", loc, term);
 271         (Gatherer { builder: self, loc }).gather_terminator(term);
 272     }
 273 }
 274
 275 struct Gatherer<'b, 'a, 'tcx> {
 276     builder: &'b mut MoveDataBuilder<'a, 'tcx>,
 277     loc: Location,
 278 }
 279
 280 impl<'b, 'a, 'tcx> Gatherer<'b, 'a, 'tcx> {
 281     fn gather_statement(&mut self, stmt: &Statement<'tcx>) {
 282         match &stmt.kind {
 283             StatementKind::Assign(box (place, rval)) => {
 284                 self.create_move_path(*place);
 285                 if let RvalueInitializationState::Shallow = rval.initialization_state() {
 286                     // Box starts out uninitialized - need to create a separate
 287                     // move-path for the interior so it will be separate from
 288                     // the exterior.
 289                     self.create_move_path(self.builder.tcx.mk_place_deref(*place));
 290                     self.gather_init(place.as_ref(), InitKind::Shallow);
 291                 } else {
 292                     self.gather_init(place.as_ref(), InitKind::Deep);
 293                 }
 294                 self.gather_rvalue(rval);
 295             }
 296             StatementKind::FakeRead(_, place) => {
 297                 self.create_move_path(**place);
 298             }
 299             StatementKind::LlvmInlineAsm(ref asm) => {
 300                 for (output, kind) in asm.outputs.iter().zip(&asm.asm.outputs) {
 301                     if !kind.is_indirect {
 302                         self.gather_init(output.as_ref(), InitKind::Deep);
 303                     }
 304                 }
 305                 for (_, input) in asm.inputs.iter() {
 306                     self.gather_operand(input);
 307                 }
 308             }
 309             StatementKind::StorageLive(_) => {}
 310             StatementKind::StorageDead(local) => {
 311                 self.gather_move(Place::from(*local));
 312             }
 313             StatementKind::SetDiscriminant { .. } => {
 314                 span_bug!(
 315                     stmt.source_info.span,
 316                     "SetDiscriminant should not exist during borrowck"
 317                 );
 318             }
 319             StatementKind::Retag { .. }
 320             | StatementKind::AscribeUserType(..)
 321             | StatementKind::Coverage(..)
 322             | StatementKind::Nop => {}
 323         }
 324     }
 325
 326     fn gather_rvalue(&mut self, rvalue: &Rvalue<'tcx>) {
 327         match *rvalue {
 328             Rvalue::ThreadLocalRef(_) => {} // not-a-move
 329             Rvalue::Use(ref operand)
 330             | Rvalue::Repeat(ref operand, _)
 331             | Rvalue::Cast(_, ref operand, _)
 332             | Rvalue::UnaryOp(_, ref operand) => self.gather_operand(operand),
 333             Rvalue::BinaryOp(ref _binop, ref lhs, ref rhs)
 334             | Rvalue::CheckedBinaryOp(ref _binop, ref lhs, ref rhs) => {
 335                 self.gather_operand(lhs);
 336                 self.gather_operand(rhs);
 337             }
 338             Rvalue::Aggregate(ref _kind, ref operands) => {
 339                 for operand in operands {
 340                     self.gather_operand(operand);
 341                 }
 342             }
 343             Rvalue::Ref(..)
 344             | Rvalue::AddressOf(..)
 345             | Rvalue::Discriminant(..)
 346             | Rvalue::Len(..)
 347             | Rvalue::NullaryOp(NullOp::SizeOf, _)
 348             | Rvalue::NullaryOp(NullOp::Box, _) => {
 349                 // This returns an rvalue with uninitialized contents. We can't
 350                 // move out of it here because it is an rvalue - assignments always
 351                 // completely initialize their place.
 352                 //
 353                 // However, this does not matter - MIR building is careful to
 354                 // only emit a shallow free for the partially-initialized
 355                 // temporary.
 356                 //
 357                 // In any case, if we want to fix this, we have to register a
 358                 // special move and change the `statement_effect` functions.
 359             }
 360         }
 361     }
 362
 363     fn gather_terminator(&mut self, term: &Terminator<'tcx>) {
 364         match term.kind {
 365             TerminatorKind::Goto { target: _ }
 366             | TerminatorKind::Resume
 367             | TerminatorKind::Abort
 368             | TerminatorKind::GeneratorDrop
 369             | TerminatorKind::FalseEdge { .. }
 370             | TerminatorKind::FalseUnwind { .. }
 371             | TerminatorKind::Unreachable => {}
 372
 373             TerminatorKind::Return => {
 374                 self.gather_move(Place::return_place());
 375             }
 376
 377             TerminatorKind::Assert { ref cond, .. } => {
 378                 self.gather_operand(cond);
 379             }
 380
 381             TerminatorKind::SwitchInt { ref discr, .. } => {
 382                 self.gather_operand(discr);
 383             }
 384
 385             TerminatorKind::Yield { ref value, resume_arg: place, .. } => {
 386                 self.gather_operand(value);
 387                 self.create_move_path(place);
 388                 self.gather_init(place.as_ref(), InitKind::Deep);
 389             }
 390
 391             TerminatorKind::Drop { place, target: _, unwind: _ } => {
 392                 self.gather_move(place);
 393             }
 394             TerminatorKind::DropAndReplace { place, ref value, .. } => {
 395                 self.create_move_path(place);
 396                 self.gather_operand(value);
 397                 self.gather_init(place.as_ref(), InitKind::Deep);
 398             }
 399             TerminatorKind::Call {
 400                 ref func,
 401                 ref args,
 402                 ref destination,
 403                 cleanup: _,
 404                 from_hir_call: _,
 405                 fn_span: _,
 406             } => {
 407                 self.gather_operand(func);
 408                 for arg in args {
 409                     self.gather_operand(arg);
 410                 }
 411                 if let Some((destination, _bb)) = *destination {
 412                     self.create_move_path(destination);
 413                     self.gather_init(destination.as_ref(), InitKind::NonPanicPathOnly);
 414                 }
 415             }
 416             TerminatorKind::InlineAsm {
 417                 template: _,
 418                 ref operands,
 419                 options: _,
 420                 line_spans: _,
 421                 destination: _,
 422             } => {
 423                 for op in operands {
 424                     match *op {
 425                         InlineAsmOperand::In { reg: _, ref value }
 426                         | InlineAsmOperand::Const { ref value } => {
 427                             self.gather_operand(value);
 428                         }
 429                         InlineAsmOperand::Out { reg: _, late: _, place, .. } => {
 430                             if let Some(place) = place {
 431                                 self.create_move_path(place);
 432                                 self.gather_init(place.as_ref(), InitKind::Deep);
 433                             }
 434                         }
 435                         InlineAsmOperand::InOut { reg: _, late: _, ref in_value, out_place } => {
 436                             self.gather_operand(in_value);
 437                             if let Some(out_place) = out_place {
 438                                 self.create_move_path(out_place);
 439                                 self.gather_init(out_place.as_ref(), InitKind::Deep);
 440                             }
 441                         }
 442                         InlineAsmOperand::SymFn { value: _ }
 443                         | InlineAsmOperand::SymStatic { def_id: _ } => {}
 444                     }
 445                 }
 446             }
 447         }
 448     }
 449
 450     fn gather_operand(&mut self, operand: &Operand<'tcx>) {
 451         match *operand {
 452             Operand::Constant(..) | Operand::Copy(..) => {} // not-a-move
 453             Operand::Move(place) => {
 454                 // a move
 455                 self.gather_move(place);
 456             }
 457         }
 458     }
 459
 460     fn gather_move(&mut self, place: Place<'tcx>) {
 461         debug!("gather_move({:?}, {:?})", self.loc, place);
 462
 463         if let [ref base @ .., ProjectionElem::Subslice { from, to, from_end: false }] =
 464             **place.projection
 465         {
 466             // Split `Subslice` patterns into the corresponding list of
 467             // `ConstIndex` patterns. This is done to ensure that all move paths
 468             // are disjoint, which is expected by drop elaboration.
 469             let base_place =
 470                 Place { local: place.local, projection: self.builder.tcx.intern_place_elems(base) };
 471             let base_path = match self.move_path_for(base_place) {
 472                 Ok(path) => path,
 473                 Err(MoveError::UnionMove { path }) => {
 474                     self.record_move(place, path);
 475                     return;
 476                 }
 477                 Err(error @ MoveError::IllegalMove { .. }) => {
 478                     self.builder.errors.push((base_place, error));
 479                     return;
 480                 }
 481             };
 482             let base_ty = base_place.ty(self.builder.body, self.builder.tcx).ty;
 483             let len: u64 = match base_ty.kind {
 484                 ty::Array(_, size) => {
 485                     let length = size.eval_usize(self.builder.tcx, self.builder.param_env);
 486                     length
 487                         .try_into()
 488                         .expect("slice pattern of array with more than u32::MAX elements")
 489                 }
 490                 _ => bug!("from_end: false slice pattern of non-array type"),
 491             };
 492             for offset in from..to {
 493                 let elem =
 494                     ProjectionElem::ConstantIndex { offset, min_length: len, from_end: false };
 495                 let path =
 496                     self.add_move_path(base_path, elem, |tcx| tcx.mk_place_elem(base_place, elem));
 497                 self.record_move(place, path);
 498             }
 499         } else {
 500             match self.move_path_for(place) {
 501                 Ok(path) | Err(MoveError::UnionMove { path }) => self.record_move(place, path),
 502                 Err(error @ MoveError::IllegalMove { .. }) => {
 503                     self.builder.errors.push((place, error));
 504                 }
 505             };
 506         }
 507     }
 508
 509     fn record_move(&mut self, place: Place<'tcx>, path: MovePathIndex) {
 510         let move_out = self.builder.data.moves.push(MoveOut { path, source: self.loc });
 511         debug!(
 512             "gather_move({:?}, {:?}): adding move {:?} of {:?}",
 513             self.loc, place, move_out, path
 514         );
 515         self.builder.data.path_map[path].push(move_out);
 516         self.builder.data.loc_map[self.loc].push(move_out);
 517     }
 518
 519     fn gather_init(&mut self, place: PlaceRef<'tcx>, kind: InitKind) {
 520         debug!("gather_init({:?}, {:?})", self.loc, place);
 521
 522         let mut place = place;
 523
 524         // Check if we are assigning into a field of a union, if so, lookup the place
 525         // of the union so it is marked as initialized again.
 526         if let [proj_base @ .., ProjectionElem::Field(_, _)] = place.projection {
 527             if let ty::Adt(def, _) =
 528                 Place::ty_from(place.local, proj_base, self.builder.body, self.builder.tcx).ty.kind
 529             {
 530                 if def.is_union() {
 531                     place = PlaceRef { local: place.local, projection: proj_base }
 532                 }
 533             }
 534         }
 535
 536         if let LookupResult::Exact(path) = self.builder.data.rev_lookup.find(place) {
 537             let init = self.builder.data.inits.push(Init {
 538                 location: InitLocation::Statement(self.loc),
 539                 path,
 540                 kind,
 541             });
 542
 543             debug!(
 544                 "gather_init({:?}, {:?}): adding init {:?} of {:?}",
 545                 self.loc, place, init, path
 546             );
 547
 548             self.builder.data.init_path_map[path].push(init);
 549             self.builder.data.init_loc_map[self.loc].push(init);
 550         }
 551     }
 552 }