compiler/rustc_trait_selection/src/traits/mod.rs

   1 //! Trait Resolution. See the [rustc dev guide] for more information on how this works.
   2 //!
   3 //! [rustc dev guide]: https://rustc-dev-guide.rust-lang.org/traits/resolution.html
   4
   5 pub mod auto_trait;
   6 mod chalk_fulfill;
   7 pub mod codegen;
   8 mod coherence;
   9 pub mod const_evaluatable;
  10 mod engine;
  11 pub mod error_reporting;
  12 mod fulfill;
  13 pub mod misc;
  14 mod object_safety;
  15 pub mod outlives_bounds;
  16 mod project;
  17 pub mod query;
  18 pub(crate) mod relationships;
  19 mod select;
  20 mod specialize;
  21 mod structural_match;
  22 mod util;
  23 pub mod wf;
  24
  25 use crate::errors::DumpVTableEntries;
  26 use crate::infer::outlives::env::OutlivesEnvironment;
  27 use crate::infer::{InferCtxt, TyCtxtInferExt};
  28 use crate::traits::error_reporting::TypeErrCtxtExt as _;
  29 use crate::traits::query::evaluate_obligation::InferCtxtExt as _;
  30 use rustc_errors::ErrorGuaranteed;
  31 use rustc_hir as hir;
  32 use rustc_hir::def_id::DefId;
  33 use rustc_hir::lang_items::LangItem;
  34 use rustc_middle::ty::fold::TypeFoldable;
  35 use rustc_middle::ty::visit::TypeVisitable;
  36 use rustc_middle::ty::{
  37     self, DefIdTree, GenericParamDefKind, ToPredicate, Ty, TyCtxt, TypeSuperVisitable, VtblEntry,
  38 };
  39 use rustc_middle::ty::{InternalSubsts, SubstsRef};
  40 use rustc_span::{sym, Span};
  41 use smallvec::SmallVec;
  42
  43 use std::fmt::Debug;
  44 use std::ops::ControlFlow;
  45
  46 pub use self::FulfillmentErrorCode::*;
  47 pub use self::ImplSource::*;
  48 pub use self::ObligationCauseCode::*;
  49 pub use self::SelectionError::*;
  50
  51 pub use self::coherence::{add_placeholder_note, orphan_check, overlapping_impls};
  52 pub use self::coherence::{OrphanCheckErr, OverlapResult};
  53 pub use self::engine::{ObligationCtxt, TraitEngineExt};
  54 pub use self::fulfill::{FulfillmentContext, PendingPredicateObligation};
  55 pub use self::object_safety::astconv_object_safety_violations;
  56 pub use self::object_safety::is_vtable_safe_method;
  57 pub use self::object_safety::MethodViolationCode;
  58 pub use self::object_safety::ObjectSafetyViolation;
  59 pub(crate) use self::project::{normalize, normalize_to};
  60 pub use self::project::{normalize_projection_type, NormalizeExt};
  61 pub use self::select::{EvaluationCache, SelectionCache, SelectionContext};
  62 pub use self::select::{EvaluationResult, IntercrateAmbiguityCause, OverflowError};
  63 pub use self::specialize::specialization_graph::FutureCompatOverlapError;
  64 pub use self::specialize::specialization_graph::FutureCompatOverlapErrorKind;
  65 pub use self::specialize::{specialization_graph, translate_substs, OverlapError};
  66 pub use self::structural_match::{
  67     search_for_adt_const_param_violation, search_for_structural_match_violation,
  68 };
  69 pub use self::util::{
  70     elaborate_obligations, elaborate_predicates, elaborate_predicates_with_span,
  71     elaborate_trait_ref, elaborate_trait_refs,
  72 };
  73 pub use self::util::{expand_trait_aliases, TraitAliasExpander};
  74 pub use self::util::{
  75     get_vtable_index_of_object_method, impl_item_is_final, predicate_for_trait_def, upcast_choices,
  76 };
  77 pub use self::util::{
  78     supertrait_def_ids, supertraits, transitive_bounds, transitive_bounds_that_define_assoc_type,
  79     SupertraitDefIds, Supertraits,
  80 };
  81
  82 pub use self::chalk_fulfill::FulfillmentContext as ChalkFulfillmentContext;
  83
  84 pub use rustc_infer::traits::*;
  85
  86 /// Whether to skip the leak check, as part of a future compatibility warning step.
  87 ///
  88 /// The "default" for skip-leak-check corresponds to the current
  89 /// behavior (do not skip the leak check) -- not the behavior we are
  90 /// transitioning into.
  91 #[derive(Copy, Clone, PartialEq, Eq, Debug, Default)]
  92 pub enum SkipLeakCheck {
  93     Yes,
  94     #[default]
  95     No,
  96 }
  97
  98 impl SkipLeakCheck {
  99     fn is_yes(self) -> bool {
 100         self == SkipLeakCheck::Yes
 101     }
 102 }
 103
 104 /// The mode that trait queries run in.
 105 #[derive(Copy, Clone, PartialEq, Eq, Debug)]
 106 pub enum TraitQueryMode {
 107     /// Standard/un-canonicalized queries get accurate
 108     /// spans etc. passed in and hence can do reasonable
 109     /// error reporting on their own.
 110     Standard,
 111     /// Canonicalized queries get dummy spans and hence
 112     /// must generally propagate errors to
 113     /// pre-canonicalization callsites.
 114     Canonical,
 115 }
 116
 117 /// Creates predicate obligations from the generic bounds.
 118 #[instrument(level = "debug", skip(cause, param_env))]
 119 pub fn predicates_for_generics<'tcx>(
 120     cause: impl Fn(usize, Span) -> ObligationCause<'tcx>,
 121     param_env: ty::ParamEnv<'tcx>,
 122     generic_bounds: ty::InstantiatedPredicates<'tcx>,
 123 ) -> impl Iterator<Item = PredicateObligation<'tcx>> {
 124     std::iter::zip(generic_bounds.predicates, generic_bounds.spans).enumerate().map(
 125         move |(idx, (predicate, span))| Obligation {
 126             cause: cause(idx, span),
 127             recursion_depth: 0,
 128             param_env,
 129             predicate,
 130         },
 131     )
 132 }
 133
 134 /// Determines whether the type `ty` is known to meet `bound` and
 135 /// returns true if so. Returns false if `ty` either does not meet
 136 /// `bound` or is not known to meet bound (note that this is
 137 /// conservative towards *no impl*, which is the opposite of the
 138 /// `evaluate` methods).
 139 pub fn type_known_to_meet_bound_modulo_regions<'tcx>(
 140     infcx: &InferCtxt<'tcx>,
 141     param_env: ty::ParamEnv<'tcx>,
 142     ty: Ty<'tcx>,
 143     def_id: DefId,
 144     span: Span,
 145 ) -> bool {
 146     let trait_ref = ty::Binder::dummy(infcx.tcx.mk_trait_ref(def_id, [ty]));
 147     pred_known_to_hold_modulo_regions(infcx, param_env, trait_ref.without_const(), span)
 148 }
 149
 150 #[instrument(level = "debug", skip(infcx, param_env, span, pred), ret)]
 151 fn pred_known_to_hold_modulo_regions<'tcx>(
 152     infcx: &InferCtxt<'tcx>,
 153     param_env: ty::ParamEnv<'tcx>,
 154     pred: impl ToPredicate<'tcx, ty::Predicate<'tcx>> + TypeVisitable<'tcx>,
 155     span: Span,
 156 ) -> bool {
 157     let has_non_region_infer = pred.has_non_region_infer();
 158     let obligation = Obligation {
 159         param_env,
 160         // We can use a dummy node-id here because we won't pay any mind
 161         // to region obligations that arise (there shouldn't really be any
 162         // anyhow).
 163         cause: ObligationCause::misc(span, hir::CRATE_HIR_ID),
 164         recursion_depth: 0,
 165         predicate: pred.to_predicate(infcx.tcx),
 166     };
 167
 168     let result = infcx.predicate_must_hold_modulo_regions(&obligation);
 169     debug!(?result);
 170
 171     if result && has_non_region_infer {
 172         // Because of inference "guessing", selection can sometimes claim
 173         // to succeed while the success requires a guess. To ensure
 174         // this function's result remains infallible, we must confirm
 175         // that guess. While imperfect, I believe this is sound.
 176
 177         // FIXME(@lcnr): this function doesn't seem right.
 178         // The handling of regions in this area of the code is terrible,
 179         // see issue #29149. We should be able to improve on this with
 180         // NLL.
 181         let errors = fully_solve_obligation(infcx, obligation);
 182
 183         // Note: we only assume something is `Copy` if we can
 184         // *definitively* show that it implements `Copy`. Otherwise,
 185         // assume it is move; linear is always ok.
 186         match &errors[..] {
 187             [] => true,
 188             errors => {
 189                 debug!(?errors);
 190                 false
 191             }
 192         }
 193     } else {
 194         result
 195     }
 196 }
 197
 198 #[instrument(level = "debug", skip(tcx, elaborated_env))]
 199 fn do_normalize_predicates<'tcx>(
 200     tcx: TyCtxt<'tcx>,
 201     cause: ObligationCause<'tcx>,
 202     elaborated_env: ty::ParamEnv<'tcx>,
 203     predicates: Vec<ty::Predicate<'tcx>>,
 204 ) -> Result<Vec<ty::Predicate<'tcx>>, ErrorGuaranteed> {
 205     let span = cause.span;
 206     // FIXME. We should really... do something with these region
 207     // obligations. But this call just continues the older
 208     // behavior (i.e., doesn't cause any new bugs), and it would
 209     // take some further refactoring to actually solve them. In
 210     // particular, we would have to handle implied bounds
 211     // properly, and that code is currently largely confined to
 212     // regionck (though I made some efforts to extract it
 213     // out). -nmatsakis
 214     //
 215     // @arielby: In any case, these obligations are checked
 216     // by wfcheck anyway, so I'm not sure we have to check
 217     // them here too, and we will remove this function when
 218     // we move over to lazy normalization *anyway*.
 219     let infcx = tcx.infer_ctxt().ignoring_regions().build();
 220     let predicates = match fully_normalize(&infcx, cause, elaborated_env, predicates) {
 221         Ok(predicates) => predicates,
 222         Err(errors) => {
 223             let reported = infcx.err_ctxt().report_fulfillment_errors(&errors, None);
 224             return Err(reported);
 225         }
 226     };
 227
 228     debug!("do_normalize_predictes: normalized predicates = {:?}", predicates);
 229
 230     // We can use the `elaborated_env` here; the region code only
 231     // cares about declarations like `'a: 'b`.
 232     let outlives_env = OutlivesEnvironment::new(elaborated_env);
 233
 234     // FIXME: It's very weird that we ignore region obligations but apparently
 235     // still need to use `resolve_regions` as we need the resolved regions in
 236     // the normalized predicates.
 237     let errors = infcx.resolve_regions(&outlives_env);
 238     if !errors.is_empty() {
 239         tcx.sess.delay_span_bug(
 240             span,
 241             format!("failed region resolution while normalizing {elaborated_env:?}: {errors:?}"),
 242         );
 243     }
 244
 245     match infcx.fully_resolve(predicates) {
 246         Ok(predicates) => Ok(predicates),
 247         Err(fixup_err) => {
 248             // If we encounter a fixup error, it means that some type
 249             // variable wound up unconstrained. I actually don't know
 250             // if this can happen, and I certainly don't expect it to
 251             // happen often, but if it did happen it probably
 252             // represents a legitimate failure due to some kind of
 253             // unconstrained variable.
 254             //
 255             // @lcnr: Let's still ICE here for now. I want a test case
 256             // for that.
 257             span_bug!(
 258                 span,
 259                 "inference variables in normalized parameter environment: {}",
 260                 fixup_err
 261             );
 262         }
 263     }
 264 }
 265
 266 // FIXME: this is gonna need to be removed ...
 267 /// Normalizes the parameter environment, reporting errors if they occur.
 268 #[instrument(level = "debug", skip(tcx))]
 269 pub fn normalize_param_env_or_error<'tcx>(
 270     tcx: TyCtxt<'tcx>,
 271     unnormalized_env: ty::ParamEnv<'tcx>,
 272     cause: ObligationCause<'tcx>,
 273 ) -> ty::ParamEnv<'tcx> {
 274     // I'm not wild about reporting errors here; I'd prefer to
 275     // have the errors get reported at a defined place (e.g.,
 276     // during typeck). Instead I have all parameter
 277     // environments, in effect, going through this function
 278     // and hence potentially reporting errors. This ensures of
 279     // course that we never forget to normalize (the
 280     // alternative seemed like it would involve a lot of
 281     // manual invocations of this fn -- and then we'd have to
 282     // deal with the errors at each of those sites).
 283     //
 284     // In any case, in practice, typeck constructs all the
 285     // parameter environments once for every fn as it goes,
 286     // and errors will get reported then; so outside of type inference we
 287     // can be sure that no errors should occur.
 288     let mut predicates: Vec<_> =
 289         util::elaborate_predicates(tcx, unnormalized_env.caller_bounds().into_iter())
 290             .map(|obligation| obligation.predicate)
 291             .collect();
 292
 293     debug!("normalize_param_env_or_error: elaborated-predicates={:?}", predicates);
 294
 295     let elaborated_env = ty::ParamEnv::new(
 296         tcx.intern_predicates(&predicates),
 297         unnormalized_env.reveal(),
 298         unnormalized_env.constness(),
 299     );
 300
 301     // HACK: we are trying to normalize the param-env inside *itself*. The problem is that
 302     // normalization expects its param-env to be already normalized, which means we have
 303     // a circularity.
 304     //
 305     // The way we handle this is by normalizing the param-env inside an unnormalized version
 306     // of the param-env, which means that if the param-env contains unnormalized projections,
 307     // we'll have some normalization failures. This is unfortunate.
 308     //
 309     // Lazy normalization would basically handle this by treating just the
 310     // normalizing-a-trait-ref-requires-itself cycles as evaluation failures.
 311     //
 312     // Inferred outlives bounds can create a lot of `TypeOutlives` predicates for associated
 313     // types, so to make the situation less bad, we normalize all the predicates *but*
 314     // the `TypeOutlives` predicates first inside the unnormalized parameter environment, and
 315     // then we normalize the `TypeOutlives` bounds inside the normalized parameter environment.
 316     //
 317     // This works fairly well because trait matching  does not actually care about param-env
 318     // TypeOutlives predicates - these are normally used by regionck.
 319     let outlives_predicates: Vec<_> = predicates
 320         .drain_filter(|predicate| {
 321             matches!(
 322                 predicate.kind().skip_binder(),
 323                 ty::PredicateKind::Clause(ty::Clause::TypeOutlives(..))
 324             )
 325         })
 326         .collect();
 327
 328     debug!(
 329         "normalize_param_env_or_error: predicates=(non-outlives={:?}, outlives={:?})",
 330         predicates, outlives_predicates
 331     );
 332     let Ok(non_outlives_predicates) = do_normalize_predicates(
 333         tcx,
 334         cause.clone(),
 335         elaborated_env,
 336         predicates,
 337     ) else {
 338         // An unnormalized env is better than nothing.
 339         debug!("normalize_param_env_or_error: errored resolving non-outlives predicates");
 340         return elaborated_env;
 341     };
 342
 343     debug!("normalize_param_env_or_error: non-outlives predicates={:?}", non_outlives_predicates);
 344
 345     // Not sure whether it is better to include the unnormalized TypeOutlives predicates
 346     // here. I believe they should not matter, because we are ignoring TypeOutlives param-env
 347     // predicates here anyway. Keeping them here anyway because it seems safer.
 348     let outlives_env: Vec<_> =
 349         non_outlives_predicates.iter().chain(&outlives_predicates).cloned().collect();
 350     let outlives_env = ty::ParamEnv::new(
 351         tcx.intern_predicates(&outlives_env),
 352         unnormalized_env.reveal(),
 353         unnormalized_env.constness(),
 354     );
 355     let Ok(outlives_predicates) = do_normalize_predicates(
 356         tcx,
 357         cause,
 358         outlives_env,
 359         outlives_predicates,
 360     ) else {
 361         // An unnormalized env is better than nothing.
 362         debug!("normalize_param_env_or_error: errored resolving outlives predicates");
 363         return elaborated_env;
 364     };
 365     debug!("normalize_param_env_or_error: outlives predicates={:?}", outlives_predicates);
 366
 367     let mut predicates = non_outlives_predicates;
 368     predicates.extend(outlives_predicates);
 369     debug!("normalize_param_env_or_error: final predicates={:?}", predicates);
 370     ty::ParamEnv::new(
 371         tcx.intern_predicates(&predicates),
 372         unnormalized_env.reveal(),
 373         unnormalized_env.constness(),
 374     )
 375 }
 376
 377 /// Normalize a type and process all resulting obligations, returning any errors
 378 #[instrument(skip_all)]
 379 pub fn fully_normalize<'tcx, T>(
 380     infcx: &InferCtxt<'tcx>,
 381     cause: ObligationCause<'tcx>,
 382     param_env: ty::ParamEnv<'tcx>,
 383     value: T,
 384 ) -> Result<T, Vec<FulfillmentError<'tcx>>>
 385 where
 386     T: TypeFoldable<'tcx>,
 387 {
 388     let ocx = ObligationCtxt::new(infcx);
 389     debug!(?value);
 390     let normalized_value = ocx.normalize(&cause, param_env, value);
 391     debug!(?normalized_value);
 392     debug!("select_all_or_error start");
 393     let errors = ocx.select_all_or_error();
 394     if !errors.is_empty() {
 395         return Err(errors);
 396     }
 397     debug!("select_all_or_error complete");
 398     let resolved_value = infcx.resolve_vars_if_possible(normalized_value);
 399     debug!(?resolved_value);
 400     Ok(resolved_value)
 401 }
 402
 403 /// Process an obligation (and any nested obligations that come from it) to
 404 /// completion, returning any errors
 405 pub fn fully_solve_obligation<'tcx>(
 406     infcx: &InferCtxt<'tcx>,
 407     obligation: PredicateObligation<'tcx>,
 408 ) -> Vec<FulfillmentError<'tcx>> {
 409     fully_solve_obligations(infcx, [obligation])
 410 }
 411
 412 /// Process a set of obligations (and any nested obligations that come from them)
 413 /// to completion
 414 pub fn fully_solve_obligations<'tcx>(
 415     infcx: &InferCtxt<'tcx>,
 416     obligations: impl IntoIterator<Item = PredicateObligation<'tcx>>,
 417 ) -> Vec<FulfillmentError<'tcx>> {
 418     let ocx = ObligationCtxt::new(infcx);
 419     ocx.register_obligations(obligations);
 420     ocx.select_all_or_error()
 421 }
 422
 423 /// Process a bound (and any nested obligations that come from it) to completion.
 424 /// This is a convenience function for traits that have no generic arguments, such
 425 /// as auto traits, and builtin traits like Copy or Sized.
 426 pub fn fully_solve_bound<'tcx>(
 427     infcx: &InferCtxt<'tcx>,
 428     cause: ObligationCause<'tcx>,
 429     param_env: ty::ParamEnv<'tcx>,
 430     ty: Ty<'tcx>,
 431     bound: DefId,
 432 ) -> Vec<FulfillmentError<'tcx>> {
 433     let tcx = infcx.tcx;
 434     let trait_ref = ty::TraitRef { def_id: bound, substs: tcx.mk_substs_trait(ty, []) };
 435     let obligation = Obligation {
 436         cause,
 437         recursion_depth: 0,
 438         param_env,
 439         predicate: ty::Binder::dummy(trait_ref).without_const().to_predicate(tcx),
 440     };
 441
 442     fully_solve_obligation(infcx, obligation)
 443 }
 444
 445 /// Normalizes the predicates and checks whether they hold in an empty environment. If this
 446 /// returns true, then either normalize encountered an error or one of the predicates did not
 447 /// hold. Used when creating vtables to check for unsatisfiable methods.
 448 pub fn impossible_predicates<'tcx>(
 449     tcx: TyCtxt<'tcx>,
 450     predicates: Vec<ty::Predicate<'tcx>>,
 451 ) -> bool {
 452     debug!("impossible_predicates(predicates={:?})", predicates);
 453
 454     let infcx = tcx.infer_ctxt().build();
 455     let param_env = ty::ParamEnv::reveal_all();
 456     let ocx = ObligationCtxt::new(&infcx);
 457     let predicates = ocx.normalize(&ObligationCause::dummy(), param_env, predicates);
 458     for predicate in predicates {
 459         let obligation = Obligation::new(tcx, ObligationCause::dummy(), param_env, predicate);
 460         ocx.register_obligation(obligation);
 461     }
 462     let errors = ocx.select_all_or_error();
 463
 464     // Clean up after ourselves
 465     let _ = infcx.inner.borrow_mut().opaque_type_storage.take_opaque_types();
 466
 467     let result = !errors.is_empty();
 468     debug!("impossible_predicates = {:?}", result);
 469     result
 470 }
 471
 472 fn subst_and_check_impossible_predicates<'tcx>(
 473     tcx: TyCtxt<'tcx>,
 474     key: (DefId, SubstsRef<'tcx>),
 475 ) -> bool {
 476     debug!("subst_and_check_impossible_predicates(key={:?})", key);
 477
 478     let mut predicates = tcx.predicates_of(key.0).instantiate(tcx, key.1).predicates;
 479
 480     // Specifically check trait fulfillment to avoid an error when trying to resolve
 481     // associated items.
 482     if let Some(trait_def_id) = tcx.trait_of_item(key.0) {
 483         let trait_ref = ty::TraitRef::from_method(tcx, trait_def_id, key.1);
 484         predicates.push(ty::Binder::dummy(trait_ref).to_predicate(tcx));
 485     }
 486
 487     predicates.retain(|predicate| !predicate.needs_subst());
 488     let result = impossible_predicates(tcx, predicates);
 489
 490     debug!("subst_and_check_impossible_predicates(key={:?}) = {:?}", key, result);
 491     result
 492 }
 493
 494 /// Checks whether a trait's method is impossible to call on a given impl.
 495 ///
 496 /// This only considers predicates that reference the impl's generics, and not
 497 /// those that reference the method's generics.
 498 fn is_impossible_method<'tcx>(
 499     tcx: TyCtxt<'tcx>,
 500     (impl_def_id, trait_item_def_id): (DefId, DefId),
 501 ) -> bool {
 502     struct ReferencesOnlyParentGenerics<'tcx> {
 503         tcx: TyCtxt<'tcx>,
 504         generics: &'tcx ty::Generics,
 505         trait_item_def_id: DefId,
 506     }
 507     impl<'tcx> ty::TypeVisitor<'tcx> for ReferencesOnlyParentGenerics<'tcx> {
 508         type BreakTy = ();
 509         fn visit_ty(&mut self, t: Ty<'tcx>) -> ControlFlow<Self::BreakTy> {
 510             // If this is a parameter from the trait item's own generics, then bail
 511             if let ty::Param(param) = t.kind()
 512                 && let param_def_id = self.generics.type_param(param, self.tcx).def_id
 513                 && self.tcx.parent(param_def_id) == self.trait_item_def_id
 514             {
 515                 return ControlFlow::BREAK;
 516             }
 517             t.super_visit_with(self)
 518         }
 519         fn visit_region(&mut self, r: ty::Region<'tcx>) -> ControlFlow<Self::BreakTy> {
 520             if let ty::ReEarlyBound(param) = r.kind()
 521                 && let param_def_id = self.generics.region_param(&param, self.tcx).def_id
 522                 && self.tcx.parent(param_def_id) == self.trait_item_def_id
 523             {
 524                 return ControlFlow::BREAK;
 525             }
 526             r.super_visit_with(self)
 527         }
 528         fn visit_const(&mut self, ct: ty::Const<'tcx>) -> ControlFlow<Self::BreakTy> {
 529             if let ty::ConstKind::Param(param) = ct.kind()
 530                 && let param_def_id = self.generics.const_param(&param, self.tcx).def_id
 531                 && self.tcx.parent(param_def_id) == self.trait_item_def_id
 532             {
 533                 return ControlFlow::BREAK;
 534             }
 535             ct.super_visit_with(self)
 536         }
 537     }
 538
 539     let generics = tcx.generics_of(trait_item_def_id);
 540     let predicates = tcx.predicates_of(trait_item_def_id);
 541     let impl_trait_ref =
 542         tcx.impl_trait_ref(impl_def_id).expect("expected impl to correspond to trait");
 543     let param_env = tcx.param_env(impl_def_id);
 544
 545     let mut visitor = ReferencesOnlyParentGenerics { tcx, generics, trait_item_def_id };
 546     let predicates_for_trait = predicates.predicates.iter().filter_map(|(pred, span)| {
 547         if pred.visit_with(&mut visitor).is_continue() {
 548             Some(Obligation::new(
 549                 tcx,
 550                 ObligationCause::dummy_with_span(*span),
 551                 param_env,
 552                 ty::EarlyBinder(*pred).subst(tcx, impl_trait_ref.substs),
 553             ))
 554         } else {
 555             None
 556         }
 557     });
 558
 559     let infcx = tcx.infer_ctxt().ignoring_regions().build();
 560     for obligation in predicates_for_trait {
 561         // Ignore overflow error, to be conservative.
 562         if let Ok(result) = infcx.evaluate_obligation(&obligation)
 563             && !result.may_apply()
 564         {
 565             return true;
 566         }
 567     }
 568     false
 569 }
 570
 571 #[derive(Clone, Debug)]
 572 enum VtblSegment<'tcx> {
 573     MetadataDSA,
 574     TraitOwnEntries { trait_ref: ty::PolyTraitRef<'tcx>, emit_vptr: bool },
 575 }
 576
 577 /// Prepare the segments for a vtable
 578 fn prepare_vtable_segments<'tcx, T>(
 579     tcx: TyCtxt<'tcx>,
 580     trait_ref: ty::PolyTraitRef<'tcx>,
 581     mut segment_visitor: impl FnMut(VtblSegment<'tcx>) -> ControlFlow<T>,
 582 ) -> Option<T> {
 583     // The following constraints holds for the final arrangement.
 584     // 1. The whole virtual table of the first direct super trait is included as the
 585     //    the prefix. If this trait doesn't have any super traits, then this step
 586     //    consists of the dsa metadata.
 587     // 2. Then comes the proper pointer metadata(vptr) and all own methods for all
 588     //    other super traits except those already included as part of the first
 589     //    direct super trait virtual table.
 590     // 3. finally, the own methods of this trait.
 591
 592     // This has the advantage that trait upcasting to the first direct super trait on each level
 593     // is zero cost, and to another trait includes only replacing the pointer with one level indirection,
 594     // while not using too much extra memory.
 595
 596     // For a single inheritance relationship like this,
 597     //   D --> C --> B --> A
 598     // The resulting vtable will consists of these segments:
 599     //  DSA, A, B, C, D
 600
 601     // For a multiple inheritance relationship like this,
 602     //   D --> C --> A
 603     //           \-> B
 604     // The resulting vtable will consists of these segments:
 605     //  DSA, A, B, B-vptr, C, D
 606
 607     // For a diamond inheritance relationship like this,
 608     //   D --> B --> A
 609     //     \-> C -/
 610     // The resulting vtable will consists of these segments:
 611     //  DSA, A, B, C, C-vptr, D
 612
 613     // For a more complex inheritance relationship like this:
 614     //   O --> G --> C --> A
 615     //     \     \     \-> B
 616     //     |     |-> F --> D
 617     //     |           \-> E
 618     //     |-> N --> J --> H
 619     //           \     \-> I
 620     //           |-> M --> K
 621     //                 \-> L
 622     // The resulting vtable will consists of these segments:
 623     //  DSA, A, B, B-vptr, C, D, D-vptr, E, E-vptr, F, F-vptr, G,
 624     //  H, H-vptr, I, I-vptr, J, J-vptr, K, K-vptr, L, L-vptr, M, M-vptr,
 625     //  N, N-vptr, O
 626
 627     // emit dsa segment first.
 628     if let ControlFlow::Break(v) = (segment_visitor)(VtblSegment::MetadataDSA) {
 629         return Some(v);
 630     }
 631
 632     let mut emit_vptr_on_new_entry = false;
 633     let mut visited = util::PredicateSet::new(tcx);
 634     let predicate = trait_ref.without_const().to_predicate(tcx);
 635     let mut stack: SmallVec<[(ty::PolyTraitRef<'tcx>, _, _); 5]> =
 636         smallvec![(trait_ref, emit_vptr_on_new_entry, None)];
 637     visited.insert(predicate);
 638
 639     // the main traversal loop:
 640     // basically we want to cut the inheritance directed graph into a few non-overlapping slices of nodes
 641     // that each node is emitted after all its descendents have been emitted.
 642     // so we convert the directed graph into a tree by skipping all previously visited nodes using a visited set.
 643     // this is done on the fly.
 644     // Each loop run emits a slice - it starts by find a "childless" unvisited node, backtracking upwards, and it
 645     // stops after it finds a node that has a next-sibling node.
 646     // This next-sibling node will used as the starting point of next slice.
 647
 648     // Example:
 649     // For a diamond inheritance relationship like this,
 650     //   D#1 --> B#0 --> A#0
 651     //     \-> C#1 -/
 652
 653     // Starting point 0 stack [D]
 654     // Loop run #0: Stack after diving in is [D B A], A is "childless"
 655     // after this point, all newly visited nodes won't have a vtable that equals to a prefix of this one.
 656     // Loop run #0: Emitting the slice [B A] (in reverse order), B has a next-sibling node, so this slice stops here.
 657     // Loop run #0: Stack after exiting out is [D C], C is the next starting point.
 658     // Loop run #1: Stack after diving in is [D C], C is "childless", since its child A is skipped(already emitted).
 659     // Loop run #1: Emitting the slice [D C] (in reverse order). No one has a next-sibling node.
 660     // Loop run #1: Stack after exiting out is []. Now the function exits.
 661
 662     loop {
 663         // dive deeper into the stack, recording the path
 664         'diving_in: loop {
 665             if let Some((inner_most_trait_ref, _, _)) = stack.last() {
 666                 let inner_most_trait_ref = *inner_most_trait_ref;
 667                 let mut direct_super_traits_iter = tcx
 668                     .super_predicates_of(inner_most_trait_ref.def_id())
 669                     .predicates
 670                     .into_iter()
 671                     .filter_map(move |(pred, _)| {
 672                         pred.subst_supertrait(tcx, &inner_most_trait_ref).to_opt_poly_trait_pred()
 673                     });
 674
 675                 'diving_in_skip_visited_traits: loop {
 676                     if let Some(next_super_trait) = direct_super_traits_iter.next() {
 677                         if visited.insert(next_super_trait.to_predicate(tcx)) {
 678                             // We're throwing away potential constness of super traits here.
 679                             // FIXME: handle ~const super traits
 680                             let next_super_trait = next_super_trait.map_bound(|t| t.trait_ref);
 681                             stack.push((
 682                                 next_super_trait,
 683                                 emit_vptr_on_new_entry,
 684                                 Some(direct_super_traits_iter),
 685                             ));
 686                             break 'diving_in_skip_visited_traits;
 687                         } else {
 688                             continue 'diving_in_skip_visited_traits;
 689                         }
 690                     } else {
 691                         break 'diving_in;
 692                     }
 693                 }
 694             }
 695         }
 696
 697         // Other than the left-most path, vptr should be emitted for each trait.
 698         emit_vptr_on_new_entry = true;
 699
 700         // emit innermost item, move to next sibling and stop there if possible, otherwise jump to outer level.
 701         'exiting_out: loop {
 702             if let Some((inner_most_trait_ref, emit_vptr, siblings_opt)) = stack.last_mut() {
 703                 if let ControlFlow::Break(v) = (segment_visitor)(VtblSegment::TraitOwnEntries {
 704                     trait_ref: *inner_most_trait_ref,
 705                     emit_vptr: *emit_vptr,
 706                 }) {
 707                     return Some(v);
 708                 }
 709
 710                 'exiting_out_skip_visited_traits: loop {
 711                     if let Some(siblings) = siblings_opt {
 712                         if let Some(next_inner_most_trait_ref) = siblings.next() {
 713                             if visited.insert(next_inner_most_trait_ref.to_predicate(tcx)) {
 714                                 // We're throwing away potential constness of super traits here.
 715                                 // FIXME: handle ~const super traits
 716                                 let next_inner_most_trait_ref =
 717                                     next_inner_most_trait_ref.map_bound(|t| t.trait_ref);
 718                                 *inner_most_trait_ref = next_inner_most_trait_ref;
 719                                 *emit_vptr = emit_vptr_on_new_entry;
 720                                 break 'exiting_out;
 721                             } else {
 722                                 continue 'exiting_out_skip_visited_traits;
 723                             }
 724                         }
 725                     }
 726                     stack.pop();
 727                     continue 'exiting_out;
 728                 }
 729             }
 730             // all done
 731             return None;
 732         }
 733     }
 734 }
 735
 736 fn dump_vtable_entries<'tcx>(
 737     tcx: TyCtxt<'tcx>,
 738     sp: Span,
 739     trait_ref: ty::PolyTraitRef<'tcx>,
 740     entries: &[VtblEntry<'tcx>],
 741 ) {
 742     tcx.sess.emit_err(DumpVTableEntries {
 743         span: sp,
 744         trait_ref,
 745         entries: format!("{:#?}", entries),
 746     });
 747 }
 748
 749 fn own_existential_vtable_entries<'tcx>(tcx: TyCtxt<'tcx>, trait_def_id: DefId) -> &'tcx [DefId] {
 750     let trait_methods = tcx
 751         .associated_items(trait_def_id)
 752         .in_definition_order()
 753         .filter(|item| item.kind == ty::AssocKind::Fn);
 754     // Now list each method's DefId (for within its trait).
 755     let own_entries = trait_methods.filter_map(move |trait_method| {
 756         debug!("own_existential_vtable_entry: trait_method={:?}", trait_method);
 757         let def_id = trait_method.def_id;
 758
 759         // Some methods cannot be called on an object; skip those.
 760         if !is_vtable_safe_method(tcx, trait_def_id, &trait_method) {
 761             debug!("own_existential_vtable_entry: not vtable safe");
 762             return None;
 763         }
 764
 765         Some(def_id)
 766     });
 767
 768     tcx.arena.alloc_from_iter(own_entries.into_iter())
 769 }
 770
 771 /// Given a trait `trait_ref`, iterates the vtable entries
 772 /// that come from `trait_ref`, including its supertraits.
 773 fn vtable_entries<'tcx>(
 774     tcx: TyCtxt<'tcx>,
 775     trait_ref: ty::PolyTraitRef<'tcx>,
 776 ) -> &'tcx [VtblEntry<'tcx>] {
 777     debug!("vtable_entries({:?})", trait_ref);
 778
 779     let mut entries = vec![];
 780
 781     let vtable_segment_callback = |segment| -> ControlFlow<()> {
 782         match segment {
 783             VtblSegment::MetadataDSA => {
 784                 entries.extend(TyCtxt::COMMON_VTABLE_ENTRIES);
 785             }
 786             VtblSegment::TraitOwnEntries { trait_ref, emit_vptr } => {
 787                 let existential_trait_ref = trait_ref
 788                     .map_bound(|trait_ref| ty::ExistentialTraitRef::erase_self_ty(tcx, trait_ref));
 789
 790                 // Lookup the shape of vtable for the trait.
 791                 let own_existential_entries =
 792                     tcx.own_existential_vtable_entries(existential_trait_ref.def_id());
 793
 794                 let own_entries = own_existential_entries.iter().copied().map(|def_id| {
 795                     debug!("vtable_entries: trait_method={:?}", def_id);
 796
 797                     // The method may have some early-bound lifetimes; add regions for those.
 798                     let substs = trait_ref.map_bound(|trait_ref| {
 799                         InternalSubsts::for_item(tcx, def_id, |param, _| match param.kind {
 800                             GenericParamDefKind::Lifetime => tcx.lifetimes.re_erased.into(),
 801                             GenericParamDefKind::Type { .. }
 802                             | GenericParamDefKind::Const { .. } => {
 803                                 trait_ref.substs[param.index as usize]
 804                             }
 805                         })
 806                     });
 807
 808                     // The trait type may have higher-ranked lifetimes in it;
 809                     // erase them if they appear, so that we get the type
 810                     // at some particular call site.
 811                     let substs = tcx
 812                         .normalize_erasing_late_bound_regions(ty::ParamEnv::reveal_all(), substs);
 813
 814                     // It's possible that the method relies on where-clauses that
 815                     // do not hold for this particular set of type parameters.
 816                     // Note that this method could then never be called, so we
 817                     // do not want to try and codegen it, in that case (see #23435).
 818                     let predicates = tcx.predicates_of(def_id).instantiate_own(tcx, substs);
 819                     if impossible_predicates(tcx, predicates.predicates) {
 820                         debug!("vtable_entries: predicates do not hold");
 821                         return VtblEntry::Vacant;
 822                     }
 823
 824                     let instance = ty::Instance::resolve_for_vtable(
 825                         tcx,
 826                         ty::ParamEnv::reveal_all(),
 827                         def_id,
 828                         substs,
 829                     )
 830                     .expect("resolution failed during building vtable representation");
 831                     VtblEntry::Method(instance)
 832                 });
 833
 834                 entries.extend(own_entries);
 835
 836                 if emit_vptr {
 837                     entries.push(VtblEntry::TraitVPtr(trait_ref));
 838                 }
 839             }
 840         }
 841
 842         ControlFlow::Continue(())
 843     };
 844
 845     let _ = prepare_vtable_segments(tcx, trait_ref, vtable_segment_callback);
 846
 847     if tcx.has_attr(trait_ref.def_id(), sym::rustc_dump_vtable) {
 848         let sp = tcx.def_span(trait_ref.def_id());
 849         dump_vtable_entries(tcx, sp, trait_ref, &entries);
 850     }
 851
 852     tcx.arena.alloc_from_iter(entries.into_iter())
 853 }
 854
 855 /// Find slot base for trait methods within vtable entries of another trait
 856 fn vtable_trait_first_method_offset<'tcx>(
 857     tcx: TyCtxt<'tcx>,
 858     key: (
 859         ty::PolyTraitRef<'tcx>, // trait_to_be_found
 860         ty::PolyTraitRef<'tcx>, // trait_owning_vtable
 861     ),
 862 ) -> usize {
 863     let (trait_to_be_found, trait_owning_vtable) = key;
 864
 865     // #90177
 866     let trait_to_be_found_erased = tcx.erase_regions(trait_to_be_found);
 867
 868     let vtable_segment_callback = {
 869         let mut vtable_base = 0;
 870
 871         move |segment| {
 872             match segment {
 873                 VtblSegment::MetadataDSA => {
 874                     vtable_base += TyCtxt::COMMON_VTABLE_ENTRIES.len();
 875                 }
 876                 VtblSegment::TraitOwnEntries { trait_ref, emit_vptr } => {
 877                     if tcx.erase_regions(trait_ref) == trait_to_be_found_erased {
 878                         return ControlFlow::Break(vtable_base);
 879                     }
 880                     vtable_base += util::count_own_vtable_entries(tcx, trait_ref);
 881                     if emit_vptr {
 882                         vtable_base += 1;
 883                     }
 884                 }
 885             }
 886             ControlFlow::Continue(())
 887         }
 888     };
 889
 890     if let Some(vtable_base) =
 891         prepare_vtable_segments(tcx, trait_owning_vtable, vtable_segment_callback)
 892     {
 893         vtable_base
 894     } else {
 895         bug!("Failed to find info for expected trait in vtable");
 896     }
 897 }
 898
 899 /// Find slot offset for trait vptr within vtable entries of another trait
 900 pub fn vtable_trait_upcasting_coercion_new_vptr_slot<'tcx>(
 901     tcx: TyCtxt<'tcx>,
 902     key: (
 903         Ty<'tcx>, // trait object type whose trait owning vtable
 904         Ty<'tcx>, // trait object for supertrait
 905     ),
 906 ) -> Option<usize> {
 907     let (source, target) = key;
 908     assert!(matches!(&source.kind(), &ty::Dynamic(..)) && !source.needs_infer());
 909     assert!(matches!(&target.kind(), &ty::Dynamic(..)) && !target.needs_infer());
 910
 911     // this has been typecked-before, so diagnostics is not really needed.
 912     let unsize_trait_did = tcx.require_lang_item(LangItem::Unsize, None);
 913
 914     let trait_ref = tcx.mk_trait_ref(unsize_trait_did, [source, target]);
 915
 916     match tcx.codegen_select_candidate((ty::ParamEnv::reveal_all(), ty::Binder::dummy(trait_ref))) {
 917         Ok(ImplSource::TraitUpcasting(implsrc_traitcasting)) => {
 918             implsrc_traitcasting.vtable_vptr_slot
 919         }
 920         otherwise => bug!("expected TraitUpcasting candidate, got {otherwise:?}"),
 921     }
 922 }
 923
 924 pub fn provide(providers: &mut ty::query::Providers) {
 925     object_safety::provide(providers);
 926     structural_match::provide(providers);
 927     *providers = ty::query::Providers {
 928         specialization_graph_of: specialize::specialization_graph_provider,
 929         specializes: specialize::specializes,
 930         codegen_select_candidate: codegen::codegen_select_candidate,
 931         own_existential_vtable_entries,
 932         vtable_entries,
 933         vtable_trait_upcasting_coercion_new_vptr_slot,
 934         subst_and_check_impossible_predicates,
 935         is_impossible_method,
 936         ..*providers
 937     };
 938 }