compiler/rustc_expand/src/config.rs

   1 //! Conditional compilation stripping.
   2
   3 use crate::errors::{
   4     FeatureIncludedInEdition, FeatureNotAllowed, FeatureRemoved, FeatureRemovedReason, InvalidCfg,
   5     MalformedFeatureAttribute, MalformedFeatureAttributeHelp, RemoveExprNotSupported,
   6 };
   7 use rustc_ast::ptr::P;
   8 use rustc_ast::token::{Delimiter, Token, TokenKind};
   9 use rustc_ast::tokenstream::{AttrTokenStream, AttrTokenTree};
  10 use rustc_ast::tokenstream::{DelimSpan, Spacing};
  11 use rustc_ast::tokenstream::{LazyAttrTokenStream, TokenTree};
  12 use rustc_ast::NodeId;
  13 use rustc_ast::{self as ast, AttrStyle, Attribute, HasAttrs, HasTokens, MetaItem};
  14 use rustc_attr as attr;
  15 use rustc_data_structures::fx::FxHashMap;
  16 use rustc_data_structures::map_in_place::MapInPlace;
  17 use rustc_feature::{Feature, Features, State as FeatureState};
  18 use rustc_feature::{
  19     ACCEPTED_FEATURES, ACTIVE_FEATURES, REMOVED_FEATURES, STABLE_REMOVED_FEATURES,
  20 };
  21 use rustc_parse::validate_attr;
  22 use rustc_session::parse::feature_err;
  23 use rustc_session::Session;
  24 use rustc_span::edition::{Edition, ALL_EDITIONS};
  25 use rustc_span::symbol::{sym, Symbol};
  26 use rustc_span::{Span, DUMMY_SP};
  27
  28 /// A folder that strips out items that do not belong in the current configuration.
  29 pub struct StripUnconfigured<'a> {
  30     pub sess: &'a Session,
  31     pub features: Option<&'a Features>,
  32     /// If `true`, perform cfg-stripping on attached tokens.
  33     /// This is only used for the input to derive macros,
  34     /// which needs eager expansion of `cfg` and `cfg_attr`
  35     pub config_tokens: bool,
  36     pub lint_node_id: NodeId,
  37 }
  38
  39 fn get_features(sess: &Session, krate_attrs: &[ast::Attribute]) -> Features {
  40     fn feature_removed(sess: &Session, span: Span, reason: Option<&str>) {
  41         sess.emit_err(FeatureRemoved {
  42             span,
  43             reason: reason.map(|reason| FeatureRemovedReason { reason }),
  44         });
  45     }
  46
  47     fn active_features_up_to(edition: Edition) -> impl Iterator<Item = &'static Feature> {
  48         ACTIVE_FEATURES.iter().filter(move |feature| {
  49             if let Some(feature_edition) = feature.edition {
  50                 feature_edition <= edition
  51             } else {
  52                 false
  53             }
  54         })
  55     }
  56
  57     let mut features = Features::default();
  58     let mut edition_enabled_features = FxHashMap::default();
  59     let crate_edition = sess.edition();
  60
  61     for &edition in ALL_EDITIONS {
  62         if edition <= crate_edition {
  63             // The `crate_edition` implies its respective umbrella feature-gate
  64             // (i.e., `#![feature(rust_20XX_preview)]` isn't needed on edition 20XX).
  65             edition_enabled_features.insert(edition.feature_name(), edition);
  66         }
  67     }
  68
  69     for feature in active_features_up_to(crate_edition) {
  70         feature.set(&mut features, DUMMY_SP);
  71         edition_enabled_features.insert(feature.name, crate_edition);
  72     }
  73
  74     // Process the edition umbrella feature-gates first, to ensure
  75     // `edition_enabled_features` is completed before it's queried.
  76     for attr in krate_attrs {
  77         if !attr.has_name(sym::feature) {
  78             continue;
  79         }
  80
  81         let Some(list) = attr.meta_item_list() else {
  82             continue;
  83         };
  84
  85         for mi in list {
  86             if !mi.is_word() {
  87                 continue;
  88             }
  89
  90             let name = mi.name_or_empty();
  91
  92             let edition = ALL_EDITIONS.iter().find(|e| name == e.feature_name()).copied();
  93             if let Some(edition) = edition {
  94                 if edition <= crate_edition {
  95                     continue;
  96                 }
  97
  98                 for feature in active_features_up_to(edition) {
  99                     // FIXME(Manishearth) there is currently no way to set
 100                     // lib features by edition
 101                     feature.set(&mut features, DUMMY_SP);
 102                     edition_enabled_features.insert(feature.name, edition);
 103                 }
 104             }
 105         }
 106     }
 107
 108     for attr in krate_attrs {
 109         if !attr.has_name(sym::feature) {
 110             continue;
 111         }
 112
 113         let Some(list) = attr.meta_item_list() else {
 114             continue;
 115         };
 116
 117         for mi in list {
 118             let name = match mi.ident() {
 119                 Some(ident) if mi.is_word() => ident.name,
 120                 Some(ident) => {
 121                     sess.emit_err(MalformedFeatureAttribute {
 122                         span: mi.span(),
 123                         help: MalformedFeatureAttributeHelp::Suggestion {
 124                             span: mi.span(),
 125                             suggestion: ident.name,
 126                         },
 127                     });
 128                     continue;
 129                 }
 130                 None => {
 131                     sess.emit_err(MalformedFeatureAttribute {
 132                         span: mi.span(),
 133                         help: MalformedFeatureAttributeHelp::Label { span: mi.span() },
 134                     });
 135                     continue;
 136                 }
 137             };
 138
 139             if let Some(&edition) = edition_enabled_features.get(&name) {
 140                 sess.emit_warning(FeatureIncludedInEdition {
 141                     span: mi.span(),
 142                     feature: name,
 143                     edition,
 144                 });
 145                 continue;
 146             }
 147
 148             if ALL_EDITIONS.iter().any(|e| name == e.feature_name()) {
 149                 // Handled in the separate loop above.
 150                 continue;
 151             }
 152
 153             let removed = REMOVED_FEATURES.iter().find(|f| name == f.name);
 154             let stable_removed = STABLE_REMOVED_FEATURES.iter().find(|f| name == f.name);
 155             if let Some(Feature { state, .. }) = removed.or(stable_removed) {
 156                 if let FeatureState::Removed { reason } | FeatureState::Stabilized { reason } =
 157                     state
 158                 {
 159                     feature_removed(sess, mi.span(), *reason);
 160                     continue;
 161                 }
 162             }
 163
 164             if let Some(Feature { since, .. }) = ACCEPTED_FEATURES.iter().find(|f| name == f.name) {
 165                 let since = Some(Symbol::intern(since));
 166                 features.declared_lang_features.push((name, mi.span(), since));
 167                 features.active_features.insert(name);
 168                 continue;
 169             }
 170
 171             if let Some(allowed) = sess.opts.unstable_opts.allow_features.as_ref() {
 172                 if allowed.iter().all(|f| name.as_str() != f) {
 173                     sess.emit_err(FeatureNotAllowed { span: mi.span(), name });
 174                     continue;
 175                 }
 176             }
 177
 178             if let Some(f) = ACTIVE_FEATURES.iter().find(|f| name == f.name) {
 179                 f.set(&mut features, mi.span());
 180                 features.declared_lang_features.push((name, mi.span(), None));
 181                 features.active_features.insert(name);
 182                 continue;
 183             }
 184
 185             features.declared_lib_features.push((name, mi.span()));
 186             features.active_features.insert(name);
 187         }
 188     }
 189
 190     features
 191 }
 192
 193 /// `cfg_attr`-process the crate's attributes and compute the crate's features.
 194 pub fn features(
 195     sess: &Session,
 196     mut krate: ast::Crate,
 197     lint_node_id: NodeId,
 198 ) -> (ast::Crate, Features) {
 199     let mut strip_unconfigured =
 200         StripUnconfigured { sess, features: None, config_tokens: false, lint_node_id };
 201
 202     let unconfigured_attrs = krate.attrs.clone();
 203     let diag = &sess.parse_sess.span_diagnostic;
 204     let err_count = diag.err_count();
 205     let features = match strip_unconfigured.configure_krate_attrs(krate.attrs) {
 206         None => {
 207             // The entire crate is unconfigured.
 208             krate.attrs = ast::AttrVec::new();
 209             krate.items = Vec::new();
 210             Features::default()
 211         }
 212         Some(attrs) => {
 213             krate.attrs = attrs;
 214             let features = get_features(sess, &krate.attrs);
 215             if err_count == diag.err_count() {
 216                 // Avoid reconfiguring malformed `cfg_attr`s.
 217                 strip_unconfigured.features = Some(&features);
 218                 // Run configuration again, this time with features available
 219                 // so that we can perform feature-gating.
 220                 strip_unconfigured.configure_krate_attrs(unconfigured_attrs);
 221             }
 222             features
 223         }
 224     };
 225     (krate, features)
 226 }
 227
 228 #[macro_export]
 229 macro_rules! configure {
 230     ($this:ident, $node:ident) => {
 231         match $this.configure($node) {
 232             Some(node) => node,
 233             None => return Default::default(),
 234         }
 235     };
 236 }
 237
 238 impl<'a> StripUnconfigured<'a> {
 239     pub fn configure<T: HasAttrs + HasTokens>(&self, mut node: T) -> Option<T> {
 240         self.process_cfg_attrs(&mut node);
 241         if self.in_cfg(node.attrs()) {
 242             self.try_configure_tokens(&mut node);
 243             Some(node)
 244         } else {
 245             None
 246         }
 247     }
 248
 249     fn try_configure_tokens<T: HasTokens>(&self, node: &mut T) {
 250         if self.config_tokens {
 251             if let Some(Some(tokens)) = node.tokens_mut() {
 252                 let attr_stream = tokens.to_attr_token_stream();
 253                 *tokens = LazyAttrTokenStream::new(self.configure_tokens(&attr_stream));
 254             }
 255         }
 256     }
 257
 258     fn configure_krate_attrs(&self, mut attrs: ast::AttrVec) -> Option<ast::AttrVec> {
 259         attrs.flat_map_in_place(|attr| self.process_cfg_attr(attr));
 260         if self.in_cfg(&attrs) { Some(attrs) } else { None }
 261     }
 262
 263     /// Performs cfg-expansion on `stream`, producing a new `AttrTokenStream`.
 264     /// This is only used during the invocation of `derive` proc-macros,
 265     /// which require that we cfg-expand their entire input.
 266     /// Normal cfg-expansion operates on parsed AST nodes via the `configure` method
 267     fn configure_tokens(&self, stream: &AttrTokenStream) -> AttrTokenStream {
 268         fn can_skip(stream: &AttrTokenStream) -> bool {
 269             stream.0.iter().all(|tree| match tree {
 270                 AttrTokenTree::Attributes(_) => false,
 271                 AttrTokenTree::Token(..) => true,
 272                 AttrTokenTree::Delimited(_, _, inner) => can_skip(inner),
 273             })
 274         }
 275
 276         if can_skip(stream) {
 277             return stream.clone();
 278         }
 279
 280         let trees: Vec<_> = stream
 281             .0
 282             .iter()
 283             .flat_map(|tree| match tree.clone() {
 284                 AttrTokenTree::Attributes(mut data) => {
 285                     data.attrs.flat_map_in_place(|attr| self.process_cfg_attr(attr));
 286
 287                     if self.in_cfg(&data.attrs) {
 288                         data.tokens = LazyAttrTokenStream::new(
 289                             self.configure_tokens(&data.tokens.to_attr_token_stream()),
 290                         );
 291                         Some(AttrTokenTree::Attributes(data)).into_iter()
 292                     } else {
 293                         None.into_iter()
 294                     }
 295                 }
 296                 AttrTokenTree::Delimited(sp, delim, mut inner) => {
 297                     inner = self.configure_tokens(&inner);
 298                     Some(AttrTokenTree::Delimited(sp, delim, inner))
 299                         .into_iter()
 300                 }
 301                 AttrTokenTree::Token(ref token, _) if let TokenKind::Interpolated(nt) = &token.kind => {
 302                     panic!(
 303                         "Nonterminal should have been flattened at {:?}: {:?}",
 304                         token.span, nt
 305                     );
 306                 }
 307                 AttrTokenTree::Token(token, spacing) => {
 308                     Some(AttrTokenTree::Token(token, spacing)).into_iter()
 309                 }
 310             })
 311             .collect();
 312         AttrTokenStream::new(trees)
 313     }
 314
 315     /// Parse and expand all `cfg_attr` attributes into a list of attributes
 316     /// that are within each `cfg_attr` that has a true configuration predicate.
 317     ///
 318     /// Gives compiler warnings if any `cfg_attr` does not contain any
 319     /// attributes and is in the original source code. Gives compiler errors if
 320     /// the syntax of any `cfg_attr` is incorrect.
 321     fn process_cfg_attrs<T: HasAttrs>(&self, node: &mut T) {
 322         node.visit_attrs(|attrs| {
 323             attrs.flat_map_in_place(|attr| self.process_cfg_attr(attr));
 324         });
 325     }
 326
 327     fn process_cfg_attr(&self, attr: Attribute) -> Vec<Attribute> {
 328         if attr.has_name(sym::cfg_attr) { self.expand_cfg_attr(attr, true) } else { vec![attr] }
 329     }
 330
 331     /// Parse and expand a single `cfg_attr` attribute into a list of attributes
 332     /// when the configuration predicate is true, or otherwise expand into an
 333     /// empty list of attributes.
 334     ///
 335     /// Gives a compiler warning when the `cfg_attr` contains no attributes and
 336     /// is in the original source file. Gives a compiler error if the syntax of
 337     /// the attribute is incorrect.
 338     pub(crate) fn expand_cfg_attr(&self, attr: Attribute, recursive: bool) -> Vec<Attribute> {
 339         let Some((cfg_predicate, expanded_attrs)) =
 340             rustc_parse::parse_cfg_attr(&attr, &self.sess.parse_sess) else {
 341                 return vec![];
 342             };
 343
 344         // Lint on zero attributes in source.
 345         if expanded_attrs.is_empty() {
 346             self.sess.parse_sess.buffer_lint(
 347                 rustc_lint_defs::builtin::UNUSED_ATTRIBUTES,
 348                 attr.span,
 349                 ast::CRATE_NODE_ID,
 350                 "`#[cfg_attr]` does not expand to any attributes",
 351             );
 352         }
 353
 354         if !attr::cfg_matches(
 355             &cfg_predicate,
 356             &self.sess.parse_sess,
 357             self.lint_node_id,
 358             self.features,
 359         ) {
 360             return vec![];
 361         }
 362
 363         if recursive {
 364             // We call `process_cfg_attr` recursively in case there's a
 365             // `cfg_attr` inside of another `cfg_attr`. E.g.
 366             //  `#[cfg_attr(false, cfg_attr(true, some_attr))]`.
 367             expanded_attrs
 368                 .into_iter()
 369                 .flat_map(|item| self.process_cfg_attr(self.expand_cfg_attr_item(&attr, item)))
 370                 .collect()
 371         } else {
 372             expanded_attrs.into_iter().map(|item| self.expand_cfg_attr_item(&attr, item)).collect()
 373         }
 374     }
 375
 376     fn expand_cfg_attr_item(
 377         &self,
 378         attr: &Attribute,
 379         (item, item_span): (ast::AttrItem, Span),
 380     ) -> Attribute {
 381         let orig_tokens = attr.tokens();
 382
 383         // We are taking an attribute of the form `#[cfg_attr(pred, attr)]`
 384         // and producing an attribute of the form `#[attr]`. We
 385         // have captured tokens for `attr` itself, but we need to
 386         // synthesize tokens for the wrapper `#` and `[]`, which
 387         // we do below.
 388
 389         // Use the `#` in `#[cfg_attr(pred, attr)]` as the `#` token
 390         // for `attr` when we expand it to `#[attr]`
 391         let mut orig_trees = orig_tokens.into_trees();
 392         let TokenTree::Token(pound_token @ Token { kind: TokenKind::Pound, .. }, _) = orig_trees.next().unwrap() else {
 393             panic!("Bad tokens for attribute {:?}", attr);
 394         };
 395         let pound_span = pound_token.span;
 396
 397         let mut trees = vec![AttrTokenTree::Token(pound_token, Spacing::Alone)];
 398         if attr.style == AttrStyle::Inner {
 399             // For inner attributes, we do the same thing for the `!` in `#![some_attr]`
 400             let TokenTree::Token(bang_token @ Token { kind: TokenKind::Not, .. }, _) = orig_trees.next().unwrap() else {
 401                 panic!("Bad tokens for attribute {:?}", attr);
 402             };
 403             trees.push(AttrTokenTree::Token(bang_token, Spacing::Alone));
 404         }
 405         // We don't really have a good span to use for the synthesized `[]`
 406         // in `#[attr]`, so just use the span of the `#` token.
 407         let bracket_group = AttrTokenTree::Delimited(
 408             DelimSpan::from_single(pound_span),
 409             Delimiter::Bracket,
 410             item.tokens
 411                 .as_ref()
 412                 .unwrap_or_else(|| panic!("Missing tokens for {:?}", item))
 413                 .to_attr_token_stream(),
 414         );
 415         trees.push(bracket_group);
 416         let tokens = Some(LazyAttrTokenStream::new(AttrTokenStream::new(trees)));
 417         let attr = attr::mk_attr_from_item(
 418             &self.sess.parse_sess.attr_id_generator,
 419             item,
 420             tokens,
 421             attr.style,
 422             item_span,
 423         );
 424         if attr.has_name(sym::crate_type) {
 425             self.sess.parse_sess.buffer_lint(
 426                 rustc_lint_defs::builtin::DEPRECATED_CFG_ATTR_CRATE_TYPE_NAME,
 427                 attr.span,
 428                 ast::CRATE_NODE_ID,
 429                 "`crate_type` within an `#![cfg_attr] attribute is deprecated`",
 430             );
 431         }
 432         if attr.has_name(sym::crate_name) {
 433             self.sess.parse_sess.buffer_lint(
 434                 rustc_lint_defs::builtin::DEPRECATED_CFG_ATTR_CRATE_TYPE_NAME,
 435                 attr.span,
 436                 ast::CRATE_NODE_ID,
 437                 "`crate_name` within an `#![cfg_attr] attribute is deprecated`",
 438             );
 439         }
 440         attr
 441     }
 442
 443     /// Determines if a node with the given attributes should be included in this configuration.
 444     fn in_cfg(&self, attrs: &[Attribute]) -> bool {
 445         attrs.iter().all(|attr| !is_cfg(attr) || self.cfg_true(attr))
 446     }
 447
 448     pub(crate) fn cfg_true(&self, attr: &Attribute) -> bool {
 449         let meta_item = match validate_attr::parse_meta(&self.sess.parse_sess, attr) {
 450             Ok(meta_item) => meta_item,
 451             Err(mut err) => {
 452                 err.emit();
 453                 return true;
 454             }
 455         };
 456         parse_cfg(&meta_item, &self.sess).map_or(true, |meta_item| {
 457             attr::cfg_matches(&meta_item, &self.sess.parse_sess, self.lint_node_id, self.features)
 458         })
 459     }
 460
 461     /// If attributes are not allowed on expressions, emit an error for `attr`
 462     #[instrument(level = "trace", skip(self))]
 463     pub(crate) fn maybe_emit_expr_attr_err(&self, attr: &Attribute) {
 464         if !self.features.map_or(true, |features| features.stmt_expr_attributes) {
 465             let mut err = feature_err(
 466                 &self.sess.parse_sess,
 467                 sym::stmt_expr_attributes,
 468                 attr.span,
 469                 "attributes on expressions are experimental",
 470             );
 471
 472             if attr.is_doc_comment() {
 473                 err.help("`///` is for documentation comments. For a plain comment, use `//`.");
 474             }
 475
 476             err.emit();
 477         }
 478     }
 479
 480     #[instrument(level = "trace", skip(self))]
 481     pub fn configure_expr(&self, expr: &mut P<ast::Expr>, method_receiver: bool) {
 482         if !method_receiver {
 483             for attr in expr.attrs.iter() {
 484                 self.maybe_emit_expr_attr_err(attr);
 485             }
 486         }
 487
 488         // If an expr is valid to cfg away it will have been removed by the
 489         // outer stmt or expression folder before descending in here.
 490         // Anything else is always required, and thus has to error out
 491         // in case of a cfg attr.
 492         //
 493         // N.B., this is intentionally not part of the visit_expr() function
 494         //     in order for filter_map_expr() to be able to avoid this check
 495         if let Some(attr) = expr.attrs().iter().find(|a| is_cfg(*a)) {
 496             self.sess.emit_err(RemoveExprNotSupported { span: attr.span });
 497         }
 498
 499         self.process_cfg_attrs(expr);
 500         self.try_configure_tokens(&mut *expr);
 501     }
 502 }
 503
 504 pub fn parse_cfg<'a>(meta_item: &'a MetaItem, sess: &Session) -> Option<&'a MetaItem> {
 505     let span = meta_item.span;
 506     match meta_item.meta_item_list() {
 507         None => {
 508             sess.emit_err(InvalidCfg::NotFollowedByParens { span });
 509             None
 510         }
 511         Some([]) => {
 512             sess.emit_err(InvalidCfg::NoPredicate { span });
 513             None
 514         }
 515         Some([_, .., l]) => {
 516             sess.emit_err(InvalidCfg::MultiplePredicates { span: l.span() });
 517             None
 518         }
 519         Some([single]) => match single.meta_item() {
 520             Some(meta_item) => Some(meta_item),
 521             None => {
 522                 sess.emit_err(InvalidCfg::PredicateLiteral { span: single.span() });
 523                 None
 524             }
 525         },
 526     }
 527 }
 528
 529 fn is_cfg(attr: &Attribute) -> bool {
 530     attr.has_name(sym::cfg)
 531 }