src/libsyntax/attr/mod.rs

   1 //! Functions dealing with attributes and meta items
   2
   3 mod builtin;
   4
   5 pub use builtin::{
   6     cfg_matches, contains_feature_attr, eval_condition, find_crate_name, find_deprecation,
   7     find_repr_attrs, find_stability, find_unwind_attr, Deprecation, InlineAttr, OptimizeAttr,
   8     IntType, ReprAttr, RustcDeprecation, Stability, StabilityLevel, UnwindAttr,
   9 };
  10 pub use IntType::*;
  11 pub use ReprAttr::*;
  12 pub use StabilityLevel::*;
  13
  14 use crate::ast;
  15 use crate::ast::{AttrId, Attribute, AttrStyle, Name, Ident, Path, PathSegment};
  16 use crate::ast::{MetaItem, MetaItemKind, NestedMetaItem};
  17 use crate::ast::{Lit, LitKind, Expr, ExprKind, Item, Local, Stmt, StmtKind, GenericParam};
  18 use crate::mut_visit::visit_clobber;
  19 use crate::source_map::{BytePos, Spanned, respan, dummy_spanned};
  20 use crate::parse::lexer::comments::{doc_comment_style, strip_doc_comment_decoration};
  21 use crate::parse::parser::Parser;
  22 use crate::parse::{self, ParseSess, PResult};
  23 use crate::parse::token::{self, Token};
  24 use crate::ptr::P;
  25 use crate::symbol::{keywords, LocalInternedString, Symbol};
  26 use crate::ThinVec;
  27 use crate::tokenstream::{TokenStream, TokenTree, DelimSpan};
  28 use crate::GLOBALS;
  29
  30 use log::debug;
  31 use syntax_pos::{FileName, Span};
  32
  33 use std::iter;
  34 use std::ops::DerefMut;
  35
  36 pub fn mark_used(attr: &Attribute) {
  37     debug!("Marking {:?} as used.", attr);
  38     GLOBALS.with(|globals| {
  39         globals.used_attrs.lock().insert(attr.id);
  40     });
  41 }
  42
  43 pub fn is_used(attr: &Attribute) -> bool {
  44     GLOBALS.with(|globals| {
  45         globals.used_attrs.lock().contains(attr.id)
  46     })
  47 }
  48
  49 pub fn mark_known(attr: &Attribute) {
  50     debug!("Marking {:?} as known.", attr);
  51     GLOBALS.with(|globals| {
  52         globals.known_attrs.lock().insert(attr.id);
  53     });
  54 }
  55
  56 pub fn is_known(attr: &Attribute) -> bool {
  57     GLOBALS.with(|globals| {
  58         globals.known_attrs.lock().contains(attr.id)
  59     })
  60 }
  61
  62 pub fn is_known_lint_tool(m_item: Ident) -> bool {
  63     ["clippy"].contains(&m_item.as_str().as_ref())
  64 }
  65
  66 impl NestedMetaItem {
  67     /// Returns the MetaItem if self is a NestedMetaItem::MetaItem.
  68     pub fn meta_item(&self) -> Option<&MetaItem> {
  69         match *self {
  70             NestedMetaItem::MetaItem(ref item) => Some(item),
  71             _ => None
  72         }
  73     }
  74
  75     /// Returns the Lit if self is a NestedMetaItem::Literal.
  76     pub fn literal(&self) -> Option<&Lit> {
  77         match *self {
  78             NestedMetaItem::Literal(ref lit) => Some(lit),
  79             _ => None
  80         }
  81     }
  82
  83     /// Returns `true` if this list item is a MetaItem with a name of `name`.
  84     pub fn check_name<T>(&self, name: T) -> bool
  85     where
  86         Path: PartialEq<T>,
  87     {
  88         self.meta_item().map_or(false, |meta_item| meta_item.check_name(name))
  89     }
  90
  91     /// For a single-segment meta-item returns its name, otherwise returns `None`.
  92     pub fn ident(&self) -> Option<Ident> {
  93         self.meta_item().and_then(|meta_item| meta_item.ident())
  94     }
  95     pub fn name_or_empty(&self) -> LocalInternedString {
  96         self.ident().unwrap_or(keywords::Invalid.ident()).name.as_str()
  97     }
  98
  99     /// Gets the string value if self is a MetaItem and the MetaItem is a
 100     /// MetaItemKind::NameValue variant containing a string, otherwise None.
 101     pub fn value_str(&self) -> Option<Symbol> {
 102         self.meta_item().and_then(|meta_item| meta_item.value_str())
 103     }
 104
 105     /// Returns a name and single literal value tuple of the MetaItem.
 106     pub fn name_value_literal(&self) -> Option<(Name, &Lit)> {
 107         self.meta_item().and_then(
 108             |meta_item| meta_item.meta_item_list().and_then(
 109                 |meta_item_list| {
 110                     if meta_item_list.len() == 1 {
 111                         if let Some(ident) = meta_item.ident() {
 112                             if let Some(lit) = meta_item_list[0].literal() {
 113                                 return Some((ident.name, lit));
 114                             }
 115                         }
 116                     }
 117                     None
 118                 }))
 119     }
 120
 121     /// Gets a list of inner meta items from a list MetaItem type.
 122     pub fn meta_item_list(&self) -> Option<&[NestedMetaItem]> {
 123         self.meta_item().and_then(|meta_item| meta_item.meta_item_list())
 124     }
 125
 126     /// Returns `true` if the variant is MetaItem.
 127     pub fn is_meta_item(&self) -> bool {
 128         self.meta_item().is_some()
 129     }
 130
 131     /// Returns `true` if the variant is Literal.
 132     pub fn is_literal(&self) -> bool {
 133         self.literal().is_some()
 134     }
 135
 136     /// Returns `true` if self is a MetaItem and the meta item is a word.
 137     pub fn is_word(&self) -> bool {
 138         self.meta_item().map_or(false, |meta_item| meta_item.is_word())
 139     }
 140
 141     /// Returns `true` if self is a MetaItem and the meta item is a ValueString.
 142     pub fn is_value_str(&self) -> bool {
 143         self.value_str().is_some()
 144     }
 145
 146     /// Returns `true` if self is a MetaItem and the meta item is a list.
 147     pub fn is_meta_item_list(&self) -> bool {
 148         self.meta_item_list().is_some()
 149     }
 150 }
 151
 152 impl Attribute {
 153     /// Returns `true` if the attribute's path matches the argument. If it matches, then the
 154     /// attribute is marked as used.
 155     ///
 156     /// To check the attribute name without marking it used, use the `path` field directly.
 157     pub fn check_name<T>(&self, name: T) -> bool
 158     where
 159         Path: PartialEq<T>,
 160     {
 161         let matches = self.path == name;
 162         if matches {
 163             mark_used(self);
 164         }
 165         matches
 166     }
 167
 168     /// For a single-segment attribute returns its name, otherwise returns `None`.
 169     pub fn ident(&self) -> Option<Ident> {
 170         if self.path.segments.len() == 1 {
 171             Some(self.path.segments[0].ident)
 172         } else {
 173             None
 174         }
 175     }
 176     pub fn name_or_empty(&self) -> LocalInternedString {
 177         self.ident().unwrap_or(keywords::Invalid.ident()).name.as_str()
 178     }
 179
 180     pub fn value_str(&self) -> Option<Symbol> {
 181         self.meta().and_then(|meta| meta.value_str())
 182     }
 183
 184     pub fn meta_item_list(&self) -> Option<Vec<NestedMetaItem>> {
 185         match self.meta() {
 186             Some(MetaItem { node: MetaItemKind::List(list), .. }) => Some(list),
 187             _ => None
 188         }
 189     }
 190
 191     pub fn is_word(&self) -> bool {
 192         self.tokens.is_empty()
 193     }
 194
 195     pub fn is_meta_item_list(&self) -> bool {
 196         self.meta_item_list().is_some()
 197     }
 198
 199     /// Indicates if the attribute is a Value String.
 200     pub fn is_value_str(&self) -> bool {
 201         self.value_str().is_some()
 202     }
 203 }
 204
 205 impl MetaItem {
 206     /// For a single-segment meta-item returns its name, otherwise returns `None`.
 207     pub fn ident(&self) -> Option<Ident> {
 208         if self.path.segments.len() == 1 {
 209             Some(self.path.segments[0].ident)
 210         } else {
 211             None
 212         }
 213     }
 214     pub fn name_or_empty(&self) -> LocalInternedString {
 215         self.ident().unwrap_or(keywords::Invalid.ident()).name.as_str()
 216     }
 217
 218     // #[attribute(name = "value")]
 219     //             ^^^^^^^^^^^^^^
 220     pub fn name_value_literal(&self) -> Option<&Lit> {
 221         match &self.node {
 222             MetaItemKind::NameValue(v) => Some(v),
 223             _ => None,
 224         }
 225     }
 226
 227     pub fn value_str(&self) -> Option<Symbol> {
 228         match self.node {
 229             MetaItemKind::NameValue(ref v) => {
 230                 match v.node {
 231                     LitKind::Str(ref s, _) => Some(*s),
 232                     _ => None,
 233                 }
 234             },
 235             _ => None
 236         }
 237     }
 238
 239     pub fn meta_item_list(&self) -> Option<&[NestedMetaItem]> {
 240         match self.node {
 241             MetaItemKind::List(ref l) => Some(&l[..]),
 242             _ => None
 243         }
 244     }
 245
 246     pub fn is_word(&self) -> bool {
 247         match self.node {
 248             MetaItemKind::Word => true,
 249             _ => false,
 250         }
 251     }
 252
 253     pub fn check_name<T>(&self, name: T) -> bool
 254     where
 255         Path: PartialEq<T>,
 256     {
 257         self.path == name
 258     }
 259
 260     pub fn is_value_str(&self) -> bool {
 261         self.value_str().is_some()
 262     }
 263
 264     pub fn is_meta_item_list(&self) -> bool {
 265         self.meta_item_list().is_some()
 266     }
 267 }
 268
 269 impl Attribute {
 270     /// Extracts the MetaItem from inside this Attribute.
 271     pub fn meta(&self) -> Option<MetaItem> {
 272         let mut tokens = self.tokens.trees().peekable();
 273         Some(MetaItem {
 274             path: self.path.clone(),
 275             node: if let Some(node) = MetaItemKind::from_tokens(&mut tokens) {
 276                 if tokens.peek().is_some() {
 277                     return None;
 278                 }
 279                 node
 280             } else {
 281                 return None;
 282             },
 283             span: self.span,
 284         })
 285     }
 286
 287     pub fn parse<'a, T, F>(&self, sess: &'a ParseSess, mut f: F) -> PResult<'a, T>
 288         where F: FnMut(&mut Parser<'a>) -> PResult<'a, T>,
 289     {
 290         let mut parser = Parser::new(sess, self.tokens.clone(), None, false, false);
 291         let result = f(&mut parser)?;
 292         if parser.token != token::Eof {
 293             parser.unexpected()?;
 294         }
 295         Ok(result)
 296     }
 297
 298     pub fn parse_list<'a, T, F>(&self, sess: &'a ParseSess, mut f: F) -> PResult<'a, Vec<T>>
 299         where F: FnMut(&mut Parser<'a>) -> PResult<'a, T>,
 300     {
 301         if self.tokens.is_empty() {
 302             return Ok(Vec::new());
 303         }
 304         self.parse(sess, |parser| {
 305             parser.expect(&token::OpenDelim(token::Paren))?;
 306             let mut list = Vec::new();
 307             while !parser.eat(&token::CloseDelim(token::Paren)) {
 308                 list.push(f(parser)?);
 309                 if !parser.eat(&token::Comma) {
 310                    parser.expect(&token::CloseDelim(token::Paren))?;
 311                     break
 312                 }
 313             }
 314             Ok(list)
 315         })
 316     }
 317
 318     pub fn parse_meta<'a>(&self, sess: &'a ParseSess) -> PResult<'a, MetaItem> {
 319         Ok(MetaItem {
 320             path: self.path.clone(),
 321             node: self.parse(sess, |parser| parser.parse_meta_item_kind())?,
 322             span: self.span,
 323         })
 324     }
 325
 326     /// Converts self to a normal #[doc="foo"] comment, if it is a
 327     /// comment like `///` or `/** */`. (Returns self unchanged for
 328     /// non-sugared doc attributes.)
 329     pub fn with_desugared_doc<T, F>(&self, f: F) -> T where
 330         F: FnOnce(&Attribute) -> T,
 331     {
 332         if self.is_sugared_doc {
 333             let comment = self.value_str().unwrap();
 334             let meta = mk_name_value_item_str(
 335                 Ident::from_str("doc"),
 336                 dummy_spanned(Symbol::intern(&strip_doc_comment_decoration(&comment.as_str()))));
 337             let mut attr = if self.style == ast::AttrStyle::Outer {
 338                 mk_attr_outer(self.span, self.id, meta)
 339             } else {
 340                 mk_attr_inner(self.span, self.id, meta)
 341             };
 342             attr.is_sugared_doc = true;
 343             f(&attr)
 344         } else {
 345             f(self)
 346         }
 347     }
 348 }
 349
 350 /* Constructors */
 351
 352 pub fn mk_name_value_item_str(ident: Ident, value: Spanned<Symbol>) -> MetaItem {
 353     let value = respan(value.span, LitKind::Str(value.node, ast::StrStyle::Cooked));
 354     mk_name_value_item(ident.span.to(value.span), ident, value)
 355 }
 356
 357 pub fn mk_name_value_item(span: Span, ident: Ident, value: ast::Lit) -> MetaItem {
 358     MetaItem { path: Path::from_ident(ident), span, node: MetaItemKind::NameValue(value) }
 359 }
 360
 361 pub fn mk_list_item(span: Span, ident: Ident, items: Vec<NestedMetaItem>) -> MetaItem {
 362     MetaItem { path: Path::from_ident(ident), span, node: MetaItemKind::List(items) }
 363 }
 364
 365 pub fn mk_word_item(ident: Ident) -> MetaItem {
 366     MetaItem { path: Path::from_ident(ident), span: ident.span, node: MetaItemKind::Word }
 367 }
 368
 369 pub fn mk_nested_word_item(ident: Ident) -> NestedMetaItem {
 370     NestedMetaItem::MetaItem(mk_word_item(ident))
 371 }
 372
 373 pub fn mk_attr_id() -> AttrId {
 374     use std::sync::atomic::AtomicUsize;
 375     use std::sync::atomic::Ordering;
 376
 377     static NEXT_ATTR_ID: AtomicUsize = AtomicUsize::new(0);
 378
 379     let id = NEXT_ATTR_ID.fetch_add(1, Ordering::SeqCst);
 380     assert!(id != ::std::usize::MAX);
 381     AttrId(id)
 382 }
 383
 384 /// Returns an inner attribute with the given value.
 385 pub fn mk_attr_inner(span: Span, id: AttrId, item: MetaItem) -> Attribute {
 386     mk_spanned_attr_inner(span, id, item)
 387 }
 388
 389 /// Returns an inner attribute with the given value and span.
 390 pub fn mk_spanned_attr_inner(sp: Span, id: AttrId, item: MetaItem) -> Attribute {
 391     Attribute {
 392         id,
 393         style: ast::AttrStyle::Inner,
 394         path: item.path,
 395         tokens: item.node.tokens(item.span),
 396         is_sugared_doc: false,
 397         span: sp,
 398     }
 399 }
 400
 401 /// Returns an outer attribute with the given value.
 402 pub fn mk_attr_outer(span: Span, id: AttrId, item: MetaItem) -> Attribute {
 403     mk_spanned_attr_outer(span, id, item)
 404 }
 405
 406 /// Returns an outer attribute with the given value and span.
 407 pub fn mk_spanned_attr_outer(sp: Span, id: AttrId, item: MetaItem) -> Attribute {
 408     Attribute {
 409         id,
 410         style: ast::AttrStyle::Outer,
 411         path: item.path,
 412         tokens: item.node.tokens(item.span),
 413         is_sugared_doc: false,
 414         span: sp,
 415     }
 416 }
 417
 418 pub fn mk_sugared_doc_attr(id: AttrId, text: Symbol, span: Span) -> Attribute {
 419     let style = doc_comment_style(&text.as_str());
 420     let lit = respan(span, LitKind::Str(text, ast::StrStyle::Cooked));
 421     Attribute {
 422         id,
 423         style,
 424         path: Path::from_ident(Ident::from_str("doc").with_span_pos(span)),
 425         tokens: MetaItemKind::NameValue(lit).tokens(span),
 426         is_sugared_doc: true,
 427         span,
 428     }
 429 }
 430
 431 pub fn list_contains_name(items: &[NestedMetaItem], name: &str) -> bool {
 432     items.iter().any(|item| {
 433         item.check_name(name)
 434     })
 435 }
 436
 437 pub fn contains_name(attrs: &[Attribute], name: &str) -> bool {
 438     attrs.iter().any(|item| {
 439         item.check_name(name)
 440     })
 441 }
 442
 443 pub fn find_by_name<'a>(attrs: &'a [Attribute], name: &str) -> Option<&'a Attribute> {
 444     attrs.iter().find(|attr| attr.check_name(name))
 445 }
 446
 447 pub fn filter_by_name<'a>(attrs: &'a [Attribute], name: &'a str)
 448     -> impl Iterator<Item = &'a Attribute> {
 449     attrs.iter().filter(move |attr| attr.check_name(name))
 450 }
 451
 452 pub fn first_attr_value_str_by_name(attrs: &[Attribute], name: &str) -> Option<Symbol> {
 453     attrs.iter()
 454         .find(|at| at.check_name(name))
 455         .and_then(|at| at.value_str())
 456 }
 457
 458 impl MetaItem {
 459     fn tokens(&self) -> TokenStream {
 460         let mut idents = vec![];
 461         let mut last_pos = BytePos(0 as u32);
 462         for (i, segment) in self.path.segments.iter().enumerate() {
 463             let is_first = i == 0;
 464             if !is_first {
 465                 let mod_sep_span = Span::new(last_pos,
 466                                              segment.ident.span.lo(),
 467                                              segment.ident.span.ctxt());
 468                 idents.push(TokenTree::Token(mod_sep_span, Token::ModSep).into());
 469             }
 470             idents.push(TokenTree::Token(segment.ident.span,
 471                                          Token::from_ast_ident(segment.ident)).into());
 472             last_pos = segment.ident.span.hi();
 473         }
 474         self.node.tokens(self.span).append_to_tree_and_joint_vec(&mut idents);
 475         TokenStream::new(idents)
 476     }
 477
 478     fn from_tokens<I>(tokens: &mut iter::Peekable<I>) -> Option<MetaItem>
 479         where I: Iterator<Item = TokenTree>,
 480     {
 481         // FIXME: Share code with `parse_path`.
 482         let path = match tokens.next() {
 483             Some(TokenTree::Token(span, token @ Token::Ident(..))) |
 484             Some(TokenTree::Token(span, token @ Token::ModSep)) => 'arm: {
 485                 let mut segments = if let Token::Ident(ident, _) = token {
 486                     if let Some(TokenTree::Token(_, Token::ModSep)) = tokens.peek() {
 487                         tokens.next();
 488                         vec![PathSegment::from_ident(ident.with_span_pos(span))]
 489                     } else {
 490                         break 'arm Path::from_ident(ident.with_span_pos(span));
 491                     }
 492                 } else {
 493                     vec![PathSegment::path_root(span)]
 494                 };
 495                 loop {
 496                     if let Some(TokenTree::Token(span,
 497                                                     Token::Ident(ident, _))) = tokens.next() {
 498                         segments.push(PathSegment::from_ident(ident.with_span_pos(span)));
 499                     } else {
 500                         return None;
 501                     }
 502                     if let Some(TokenTree::Token(_, Token::ModSep)) = tokens.peek() {
 503                         tokens.next();
 504                     } else {
 505                         break;
 506                     }
 507                 }
 508                 let span = span.with_hi(segments.last().unwrap().ident.span.hi());
 509                 Path { span, segments }
 510             }
 511             Some(TokenTree::Token(_, Token::Interpolated(nt))) => match *nt {
 512                 token::Nonterminal::NtIdent(ident, _) => Path::from_ident(ident),
 513                 token::Nonterminal::NtMeta(ref meta) => return Some(meta.clone()),
 514                 token::Nonterminal::NtPath(ref path) => path.clone(),
 515                 _ => return None,
 516             },
 517             _ => return None,
 518         };
 519         let list_closing_paren_pos = tokens.peek().map(|tt| tt.span().hi());
 520         let node = MetaItemKind::from_tokens(tokens)?;
 521         let hi = match node {
 522             MetaItemKind::NameValue(ref lit) => lit.span.hi(),
 523             MetaItemKind::List(..) => list_closing_paren_pos.unwrap_or(path.span.hi()),
 524             _ => path.span.hi(),
 525         };
 526         let span = path.span.with_hi(hi);
 527         Some(MetaItem { path, node, span })
 528     }
 529 }
 530
 531 impl MetaItemKind {
 532     pub fn tokens(&self, span: Span) -> TokenStream {
 533         match *self {
 534             MetaItemKind::Word => TokenStream::empty(),
 535             MetaItemKind::NameValue(ref lit) => {
 536                 let mut vec = vec![TokenTree::Token(span, Token::Eq).into()];
 537                 lit.tokens().append_to_tree_and_joint_vec(&mut vec);
 538                 TokenStream::new(vec)
 539             }
 540             MetaItemKind::List(ref list) => {
 541                 let mut tokens = Vec::new();
 542                 for (i, item) in list.iter().enumerate() {
 543                     if i > 0 {
 544                         tokens.push(TokenTree::Token(span, Token::Comma).into());
 545                     }
 546                     item.tokens().append_to_tree_and_joint_vec(&mut tokens);
 547                 }
 548                 TokenTree::Delimited(
 549                     DelimSpan::from_single(span),
 550                     token::Paren,
 551                     TokenStream::new(tokens).into(),
 552                 ).into()
 553             }
 554         }
 555     }
 556
 557     fn from_tokens<I>(tokens: &mut iter::Peekable<I>) -> Option<MetaItemKind>
 558         where I: Iterator<Item = TokenTree>,
 559     {
 560         let delimited = match tokens.peek().cloned() {
 561             Some(TokenTree::Token(_, token::Eq)) => {
 562                 tokens.next();
 563                 return if let Some(TokenTree::Token(span, token)) = tokens.next() {
 564                     LitKind::from_token(token)
 565                         .map(|lit| MetaItemKind::NameValue(Spanned { node: lit, span: span }))
 566                 } else {
 567                     None
 568                 };
 569             }
 570             Some(TokenTree::Delimited(_, delim, ref tts)) if delim == token::Paren => {
 571                 tokens.next();
 572                 tts.clone()
 573             }
 574             _ => return Some(MetaItemKind::Word),
 575         };
 576
 577         let mut tokens = delimited.into_trees().peekable();
 578         let mut result = Vec::new();
 579         while let Some(..) = tokens.peek() {
 580             let item = NestedMetaItem::from_tokens(&mut tokens)?;
 581             result.push(item);
 582             match tokens.next() {
 583                 None | Some(TokenTree::Token(_, Token::Comma)) => {}
 584                 _ => return None,
 585             }
 586         }
 587         Some(MetaItemKind::List(result))
 588     }
 589 }
 590
 591 impl NestedMetaItem {
 592     pub fn span(&self) -> Span {
 593         match *self {
 594             NestedMetaItem::MetaItem(ref item) => item.span,
 595             NestedMetaItem::Literal(ref lit) => lit.span,
 596         }
 597     }
 598
 599     fn tokens(&self) -> TokenStream {
 600         match *self {
 601             NestedMetaItem::MetaItem(ref item) => item.tokens(),
 602             NestedMetaItem::Literal(ref lit) => lit.tokens(),
 603         }
 604     }
 605
 606     fn from_tokens<I>(tokens: &mut iter::Peekable<I>) -> Option<NestedMetaItem>
 607         where I: Iterator<Item = TokenTree>,
 608     {
 609         if let Some(TokenTree::Token(span, token)) = tokens.peek().cloned() {
 610             if let Some(node) = LitKind::from_token(token) {
 611                 tokens.next();
 612                 return Some(NestedMetaItem::Literal(respan(span, node)));
 613             }
 614         }
 615
 616         MetaItem::from_tokens(tokens).map(NestedMetaItem::MetaItem)
 617     }
 618 }
 619
 620 impl Lit {
 621     crate fn tokens(&self) -> TokenStream {
 622         TokenTree::Token(self.span, self.node.token()).into()
 623     }
 624 }
 625
 626 impl LitKind {
 627     fn token(&self) -> Token {
 628         use std::ascii;
 629
 630         match *self {
 631             LitKind::Str(string, ast::StrStyle::Cooked) => {
 632                 let escaped = string.as_str().escape_default().to_string();
 633                 Token::Literal(token::Lit::Str_(Symbol::intern(&escaped)), None)
 634             }
 635             LitKind::Str(string, ast::StrStyle::Raw(n)) => {
 636                 Token::Literal(token::Lit::StrRaw(string, n), None)
 637             }
 638             LitKind::ByteStr(ref bytes) => {
 639                 let string = bytes.iter().cloned().flat_map(ascii::escape_default)
 640                     .map(Into::<char>::into).collect::<String>();
 641                 Token::Literal(token::Lit::ByteStr(Symbol::intern(&string)), None)
 642             }
 643             LitKind::Byte(byte) => {
 644                 let string: String = ascii::escape_default(byte).map(Into::<char>::into).collect();
 645                 Token::Literal(token::Lit::Byte(Symbol::intern(&string)), None)
 646             }
 647             LitKind::Char(ch) => {
 648                 let string: String = ch.escape_default().map(Into::<char>::into).collect();
 649                 Token::Literal(token::Lit::Char(Symbol::intern(&string)), None)
 650             }
 651             LitKind::Int(n, ty) => {
 652                 let suffix = match ty {
 653                     ast::LitIntType::Unsigned(ty) => Some(Symbol::intern(ty.ty_to_string())),
 654                     ast::LitIntType::Signed(ty) => Some(Symbol::intern(ty.ty_to_string())),
 655                     ast::LitIntType::Unsuffixed => None,
 656                 };
 657                 Token::Literal(token::Lit::Integer(Symbol::intern(&n.to_string())), suffix)
 658             }
 659             LitKind::Float(symbol, ty) => {
 660                 Token::Literal(token::Lit::Float(symbol), Some(Symbol::intern(ty.ty_to_string())))
 661             }
 662             LitKind::FloatUnsuffixed(symbol) => Token::Literal(token::Lit::Float(symbol), None),
 663             LitKind::Bool(value) => Token::Ident(Ident::with_empty_ctxt(Symbol::intern(if value {
 664                 "true"
 665             } else {
 666                 "false"
 667             })), false),
 668             LitKind::Err(val) => Token::Literal(token::Lit::Err(val), None),
 669         }
 670     }
 671
 672     fn from_token(token: Token) -> Option<LitKind> {
 673         match token {
 674             Token::Ident(ident, false) if ident.name == "true" => Some(LitKind::Bool(true)),
 675             Token::Ident(ident, false) if ident.name == "false" => Some(LitKind::Bool(false)),
 676             Token::Interpolated(nt) => match *nt {
 677                 token::NtExpr(ref v) | token::NtLiteral(ref v) => match v.node {
 678                     ExprKind::Lit(ref lit) => Some(lit.node.clone()),
 679                     _ => None,
 680                 },
 681                 _ => None,
 682             },
 683             Token::Literal(lit, suf) => {
 684                 let (suffix_illegal, result) = parse::lit_token(lit, suf, None);
 685                 if suffix_illegal && suf.is_some() {
 686                     return None;
 687                 }
 688                 result
 689             }
 690             _ => None,
 691         }
 692     }
 693 }
 694
 695 pub trait HasAttrs: Sized {
 696     fn attrs(&self) -> &[ast::Attribute];
 697     fn visit_attrs<F: FnOnce(&mut Vec<ast::Attribute>)>(&mut self, f: F);
 698 }
 699
 700 impl<T: HasAttrs> HasAttrs for Spanned<T> {
 701     fn attrs(&self) -> &[ast::Attribute] { self.node.attrs() }
 702     fn visit_attrs<F: FnOnce(&mut Vec<ast::Attribute>)>(&mut self, f: F) {
 703         self.node.visit_attrs(f);
 704     }
 705 }
 706
 707 impl HasAttrs for Vec<Attribute> {
 708     fn attrs(&self) -> &[Attribute] {
 709         self
 710     }
 711     fn visit_attrs<F: FnOnce(&mut Vec<Attribute>)>(&mut self, f: F) {
 712         f(self)
 713     }
 714 }
 715
 716 impl HasAttrs for ThinVec<Attribute> {
 717     fn attrs(&self) -> &[Attribute] {
 718         self
 719     }
 720     fn visit_attrs<F: FnOnce(&mut Vec<Attribute>)>(&mut self, f: F) {
 721         visit_clobber(self, |this| {
 722             let mut vec = this.into();
 723             f(&mut vec);
 724             vec.into()
 725         });
 726     }
 727 }
 728
 729 impl<T: HasAttrs + 'static> HasAttrs for P<T> {
 730     fn attrs(&self) -> &[Attribute] {
 731         (**self).attrs()
 732     }
 733     fn visit_attrs<F: FnOnce(&mut Vec<Attribute>)>(&mut self, f: F) {
 734         (**self).visit_attrs(f);
 735     }
 736 }
 737
 738 impl HasAttrs for StmtKind {
 739     fn attrs(&self) -> &[Attribute] {
 740         match *self {
 741             StmtKind::Local(ref local) => local.attrs(),
 742             StmtKind::Item(..) => &[],
 743             StmtKind::Expr(ref expr) | StmtKind::Semi(ref expr) => expr.attrs(),
 744             StmtKind::Mac(ref mac) => {
 745                 let (_, _, ref attrs) = **mac;
 746                 attrs.attrs()
 747             }
 748         }
 749     }
 750
 751     fn visit_attrs<F: FnOnce(&mut Vec<Attribute>)>(&mut self, f: F) {
 752         match self {
 753             StmtKind::Local(local) => local.visit_attrs(f),
 754             StmtKind::Item(..) => {}
 755             StmtKind::Expr(expr) => expr.visit_attrs(f),
 756             StmtKind::Semi(expr) => expr.visit_attrs(f),
 757             StmtKind::Mac(mac) => {
 758                 let (_mac, _style, attrs) = mac.deref_mut();
 759                 attrs.visit_attrs(f);
 760             }
 761         }
 762     }
 763 }
 764
 765 impl HasAttrs for Stmt {
 766     fn attrs(&self) -> &[ast::Attribute] {
 767         self.node.attrs()
 768     }
 769
 770     fn visit_attrs<F: FnOnce(&mut Vec<ast::Attribute>)>(&mut self, f: F) {
 771         self.node.visit_attrs(f);
 772     }
 773 }
 774
 775 impl HasAttrs for GenericParam {
 776     fn attrs(&self) -> &[ast::Attribute] {
 777         &self.attrs
 778     }
 779
 780     fn visit_attrs<F: FnOnce(&mut Vec<Attribute>)>(&mut self, f: F) {
 781         self.attrs.visit_attrs(f);
 782     }
 783 }
 784
 785 macro_rules! derive_has_attrs {
 786     ($($ty:path),*) => { $(
 787         impl HasAttrs for $ty {
 788             fn attrs(&self) -> &[Attribute] {
 789                 &self.attrs
 790             }
 791
 792             fn visit_attrs<F: FnOnce(&mut Vec<Attribute>)>(&mut self, f: F) {
 793                 self.attrs.visit_attrs(f);
 794             }
 795         }
 796     )* }
 797 }
 798
 799 derive_has_attrs! {
 800     Item, Expr, Local, ast::ForeignItem, ast::StructField, ast::ImplItem, ast::TraitItem, ast::Arm,
 801     ast::Field, ast::FieldPat, ast::Variant_
 802 }
 803
 804 pub fn inject(mut krate: ast::Crate, parse_sess: &ParseSess, attrs: &[String]) -> ast::Crate {
 805     for raw_attr in attrs {
 806         let mut parser = parse::new_parser_from_source_str(
 807             parse_sess,
 808             FileName::cli_crate_attr_source_code(&raw_attr),
 809             raw_attr.clone(),
 810         );
 811
 812         let start_span = parser.span;
 813         let (path, tokens) = panictry!(parser.parse_meta_item_unrestricted());
 814         let end_span = parser.span;
 815         if parser.token != token::Eof {
 816             parse_sess.span_diagnostic
 817                 .span_err(start_span.to(end_span), "invalid crate attribute");
 818             continue;
 819         }
 820
 821         krate.attrs.push(Attribute {
 822             id: mk_attr_id(),
 823             style: AttrStyle::Inner,
 824             path,
 825             tokens,
 826             is_sugared_doc: false,
 827             span: start_span.to(end_span),
 828         });
 829     }
 830
 831     krate
 832 }