src/librustdoc/visit_ast.rs

   1 // Copyright 2012-2013 The Rust Project Developers. See the COPYRIGHT
   2 // file at the top-level directory of this distribution and at
   3 // http://rust-lang.org/COPYRIGHT.
   4 //
   5 // Licensed under the Apache License, Version 2.0 <LICENSE-APACHE or
   6 // http://www.apache.org/licenses/LICENSE-2.0> or the MIT license
   7 // <LICENSE-MIT or http://opensource.org/licenses/MIT>, at your
   8 // option. This file may not be copied, modified, or distributed
   9 // except according to those terms.
  10
  11 //! Rust AST Visitor. Extracts useful information and massages it into a form
  12 //! usable for clean
  13
  14 use std::mem;
  15
  16 use syntax::abi;
  17 use syntax::ast;
  18 use syntax::attr;
  19 use syntax_pos::Span;
  20
  21 use rustc::hir::map as hir_map;
  22 use rustc::hir::def::Def;
  23 use rustc::hir::def_id::LOCAL_CRATE;
  24 use rustc::middle::cstore::LoadedMacro;
  25 use rustc::middle::privacy::AccessLevel;
  26 use rustc::util::nodemap::FxHashSet;
  27
  28 use rustc::hir;
  29
  30 use core;
  31 use clean::{self, AttributesExt, NestedAttributesExt};
  32 use doctree::*;
  33
  34 // looks to me like the first two of these are actually
  35 // output parameters, maybe only mutated once; perhaps
  36 // better simply to have the visit method return a tuple
  37 // containing them?
  38
  39 // also, is there some reason that this doesn't use the 'visit'
  40 // framework from syntax?
  41
  42 pub struct RustdocVisitor<'a, 'tcx: 'a> {
  43     pub module: Module,
  44     pub attrs: hir::HirVec<ast::Attribute>,
  45     pub cx: &'a core::DocContext<'a, 'tcx>,
  46     view_item_stack: FxHashSet<ast::NodeId>,
  47     inlining: bool,
  48     /// Is the current module and all of its parents public?
  49     inside_public_path: bool,
  50 }
  51
  52 impl<'a, 'tcx> RustdocVisitor<'a, 'tcx> {
  53     pub fn new(cx: &'a core::DocContext<'a, 'tcx>) -> RustdocVisitor<'a, 'tcx> {
  54         // If the root is reexported, terminate all recursion.
  55         let mut stack = FxHashSet();
  56         stack.insert(ast::CRATE_NODE_ID);
  57         RustdocVisitor {
  58             module: Module::new(None),
  59             attrs: hir::HirVec::new(),
  60             cx: cx,
  61             view_item_stack: stack,
  62             inlining: false,
  63             inside_public_path: true,
  64         }
  65     }
  66
  67     fn stability(&self, id: ast::NodeId) -> Option<attr::Stability> {
  68         self.cx.tcx.map.opt_local_def_id(id)
  69             .and_then(|def_id| self.cx.tcx.lookup_stability(def_id)).cloned()
  70     }
  71
  72     fn deprecation(&self, id: ast::NodeId) -> Option<attr::Deprecation> {
  73         self.cx.tcx.map.opt_local_def_id(id)
  74             .and_then(|def_id| self.cx.tcx.lookup_deprecation(def_id))
  75     }
  76
  77     pub fn visit(&mut self, krate: &hir::Crate) {
  78         self.attrs = krate.attrs.clone();
  79
  80         self.module = self.visit_mod_contents(krate.span,
  81                                               krate.attrs.clone(),
  82                                               hir::Public,
  83                                               ast::CRATE_NODE_ID,
  84                                               &krate.module,
  85                                               None);
  86         // attach the crate's exported macros to the top-level module:
  87         let macro_exports: Vec<_> =
  88             krate.exported_macros.iter().map(|def| self.visit_macro(def)).collect();
  89         self.module.macros.extend(macro_exports);
  90         self.module.is_crate = true;
  91     }
  92
  93     pub fn visit_variant_data(&mut self, item: &hir::Item,
  94                             name: ast::Name, sd: &hir::VariantData,
  95                             generics: &hir::Generics) -> Struct {
  96         debug!("Visiting struct");
  97         let struct_type = struct_type_from_def(&*sd);
  98         Struct {
  99             id: item.id,
 100             struct_type: struct_type,
 101             name: name,
 102             vis: item.vis.clone(),
 103             stab: self.stability(item.id),
 104             depr: self.deprecation(item.id),
 105             attrs: item.attrs.clone(),
 106             generics: generics.clone(),
 107             fields: sd.fields().iter().cloned().collect(),
 108             whence: item.span
 109         }
 110     }
 111
 112     pub fn visit_union_data(&mut self, item: &hir::Item,
 113                             name: ast::Name, sd: &hir::VariantData,
 114                             generics: &hir::Generics) -> Union {
 115         debug!("Visiting union");
 116         let struct_type = struct_type_from_def(&*sd);
 117         Union {
 118             id: item.id,
 119             struct_type: struct_type,
 120             name: name,
 121             vis: item.vis.clone(),
 122             stab: self.stability(item.id),
 123             depr: self.deprecation(item.id),
 124             attrs: item.attrs.clone(),
 125             generics: generics.clone(),
 126             fields: sd.fields().iter().cloned().collect(),
 127             whence: item.span
 128         }
 129     }
 130
 131     pub fn visit_enum_def(&mut self, it: &hir::Item,
 132                           name: ast::Name, def: &hir::EnumDef,
 133                           params: &hir::Generics) -> Enum {
 134         debug!("Visiting enum");
 135         Enum {
 136             name: name,
 137             variants: def.variants.iter().map(|v| Variant {
 138                 name: v.node.name,
 139                 attrs: v.node.attrs.clone(),
 140                 stab: self.stability(v.node.data.id()),
 141                 depr: self.deprecation(v.node.data.id()),
 142                 def: v.node.data.clone(),
 143                 whence: v.span,
 144             }).collect(),
 145             vis: it.vis.clone(),
 146             stab: self.stability(it.id),
 147             depr: self.deprecation(it.id),
 148             generics: params.clone(),
 149             attrs: it.attrs.clone(),
 150             id: it.id,
 151             whence: it.span,
 152         }
 153     }
 154
 155     pub fn visit_fn(&mut self, item: &hir::Item,
 156                     name: ast::Name, fd: &hir::FnDecl,
 157                     unsafety: &hir::Unsafety,
 158                     constness: hir::Constness,
 159                     abi: &abi::Abi,
 160                     gen: &hir::Generics) -> Function {
 161         debug!("Visiting fn");
 162         Function {
 163             id: item.id,
 164             vis: item.vis.clone(),
 165             stab: self.stability(item.id),
 166             depr: self.deprecation(item.id),
 167             attrs: item.attrs.clone(),
 168             decl: fd.clone(),
 169             name: name,
 170             whence: item.span,
 171             generics: gen.clone(),
 172             unsafety: *unsafety,
 173             constness: constness,
 174             abi: *abi,
 175         }
 176     }
 177
 178     pub fn visit_mod_contents(&mut self, span: Span, attrs: hir::HirVec<ast::Attribute>,
 179                               vis: hir::Visibility, id: ast::NodeId,
 180                               m: &hir::Mod,
 181                               name: Option<ast::Name>) -> Module {
 182         let mut om = Module::new(name);
 183         om.where_outer = span;
 184         om.where_inner = m.inner;
 185         om.attrs = attrs;
 186         om.vis = vis.clone();
 187         om.stab = self.stability(id);
 188         om.depr = self.deprecation(id);
 189         om.id = id;
 190         // Keep track of if there were any private modules in the path.
 191         let orig_inside_public_path = self.inside_public_path;
 192         self.inside_public_path &= vis == hir::Public;
 193         for i in &m.item_ids {
 194             let item = self.cx.tcx.map.expect_item(i.id);
 195             self.visit_item(item, None, &mut om);
 196         }
 197         self.inside_public_path = orig_inside_public_path;
 198         if let Some(exports) = self.cx.export_map.get(&id) {
 199             for export in exports {
 200                 if let Def::Macro(def_id) = export.def {
 201                     if def_id.krate == LOCAL_CRATE {
 202                         continue // These are `krate.exported_macros`, handled in `self.visit()`.
 203                     }
 204                     let def = match self.cx.sess().cstore.load_macro(def_id, self.cx.sess()) {
 205                         LoadedMacro::MacroRules(macro_rules) => macro_rules,
 206                         // FIXME(jseyfried): document proc macro reexports
 207                         LoadedMacro::ProcMacro(..) => continue,
 208                     };
 209
 210                     // FIXME(jseyfried) merge with `self.visit_macro()`
 211                     let matchers = def.body.chunks(4).map(|arm| arm[0].get_span()).collect();
 212                     om.macros.push(Macro {
 213                         id: def.id,
 214                         attrs: def.attrs.clone().into(),
 215                         name: def.ident.name,
 216                         whence: def.span,
 217                         matchers: matchers,
 218                         stab: self.stability(def.id),
 219                         depr: self.deprecation(def.id),
 220                         imported_from: def.imported_from.map(|ident| ident.name),
 221                     })
 222                 }
 223             }
 224         }
 225         om
 226     }
 227
 228     /// Tries to resolve the target of a `pub use` statement and inlines the
 229     /// target if it is defined locally and would not be documented otherwise,
 230     /// or when it is specifically requested with `please_inline`.
 231     /// (the latter is the case when the import is marked `doc(inline)`)
 232     ///
 233     /// Cross-crate inlining occurs later on during crate cleaning
 234     /// and follows different rules.
 235     ///
 236     /// Returns true if the target has been inlined.
 237     fn maybe_inline_local(&mut self,
 238                           id: ast::NodeId,
 239                           def: Def,
 240                           renamed: Option<ast::Name>,
 241                           glob: bool,
 242                           om: &mut Module,
 243                           please_inline: bool) -> bool {
 244
 245         fn inherits_doc_hidden(cx: &core::DocContext, mut node: ast::NodeId) -> bool {
 246             while let Some(id) = cx.tcx.map.get_enclosing_scope(node) {
 247                 node = id;
 248                 if cx.tcx.map.attrs(node).lists("doc").has_word("hidden") {
 249                     return true;
 250                 }
 251                 if node == ast::CRATE_NODE_ID {
 252                     break;
 253                 }
 254             }
 255             false
 256         }
 257
 258         let tcx = self.cx.tcx;
 259         if def == Def::Err {
 260             return false;
 261         }
 262         let def_did = def.def_id();
 263
 264         let use_attrs = tcx.map.attrs(id);
 265         // Don't inline doc(hidden) imports so they can be stripped at a later stage.
 266         let is_no_inline = use_attrs.lists("doc").has_word("no_inline") ||
 267                            use_attrs.lists("doc").has_word("hidden");
 268
 269         // For cross-crate impl inlining we need to know whether items are
 270         // reachable in documentation - a previously nonreachable item can be
 271         // made reachable by cross-crate inlining which we're checking here.
 272         // (this is done here because we need to know this upfront)
 273         if !def_did.is_local() && !is_no_inline {
 274             let attrs = clean::inline::load_attrs(self.cx, def_did);
 275             let self_is_hidden = attrs.lists("doc").has_word("hidden");
 276             match def {
 277                 Def::Trait(did) |
 278                 Def::Struct(did) |
 279                 Def::Union(did) |
 280                 Def::Enum(did) |
 281                 Def::TyAlias(did) if !self_is_hidden => {
 282                     self.cx.access_levels.borrow_mut().map.insert(did, AccessLevel::Public);
 283                 },
 284                 Def::Mod(did) => if !self_is_hidden {
 285                     ::visit_lib::LibEmbargoVisitor::new(self.cx).visit_mod(did);
 286                 },
 287                 _ => {},
 288             }
 289             return false
 290         }
 291
 292         let def_node_id = match tcx.map.as_local_node_id(def_did) {
 293             Some(n) => n, None => return false
 294         };
 295
 296         let is_private = !self.cx.access_levels.borrow().is_public(def_did);
 297         let is_hidden = inherits_doc_hidden(self.cx, def_node_id);
 298
 299         // Only inline if requested or if the item would otherwise be stripped
 300         if (!please_inline && !is_private && !is_hidden) || is_no_inline {
 301             return false
 302         }
 303
 304         if !self.view_item_stack.insert(def_node_id) { return false }
 305
 306         let ret = match tcx.map.get(def_node_id) {
 307             hir_map::NodeItem(it) => {
 308                 let prev = mem::replace(&mut self.inlining, true);
 309                 if glob {
 310                     match it.node {
 311                         hir::ItemMod(ref m) => {
 312                             for i in &m.item_ids {
 313                                 let i = self.cx.tcx.map.expect_item(i.id);
 314                                 self.visit_item(i, None, om);
 315                             }
 316                         }
 317                         hir::ItemEnum(..) => {}
 318                         _ => { panic!("glob not mapped to a module or enum"); }
 319                     }
 320                 } else {
 321                     self.visit_item(it, renamed, om);
 322                 }
 323                 self.inlining = prev;
 324                 true
 325             }
 326             _ => false,
 327         };
 328         self.view_item_stack.remove(&def_node_id);
 329         ret
 330     }
 331
 332     pub fn visit_item(&mut self, item: &hir::Item,
 333                       renamed: Option<ast::Name>, om: &mut Module) {
 334         debug!("Visiting item {:?}", item);
 335         let name = renamed.unwrap_or(item.name);
 336         match item.node {
 337             hir::ItemForeignMod(ref fm) => {
 338                 // If inlining we only want to include public functions.
 339                 om.foreigns.push(if self.inlining {
 340                     hir::ForeignMod {
 341                         abi: fm.abi,
 342                         items: fm.items.iter().filter(|i| i.vis == hir::Public).cloned().collect(),
 343                     }
 344                 } else {
 345                     fm.clone()
 346                 });
 347             }
 348             // If we're inlining, skip private items.
 349             _ if self.inlining && item.vis != hir::Public => {}
 350             hir::ItemExternCrate(ref p) => {
 351                 let cstore = &self.cx.sess().cstore;
 352                 om.extern_crates.push(ExternCrate {
 353                     cnum: cstore.extern_mod_stmt_cnum(item.id)
 354                                 .unwrap_or(LOCAL_CRATE),
 355                     name: name,
 356                     path: p.map(|x|x.to_string()),
 357                     vis: item.vis.clone(),
 358                     attrs: item.attrs.clone(),
 359                     whence: item.span,
 360                 })
 361             }
 362             hir::ItemUse(_, hir::UseKind::ListStem) => {}
 363             hir::ItemUse(ref path, kind) => {
 364                 let is_glob = kind == hir::UseKind::Glob;
 365
 366                 // If there was a private module in the current path then don't bother inlining
 367                 // anything as it will probably be stripped anyway.
 368                 if item.vis == hir::Public && self.inside_public_path {
 369                     let please_inline = item.attrs.iter().any(|item| {
 370                         match item.meta_item_list() {
 371                             Some(list) if item.check_name("doc") => {
 372                                 list.iter().any(|i| i.check_name("inline"))
 373                             }
 374                             _ => false,
 375                         }
 376                     });
 377                     let name = if is_glob { None } else { Some(name) };
 378                     if self.maybe_inline_local(item.id,
 379                                                path.def,
 380                                                name,
 381                                                is_glob,
 382                                                om,
 383                                                please_inline) {
 384                         return;
 385                     }
 386                 }
 387
 388                 om.imports.push(Import {
 389                     name: name,
 390                     id: item.id,
 391                     vis: item.vis.clone(),
 392                     attrs: item.attrs.clone(),
 393                     path: (**path).clone(),
 394                     glob: is_glob,
 395                     whence: item.span,
 396                 });
 397             }
 398             hir::ItemMod(ref m) => {
 399                 om.mods.push(self.visit_mod_contents(item.span,
 400                                                      item.attrs.clone(),
 401                                                      item.vis.clone(),
 402                                                      item.id,
 403                                                      m,
 404                                                      Some(name)));
 405             },
 406             hir::ItemEnum(ref ed, ref gen) =>
 407                 om.enums.push(self.visit_enum_def(item, name, ed, gen)),
 408             hir::ItemStruct(ref sd, ref gen) =>
 409                 om.structs.push(self.visit_variant_data(item, name, sd, gen)),
 410             hir::ItemUnion(ref sd, ref gen) =>
 411                 om.unions.push(self.visit_union_data(item, name, sd, gen)),
 412             hir::ItemFn(ref fd, ref unsafety, constness, ref abi, ref gen, _) =>
 413                 om.fns.push(self.visit_fn(item, name, &**fd, unsafety,
 414                                           constness, abi, gen)),
 415             hir::ItemTy(ref ty, ref gen) => {
 416                 let t = Typedef {
 417                     ty: ty.clone(),
 418                     gen: gen.clone(),
 419                     name: name,
 420                     id: item.id,
 421                     attrs: item.attrs.clone(),
 422                     whence: item.span,
 423                     vis: item.vis.clone(),
 424                     stab: self.stability(item.id),
 425                     depr: self.deprecation(item.id),
 426                 };
 427                 om.typedefs.push(t);
 428             },
 429             hir::ItemStatic(ref ty, ref mut_, ref exp) => {
 430                 let s = Static {
 431                     type_: ty.clone(),
 432                     mutability: mut_.clone(),
 433                     expr: exp.clone(),
 434                     id: item.id,
 435                     name: name,
 436                     attrs: item.attrs.clone(),
 437                     whence: item.span,
 438                     vis: item.vis.clone(),
 439                     stab: self.stability(item.id),
 440                     depr: self.deprecation(item.id),
 441                 };
 442                 om.statics.push(s);
 443             },
 444             hir::ItemConst(ref ty, ref exp) => {
 445                 let s = Constant {
 446                     type_: ty.clone(),
 447                     expr: exp.clone(),
 448                     id: item.id,
 449                     name: name,
 450                     attrs: item.attrs.clone(),
 451                     whence: item.span,
 452                     vis: item.vis.clone(),
 453                     stab: self.stability(item.id),
 454                     depr: self.deprecation(item.id),
 455                 };
 456                 om.constants.push(s);
 457             },
 458             hir::ItemTrait(unsafety, ref gen, ref b, ref items) => {
 459                 let t = Trait {
 460                     unsafety: unsafety,
 461                     name: name,
 462                     items: items.clone(),
 463                     generics: gen.clone(),
 464                     bounds: b.iter().cloned().collect(),
 465                     id: item.id,
 466                     attrs: item.attrs.clone(),
 467                     whence: item.span,
 468                     vis: item.vis.clone(),
 469                     stab: self.stability(item.id),
 470                     depr: self.deprecation(item.id),
 471                 };
 472                 om.traits.push(t);
 473             },
 474
 475             hir::ItemImpl(unsafety, polarity, ref gen, ref tr, ref ty, ref item_ids) => {
 476                 // Don't duplicate impls when inlining, we'll pick them up
 477                 // regardless of where they're located.
 478                 if !self.inlining {
 479                     let items = item_ids.iter()
 480                                         .map(|ii| self.cx.tcx.map.impl_item(ii.id).clone())
 481                                         .collect();
 482                     let i = Impl {
 483                         unsafety: unsafety,
 484                         polarity: polarity,
 485                         generics: gen.clone(),
 486                         trait_: tr.clone(),
 487                         for_: ty.clone(),
 488                         items: items,
 489                         attrs: item.attrs.clone(),
 490                         id: item.id,
 491                         whence: item.span,
 492                         vis: item.vis.clone(),
 493                         stab: self.stability(item.id),
 494                         depr: self.deprecation(item.id),
 495                     };
 496                     om.impls.push(i);
 497                 }
 498             },
 499             hir::ItemDefaultImpl(unsafety, ref trait_ref) => {
 500                 // See comment above about ItemImpl.
 501                 if !self.inlining {
 502                     let i = DefaultImpl {
 503                         unsafety: unsafety,
 504                         trait_: trait_ref.clone(),
 505                         id: item.id,
 506                         attrs: item.attrs.clone(),
 507                         whence: item.span,
 508                     };
 509                     om.def_traits.push(i);
 510                 }
 511             }
 512         }
 513     }
 514
 515     // convert each exported_macro into a doc item
 516     fn visit_macro(&self, def: &hir::MacroDef) -> Macro {
 517         // Extract the spans of all matchers. They represent the "interface" of the macro.
 518         let matchers = def.body.chunks(4).map(|arm| arm[0].get_span()).collect();
 519
 520         Macro {
 521             id: def.id,
 522             attrs: def.attrs.clone(),
 523             name: def.name,
 524             whence: def.span,
 525             matchers: matchers,
 526             stab: self.stability(def.id),
 527             depr: self.deprecation(def.id),
 528             imported_from: def.imported_from,
 529         }
 530     }
 531 }