crates/ide/src/doc_links.rs

   1 //! Extracts, resolves and rewrites links and intra-doc links in markdown documentation.
   2
   3 #[cfg(test)]
   4 mod tests;
   5
   6 mod intra_doc_links;
   7
   8 use pulldown_cmark::{BrokenLink, CowStr, Event, InlineStr, LinkType, Options, Parser, Tag};
   9 use pulldown_cmark_to_cmark::{cmark_resume_with_options, Options as CMarkOptions};
  10 use stdx::format_to;
  11 use url::Url;
  12
  13 use hir::{db::HirDatabase, Adt, AsAssocItem, AssocItem, AssocItemContainer, Crate, HasAttrs};
  14 use ide_db::{
  15     defs::{Definition, NameClass, NameRefClass},
  16     helpers::pick_best_token,
  17     RootDatabase,
  18 };
  19 use syntax::{
  20     ast::{self, IsString},
  21     match_ast, AstNode, AstToken,
  22     SyntaxKind::*,
  23     SyntaxNode, SyntaxToken, TextRange, TextSize, T,
  24 };
  25
  26 use crate::{
  27     doc_links::intra_doc_links::{parse_intra_doc_link, strip_prefixes_suffixes},
  28     FilePosition, Semantics,
  29 };
  30
  31 /// Weblink to an item's documentation.
  32 pub(crate) type DocumentationLink = String;
  33
  34 const MARKDOWN_OPTIONS: Options =
  35     Options::ENABLE_FOOTNOTES.union(Options::ENABLE_TABLES).union(Options::ENABLE_TASKLISTS);
  36
  37 /// Rewrite documentation links in markdown to point to an online host (e.g. docs.rs)
  38 pub(crate) fn rewrite_links(db: &RootDatabase, markdown: &str, definition: Definition) -> String {
  39     let mut cb = broken_link_clone_cb;
  40     let doc = Parser::new_with_broken_link_callback(markdown, MARKDOWN_OPTIONS, Some(&mut cb));
  41
  42     let doc = map_links(doc, |target, title| {
  43         // This check is imperfect, there's some overlap between valid intra-doc links
  44         // and valid URLs so we choose to be too eager to try to resolve what might be
  45         // a URL.
  46         if target.contains("://") {
  47             (target.to_string(), title.to_string())
  48         } else {
  49             // Two possibilities:
  50             // * path-based links: `../../module/struct.MyStruct.html`
  51             // * module-based links (AKA intra-doc links): `super::super::module::MyStruct`
  52             if let Some(rewritten) = rewrite_intra_doc_link(db, definition, target, title) {
  53                 return rewritten;
  54             }
  55             if let Some(target) = rewrite_url_link(db, definition, target) {
  56                 return (target, title.to_string());
  57             }
  58
  59             (target.to_string(), title.to_string())
  60         }
  61     });
  62     let mut out = String::new();
  63     cmark_resume_with_options(
  64         doc,
  65         &mut out,
  66         None,
  67         CMarkOptions { code_block_token_count: 3, ..Default::default() },
  68     )
  69     .ok();
  70     out
  71 }
  72
  73 /// Remove all links in markdown documentation.
  74 pub(crate) fn remove_links(markdown: &str) -> String {
  75     let mut drop_link = false;
  76
  77     let mut cb = |_: BrokenLink| {
  78         let empty = InlineStr::try_from("").unwrap();
  79         Some((CowStr::Inlined(empty), CowStr::Inlined(empty)))
  80     };
  81     let doc = Parser::new_with_broken_link_callback(markdown, MARKDOWN_OPTIONS, Some(&mut cb));
  82     let doc = doc.filter_map(move |evt| match evt {
  83         Event::Start(Tag::Link(link_type, target, title)) => {
  84             if link_type == LinkType::Inline && target.contains("://") {
  85                 Some(Event::Start(Tag::Link(link_type, target, title)))
  86             } else {
  87                 drop_link = true;
  88                 None
  89             }
  90         }
  91         Event::End(_) if drop_link => {
  92             drop_link = false;
  93             None
  94         }
  95         _ => Some(evt),
  96     });
  97
  98     let mut out = String::new();
  99     cmark_resume_with_options(
 100         doc,
 101         &mut out,
 102         None,
 103         CMarkOptions { code_block_token_count: 3, ..Default::default() },
 104     )
 105     .ok();
 106     out
 107 }
 108
 109 /// Retrieve a link to documentation for the given symbol.
 110 pub(crate) fn external_docs(
 111     db: &RootDatabase,
 112     position: &FilePosition,
 113 ) -> Option<DocumentationLink> {
 114     let sema = &Semantics::new(db);
 115     let file = sema.parse(position.file_id).syntax().clone();
 116     let token = pick_best_token(file.token_at_offset(position.offset), |kind| match kind {
 117         IDENT | INT_NUMBER | T![self] => 3,
 118         T!['('] | T![')'] => 2,
 119         kind if kind.is_trivia() => 0,
 120         _ => 1,
 121     })?;
 122     let token = sema.descend_into_macros_single(token);
 123
 124     let node = token.parent()?;
 125     let definition = match_ast! {
 126         match node {
 127             ast::NameRef(name_ref) => match NameRefClass::classify(sema, &name_ref)? {
 128                 NameRefClass::Definition(def) => def,
 129                 NameRefClass::FieldShorthand { local_ref: _, field_ref } => {
 130                     Definition::Field(field_ref)
 131                 }
 132             },
 133             ast::Name(name) => match NameClass::classify(sema, &name)? {
 134                 NameClass::Definition(it) | NameClass::ConstReference(it) => it,
 135                 NameClass::PatFieldShorthand { local_def: _, field_ref } => Definition::Field(field_ref),
 136             },
 137             _ => return None,
 138         }
 139     };
 140
 141     get_doc_link(db, definition)
 142 }
 143
 144 /// Extracts all links from a given markdown text returning the definition text range, link-text
 145 /// and the namespace if known.
 146 pub(crate) fn extract_definitions_from_docs(
 147     docs: &hir::Documentation,
 148 ) -> Vec<(TextRange, String, Option<hir::Namespace>)> {
 149     Parser::new_with_broken_link_callback(
 150         docs.as_str(),
 151         MARKDOWN_OPTIONS,
 152         Some(&mut broken_link_clone_cb),
 153     )
 154     .into_offset_iter()
 155     .filter_map(|(event, range)| match event {
 156         Event::Start(Tag::Link(_, target, _)) => {
 157             let (link, ns) = parse_intra_doc_link(&target);
 158             Some((
 159                 TextRange::new(range.start.try_into().ok()?, range.end.try_into().ok()?),
 160                 link.to_string(),
 161                 ns,
 162             ))
 163         }
 164         _ => None,
 165     })
 166     .collect()
 167 }
 168
 169 pub(crate) fn resolve_doc_path_for_def(
 170     db: &dyn HirDatabase,
 171     def: Definition,
 172     link: &str,
 173     ns: Option<hir::Namespace>,
 174 ) -> Option<Definition> {
 175     match def {
 176         Definition::Module(it) => it.resolve_doc_path(db, link, ns),
 177         Definition::Function(it) => it.resolve_doc_path(db, link, ns),
 178         Definition::Adt(it) => it.resolve_doc_path(db, link, ns),
 179         Definition::Variant(it) => it.resolve_doc_path(db, link, ns),
 180         Definition::Const(it) => it.resolve_doc_path(db, link, ns),
 181         Definition::Static(it) => it.resolve_doc_path(db, link, ns),
 182         Definition::Trait(it) => it.resolve_doc_path(db, link, ns),
 183         Definition::TypeAlias(it) => it.resolve_doc_path(db, link, ns),
 184         Definition::Macro(it) => it.resolve_doc_path(db, link, ns),
 185         Definition::Field(it) => it.resolve_doc_path(db, link, ns),
 186         Definition::BuiltinAttr(_)
 187         | Definition::ToolModule(_)
 188         | Definition::BuiltinType(_)
 189         | Definition::SelfType(_)
 190         | Definition::Local(_)
 191         | Definition::GenericParam(_)
 192         | Definition::Label(_) => None,
 193     }
 194     .map(Definition::from)
 195 }
 196
 197 pub(crate) fn doc_attributes(
 198     sema: &Semantics<RootDatabase>,
 199     node: &SyntaxNode,
 200 ) -> Option<(hir::AttrsWithOwner, Definition)> {
 201     match_ast! {
 202         match node {
 203             ast::SourceFile(it)  => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::Module(def))),
 204             ast::Module(it)      => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::Module(def))),
 205             ast::Fn(it)          => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::Function(def))),
 206             ast::Struct(it)      => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::Adt(hir::Adt::Struct(def)))),
 207             ast::Union(it)       => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::Adt(hir::Adt::Union(def)))),
 208             ast::Enum(it)        => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::Adt(hir::Adt::Enum(def)))),
 209             ast::Variant(it)     => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::Variant(def))),
 210             ast::Trait(it)       => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::Trait(def))),
 211             ast::Static(it)      => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::Static(def))),
 212             ast::Const(it)       => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::Const(def))),
 213             ast::TypeAlias(it)   => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::TypeAlias(def))),
 214             ast::Impl(it)        => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::SelfType(def))),
 215             ast::RecordField(it) => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::Field(def))),
 216             ast::TupleField(it)  => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::Field(def))),
 217             ast::Macro(it)       => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::Macro(def))),
 218             // ast::Use(it) => sema.to_def(&it).map(|def| (Box::new(it) as _, def.attrs(sema.db))),
 219             _ => None
 220         }
 221     }
 222 }
 223
 224 pub(crate) struct DocCommentToken {
 225     doc_token: SyntaxToken,
 226     prefix_len: TextSize,
 227 }
 228
 229 pub(crate) fn token_as_doc_comment(doc_token: &SyntaxToken) -> Option<DocCommentToken> {
 230     (match_ast! {
 231         match doc_token {
 232             ast::Comment(comment) => TextSize::try_from(comment.prefix().len()).ok(),
 233             ast::String(string) => doc_token.ancestors().find_map(ast::Attr::cast)
 234                 .filter(|attr| attr.simple_name().as_deref() == Some("doc")).and_then(|_| string.open_quote_text_range().map(|it| it.len())),
 235             _ => None,
 236         }
 237     }).map(|prefix_len| DocCommentToken { prefix_len, doc_token: doc_token.clone() })
 238 }
 239
 240 impl DocCommentToken {
 241     pub(crate) fn get_definition_with_descend_at<T>(
 242         self,
 243         sema: &Semantics<RootDatabase>,
 244         offset: TextSize,
 245         // Definition, CommentOwner, range of intra doc link in original file
 246         mut cb: impl FnMut(Definition, SyntaxNode, TextRange) -> Option<T>,
 247     ) -> Option<T> {
 248         let DocCommentToken { prefix_len, doc_token } = self;
 249         // offset relative to the comments contents
 250         let original_start = doc_token.text_range().start();
 251         let relative_comment_offset = offset - original_start - prefix_len;
 252
 253         sema.descend_into_macros(doc_token).into_iter().find_map(|t| {
 254             let (node, descended_prefix_len) = match_ast! {
 255                 match t {
 256                     ast::Comment(comment) => (t.parent()?, TextSize::try_from(comment.prefix().len()).ok()?),
 257                     ast::String(string) => (t.ancestors().skip_while(|n| n.kind() != ATTR).nth(1)?, string.open_quote_text_range()?.len()),
 258                     _ => return None,
 259                 }
 260             };
 261             let token_start = t.text_range().start();
 262             let abs_in_expansion_offset = token_start + relative_comment_offset + descended_prefix_len;
 263
 264             let (attributes, def) = doc_attributes(sema, &node)?;
 265             let (docs, doc_mapping) = attributes.docs_with_rangemap(sema.db)?;
 266             let (in_expansion_range, link, ns) =
 267                 extract_definitions_from_docs(&docs).into_iter().find_map(|(range, link, ns)| {
 268                     let mapped = doc_mapping.map(range)?;
 269                     (mapped.value.contains(abs_in_expansion_offset)).then(|| (mapped.value, link, ns))
 270                 })?;
 271             // get the relative range to the doc/attribute in the expansion
 272             let in_expansion_relative_range = in_expansion_range - descended_prefix_len - token_start;
 273             // Apply relative range to the original input comment
 274             let absolute_range = in_expansion_relative_range + original_start + prefix_len;
 275             let def = resolve_doc_path_for_def(sema.db, def, &link, ns)?;
 276             cb(def, node, absolute_range)
 277         })
 278     }
 279 }
 280
 281 fn broken_link_clone_cb<'a>(link: BrokenLink<'a>) -> Option<(CowStr<'a>, CowStr<'a>)> {
 282     Some((/*url*/ link.reference.clone(), /*title*/ link.reference))
 283 }
 284
 285 // FIXME:
 286 // BUG: For Option::Some
 287 // Returns https://doc.rust-lang.org/nightly/core/prelude/v1/enum.Option.html#variant.Some
 288 // Instead of https://doc.rust-lang.org/nightly/core/option/enum.Option.html
 289 //
 290 // This should cease to be a problem if RFC2988 (Stable Rustdoc URLs) is implemented
 291 // https://github.com/rust-lang/rfcs/pull/2988
 292 fn get_doc_link(db: &RootDatabase, def: Definition) -> Option<String> {
 293     let (target, file, frag) = filename_and_frag_for_def(db, def)?;
 294
 295     let krate = crate_of_def(db, target)?;
 296     let mut url = get_doc_base_url(db, &krate)?;
 297
 298     if let Some(path) = mod_path_of_def(db, target) {
 299         url = url.join(&path).ok()?;
 300     }
 301
 302     url = url.join(&file).ok()?;
 303     url.set_fragment(frag.as_deref());
 304
 305     Some(url.into())
 306 }
 307
 308 fn rewrite_intra_doc_link(
 309     db: &RootDatabase,
 310     def: Definition,
 311     target: &str,
 312     title: &str,
 313 ) -> Option<(String, String)> {
 314     let (link, ns) = parse_intra_doc_link(target);
 315
 316     let resolved = resolve_doc_path_for_def(db, def, link, ns)?;
 317     let krate = crate_of_def(db, resolved)?;
 318     let mut url = get_doc_base_url(db, &krate)?;
 319
 320     let (_, file, frag) = filename_and_frag_for_def(db, resolved)?;
 321     if let Some(path) = mod_path_of_def(db, resolved) {
 322         url = url.join(&path).ok()?;
 323     }
 324
 325     url = url.join(&file).ok()?;
 326     url.set_fragment(frag.as_deref());
 327
 328     Some((url.into(), strip_prefixes_suffixes(title).to_string()))
 329 }
 330
 331 /// Try to resolve path to local documentation via path-based links (i.e. `../gateway/struct.Shard.html`).
 332 fn rewrite_url_link(db: &RootDatabase, def: Definition, target: &str) -> Option<String> {
 333     if !(target.contains('#') || target.contains(".html")) {
 334         return None;
 335     }
 336
 337     let krate = crate_of_def(db, def)?;
 338     let mut url = get_doc_base_url(db, &krate)?;
 339     let (def, file, frag) = filename_and_frag_for_def(db, def)?;
 340
 341     if let Some(path) = mod_path_of_def(db, def) {
 342         url = url.join(&path).ok()?;
 343     }
 344
 345     url = url.join(&file).ok()?;
 346     url.set_fragment(frag.as_deref());
 347     url.join(target).ok().map(Into::into)
 348 }
 349
 350 fn crate_of_def(db: &RootDatabase, def: Definition) -> Option<Crate> {
 351     let krate = match def {
 352         // Definition::module gives back the parent module, we don't want that as it fails for root modules
 353         Definition::Module(module) => module.krate(),
 354         def => def.module(db)?.krate(),
 355     };
 356     Some(krate)
 357 }
 358
 359 fn mod_path_of_def(db: &RootDatabase, def: Definition) -> Option<String> {
 360     def.canonical_module_path(db).map(|it| {
 361         let mut path = String::new();
 362         it.flat_map(|it| it.name(db)).for_each(|name| format_to!(path, "{}/", name));
 363         path
 364     })
 365 }
 366
 367 /// Rewrites a markdown document, applying 'callback' to each link.
 368 fn map_links<'e>(
 369     events: impl Iterator<Item = Event<'e>>,
 370     callback: impl Fn(&str, &str) -> (String, String),
 371 ) -> impl Iterator<Item = Event<'e>> {
 372     let mut in_link = false;
 373     let mut link_target: Option<CowStr> = None;
 374
 375     events.map(move |evt| match evt {
 376         Event::Start(Tag::Link(_, ref target, _)) => {
 377             in_link = true;
 378             link_target = Some(target.clone());
 379             evt
 380         }
 381         Event::End(Tag::Link(link_type, target, _)) => {
 382             in_link = false;
 383             Event::End(Tag::Link(
 384                 link_type,
 385                 link_target.take().unwrap_or(target),
 386                 CowStr::Borrowed(""),
 387             ))
 388         }
 389         Event::Text(s) if in_link => {
 390             let (link_target_s, link_name) = callback(&link_target.take().unwrap(), &s);
 391             link_target = Some(CowStr::Boxed(link_target_s.into()));
 392             Event::Text(CowStr::Boxed(link_name.into()))
 393         }
 394         Event::Code(s) if in_link => {
 395             let (link_target_s, link_name) = callback(&link_target.take().unwrap(), &s);
 396             link_target = Some(CowStr::Boxed(link_target_s.into()));
 397             Event::Code(CowStr::Boxed(link_name.into()))
 398         }
 399         _ => evt,
 400     })
 401 }
 402
 403 /// Get the root URL for the documentation of a crate.
 404 ///
 405 /// ```ignore
 406 /// https://doc.rust-lang.org/std/iter/trait.Iterator.html#tymethod.next
 407 /// ^^^^^^^^^^^^^^^^^^^^^^^^^^
 408 /// ```
 409 fn get_doc_base_url(db: &RootDatabase, krate: &Crate) -> Option<Url> {
 410     let display_name = krate.display_name(db)?;
 411     let base = match &**display_name.crate_name() {
 412         // std and co do not specify `html_root_url` any longer so we gotta handwrite this ourself.
 413         // FIXME: Use the toolchains channel instead of nightly
 414         name @ ("core" | "std" | "alloc" | "proc_macro" | "test") => {
 415             format!("https://doc.rust-lang.org/nightly/{}", name)
 416         }
 417         _ => {
 418             krate.get_html_root_url(db).or_else(|| {
 419                 let version = krate.version(db);
 420                 // Fallback to docs.rs. This uses `display_name` and can never be
 421                 // correct, but that's what fallbacks are about.
 422                 //
 423                 // FIXME: clicking on the link should just open the file in the editor,
 424                 // instead of falling back to external urls.
 425                 Some(format!(
 426                     "https://docs.rs/{krate}/{version}/",
 427                     krate = display_name,
 428                     version = version.as_deref().unwrap_or("*")
 429                 ))
 430             })?
 431         }
 432     };
 433     Url::parse(&base).ok()?.join(&format!("{}/", display_name)).ok()
 434 }
 435
 436 /// Get the filename and extension generated for a symbol by rustdoc.
 437 ///
 438 /// ```ignore
 439 /// https://doc.rust-lang.org/std/iter/trait.Iterator.html#tymethod.next
 440 ///                                    ^^^^^^^^^^^^^^^^^^^
 441 /// ```
 442 fn filename_and_frag_for_def(
 443     db: &dyn HirDatabase,
 444     def: Definition,
 445 ) -> Option<(Definition, String, Option<String>)> {
 446     if let Some(assoc_item) = def.as_assoc_item(db) {
 447         let def = match assoc_item.container(db) {
 448             AssocItemContainer::Trait(t) => t.into(),
 449             AssocItemContainer::Impl(i) => i.self_ty(db).as_adt()?.into(),
 450         };
 451         let (_, file, _) = filename_and_frag_for_def(db, def)?;
 452         let frag = get_assoc_item_fragment(db, assoc_item)?;
 453         return Some((def, file, Some(frag)));
 454     }
 455
 456     let res = match def {
 457         Definition::Adt(adt) => match adt {
 458             Adt::Struct(s) => format!("struct.{}.html", s.name(db)),
 459             Adt::Enum(e) => format!("enum.{}.html", e.name(db)),
 460             Adt::Union(u) => format!("union.{}.html", u.name(db)),
 461         },
 462         Definition::Module(m) => match m.name(db) {
 463             Some(name) => format!("{}/index.html", name),
 464             None => String::from("index.html"),
 465         },
 466         Definition::Trait(t) => format!("trait.{}.html", t.name(db)),
 467         Definition::TypeAlias(t) => format!("type.{}.html", t.name(db)),
 468         Definition::BuiltinType(t) => format!("primitive.{}.html", t.name()),
 469         Definition::Function(f) => format!("fn.{}.html", f.name(db)),
 470         Definition::Variant(ev) => {
 471             format!("enum.{}.html#variant.{}", ev.parent_enum(db).name(db), ev.name(db))
 472         }
 473         Definition::Const(c) => format!("const.{}.html", c.name(db)?),
 474         Definition::Static(s) => format!("static.{}.html", s.name(db)),
 475         Definition::Macro(mac) => format!("macro.{}.html", mac.name(db)),
 476         Definition::Field(field) => {
 477             let def = match field.parent_def(db) {
 478                 hir::VariantDef::Struct(it) => Definition::Adt(it.into()),
 479                 hir::VariantDef::Union(it) => Definition::Adt(it.into()),
 480                 hir::VariantDef::Variant(it) => Definition::Variant(it),
 481             };
 482             let (_, file, _) = filename_and_frag_for_def(db, def)?;
 483             return Some((def, file, Some(format!("structfield.{}", field.name(db)))));
 484         }
 485         Definition::SelfType(impl_) => {
 486             let adt = impl_.self_ty(db).as_adt()?.into();
 487             let (_, file, _) = filename_and_frag_for_def(db, adt)?;
 488             // FIXME fragment numbering
 489             return Some((adt, file, Some(String::from("impl"))));
 490         }
 491         Definition::Local(_)
 492         | Definition::GenericParam(_)
 493         | Definition::Label(_)
 494         | Definition::BuiltinAttr(_)
 495         | Definition::ToolModule(_) => return None,
 496     };
 497
 498     Some((def, res, None))
 499 }
 500
 501 /// Get the fragment required to link to a specific field, method, associated type, or associated constant.
 502 ///
 503 /// ```ignore
 504 /// https://doc.rust-lang.org/std/iter/trait.Iterator.html#tymethod.next
 505 ///                                                       ^^^^^^^^^^^^^^
 506 /// ```
 507 fn get_assoc_item_fragment(db: &dyn HirDatabase, assoc_item: hir::AssocItem) -> Option<String> {
 508     Some(match assoc_item {
 509         AssocItem::Function(function) => {
 510             let is_trait_method =
 511                 function.as_assoc_item(db).and_then(|assoc| assoc.containing_trait(db)).is_some();
 512             // This distinction may get more complicated when specialization is available.
 513             // Rustdoc makes this decision based on whether a method 'has defaultness'.
 514             // Currently this is only the case for provided trait methods.
 515             if is_trait_method && !function.has_body(db) {
 516                 format!("tymethod.{}", function.name(db))
 517             } else {
 518                 format!("method.{}", function.name(db))
 519             }
 520         }
 521         AssocItem::Const(constant) => format!("associatedconstant.{}", constant.name(db)?),
 522         AssocItem::TypeAlias(ty) => format!("associatedtype.{}", ty.name(db)),
 523     })
 524 }