]> git.lizzy.rs Git - rust.git/blob - crates/ide/src/doc_links.rs
Auto merge of #12455 - bitgaoshu:fix_12441, r=flodiebold
[rust.git] / crates / ide / src / doc_links.rs
1 //! Extracts, resolves and rewrites links and intra-doc links in markdown documentation.
2
3 #[cfg(test)]
4 mod tests;
5
6 mod intra_doc_links;
7
8 use pulldown_cmark::{BrokenLink, CowStr, Event, InlineStr, LinkType, Options, Parser, Tag};
9 use pulldown_cmark_to_cmark::{cmark_resume_with_options, Options as CMarkOptions};
10 use stdx::format_to;
11 use url::Url;
12
13 use hir::{db::HirDatabase, Adt, AsAssocItem, AssocItem, AssocItemContainer, HasAttrs};
14 use ide_db::{
15     base_db::{CrateOrigin, LangCrateOrigin, SourceDatabase},
16     defs::{Definition, NameClass, NameRefClass},
17     helpers::pick_best_token,
18     RootDatabase,
19 };
20 use syntax::{
21     ast::{self, IsString},
22     match_ast, AstNode, AstToken,
23     SyntaxKind::*,
24     SyntaxNode, SyntaxToken, TextRange, TextSize, T,
25 };
26
27 use crate::{
28     doc_links::intra_doc_links::{parse_intra_doc_link, strip_prefixes_suffixes},
29     FilePosition, Semantics,
30 };
31
32 /// Weblink to an item's documentation.
33 pub(crate) type DocumentationLink = String;
34
35 const MARKDOWN_OPTIONS: Options =
36     Options::ENABLE_FOOTNOTES.union(Options::ENABLE_TABLES).union(Options::ENABLE_TASKLISTS);
37
38 /// Rewrite documentation links in markdown to point to an online host (e.g. docs.rs)
39 pub(crate) fn rewrite_links(db: &RootDatabase, markdown: &str, definition: Definition) -> String {
40     let mut cb = broken_link_clone_cb;
41     let doc = Parser::new_with_broken_link_callback(markdown, MARKDOWN_OPTIONS, Some(&mut cb));
42
43     let doc = map_links(doc, |target, title| {
44         // This check is imperfect, there's some overlap between valid intra-doc links
45         // and valid URLs so we choose to be too eager to try to resolve what might be
46         // a URL.
47         if target.contains("://") {
48             (Some(LinkType::Inline), target.to_string(), title.to_string())
49         } else {
50             // Two possibilities:
51             // * path-based links: `../../module/struct.MyStruct.html`
52             // * module-based links (AKA intra-doc links): `super::super::module::MyStruct`
53             if let Some((target, title)) = rewrite_intra_doc_link(db, definition, target, title) {
54                 return (None, target, title);
55             }
56             if let Some(target) = rewrite_url_link(db, definition, target) {
57                 return (Some(LinkType::Inline), target, title.to_string());
58             }
59
60             (None, target.to_string(), title.to_string())
61         }
62     });
63     let mut out = String::new();
64     cmark_resume_with_options(
65         doc,
66         &mut out,
67         None,
68         CMarkOptions { code_block_token_count: 3, ..Default::default() },
69     )
70     .ok();
71     out
72 }
73
74 /// Remove all links in markdown documentation.
75 pub(crate) fn remove_links(markdown: &str) -> String {
76     let mut drop_link = false;
77
78     let mut cb = |_: BrokenLink| {
79         let empty = InlineStr::try_from("").unwrap();
80         Some((CowStr::Inlined(empty), CowStr::Inlined(empty)))
81     };
82     let doc = Parser::new_with_broken_link_callback(markdown, MARKDOWN_OPTIONS, Some(&mut cb));
83     let doc = doc.filter_map(move |evt| match evt {
84         Event::Start(Tag::Link(link_type, target, title)) => {
85             if link_type == LinkType::Inline && target.contains("://") {
86                 Some(Event::Start(Tag::Link(link_type, target, title)))
87             } else {
88                 drop_link = true;
89                 None
90             }
91         }
92         Event::End(_) if drop_link => {
93             drop_link = false;
94             None
95         }
96         _ => Some(evt),
97     });
98
99     let mut out = String::new();
100     cmark_resume_with_options(
101         doc,
102         &mut out,
103         None,
104         CMarkOptions { code_block_token_count: 3, ..Default::default() },
105     )
106     .ok();
107     out
108 }
109
110 /// Retrieve a link to documentation for the given symbol.
111 pub(crate) fn external_docs(
112     db: &RootDatabase,
113     position: &FilePosition,
114 ) -> Option<DocumentationLink> {
115     let sema = &Semantics::new(db);
116     let file = sema.parse(position.file_id).syntax().clone();
117     let token = pick_best_token(file.token_at_offset(position.offset), |kind| match kind {
118         IDENT | INT_NUMBER | T![self] => 3,
119         T!['('] | T![')'] => 2,
120         kind if kind.is_trivia() => 0,
121         _ => 1,
122     })?;
123     let token = sema.descend_into_macros_single(token);
124
125     let node = token.parent()?;
126     let definition = match_ast! {
127         match node {
128             ast::NameRef(name_ref) => match NameRefClass::classify(sema, &name_ref)? {
129                 NameRefClass::Definition(def) => def,
130                 NameRefClass::FieldShorthand { local_ref: _, field_ref } => {
131                     Definition::Field(field_ref)
132                 }
133             },
134             ast::Name(name) => match NameClass::classify(sema, &name)? {
135                 NameClass::Definition(it) | NameClass::ConstReference(it) => it,
136                 NameClass::PatFieldShorthand { local_def: _, field_ref } => Definition::Field(field_ref),
137             },
138             _ => return None,
139         }
140     };
141
142     get_doc_link(db, definition)
143 }
144
145 /// Extracts all links from a given markdown text returning the definition text range, link-text
146 /// and the namespace if known.
147 pub(crate) fn extract_definitions_from_docs(
148     docs: &hir::Documentation,
149 ) -> Vec<(TextRange, String, Option<hir::Namespace>)> {
150     Parser::new_with_broken_link_callback(
151         docs.as_str(),
152         MARKDOWN_OPTIONS,
153         Some(&mut broken_link_clone_cb),
154     )
155     .into_offset_iter()
156     .filter_map(|(event, range)| match event {
157         Event::Start(Tag::Link(_, target, _)) => {
158             let (link, ns) = parse_intra_doc_link(&target);
159             Some((
160                 TextRange::new(range.start.try_into().ok()?, range.end.try_into().ok()?),
161                 link.to_string(),
162                 ns,
163             ))
164         }
165         _ => None,
166     })
167     .collect()
168 }
169
170 pub(crate) fn resolve_doc_path_for_def(
171     db: &dyn HirDatabase,
172     def: Definition,
173     link: &str,
174     ns: Option<hir::Namespace>,
175 ) -> Option<Definition> {
176     match def {
177         Definition::Module(it) => it.resolve_doc_path(db, link, ns),
178         Definition::Function(it) => it.resolve_doc_path(db, link, ns),
179         Definition::Adt(it) => it.resolve_doc_path(db, link, ns),
180         Definition::Variant(it) => it.resolve_doc_path(db, link, ns),
181         Definition::Const(it) => it.resolve_doc_path(db, link, ns),
182         Definition::Static(it) => it.resolve_doc_path(db, link, ns),
183         Definition::Trait(it) => it.resolve_doc_path(db, link, ns),
184         Definition::TypeAlias(it) => it.resolve_doc_path(db, link, ns),
185         Definition::Macro(it) => it.resolve_doc_path(db, link, ns),
186         Definition::Field(it) => it.resolve_doc_path(db, link, ns),
187         Definition::BuiltinAttr(_)
188         | Definition::ToolModule(_)
189         | Definition::BuiltinType(_)
190         | Definition::SelfType(_)
191         | Definition::Local(_)
192         | Definition::GenericParam(_)
193         | Definition::Label(_) => None,
194     }
195     .map(Definition::from)
196 }
197
198 pub(crate) fn doc_attributes(
199     sema: &Semantics<RootDatabase>,
200     node: &SyntaxNode,
201 ) -> Option<(hir::AttrsWithOwner, Definition)> {
202     match_ast! {
203         match node {
204             ast::SourceFile(it)  => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::Module(def))),
205             ast::Module(it)      => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::Module(def))),
206             ast::Fn(it)          => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::Function(def))),
207             ast::Struct(it)      => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::Adt(hir::Adt::Struct(def)))),
208             ast::Union(it)       => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::Adt(hir::Adt::Union(def)))),
209             ast::Enum(it)        => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::Adt(hir::Adt::Enum(def)))),
210             ast::Variant(it)     => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::Variant(def))),
211             ast::Trait(it)       => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::Trait(def))),
212             ast::Static(it)      => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::Static(def))),
213             ast::Const(it)       => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::Const(def))),
214             ast::TypeAlias(it)   => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::TypeAlias(def))),
215             ast::Impl(it)        => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::SelfType(def))),
216             ast::RecordField(it) => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::Field(def))),
217             ast::TupleField(it)  => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::Field(def))),
218             ast::Macro(it)       => sema.to_def(&it).map(|def| (def.attrs(sema.db), Definition::Macro(def))),
219             // ast::Use(it) => sema.to_def(&it).map(|def| (Box::new(it) as _, def.attrs(sema.db))),
220             _ => None
221         }
222     }
223 }
224
225 pub(crate) struct DocCommentToken {
226     doc_token: SyntaxToken,
227     prefix_len: TextSize,
228 }
229
230 pub(crate) fn token_as_doc_comment(doc_token: &SyntaxToken) -> Option<DocCommentToken> {
231     (match_ast! {
232         match doc_token {
233             ast::Comment(comment) => TextSize::try_from(comment.prefix().len()).ok(),
234             ast::String(string) => doc_token.parent_ancestors().find_map(ast::Attr::cast)
235                 .filter(|attr| attr.simple_name().as_deref() == Some("doc")).and_then(|_| string.open_quote_text_range().map(|it| it.len())),
236             _ => None,
237         }
238     }).map(|prefix_len| DocCommentToken { prefix_len, doc_token: doc_token.clone() })
239 }
240
241 impl DocCommentToken {
242     pub(crate) fn get_definition_with_descend_at<T>(
243         self,
244         sema: &Semantics<RootDatabase>,
245         offset: TextSize,
246         // Definition, CommentOwner, range of intra doc link in original file
247         mut cb: impl FnMut(Definition, SyntaxNode, TextRange) -> Option<T>,
248     ) -> Option<T> {
249         let DocCommentToken { prefix_len, doc_token } = self;
250         // offset relative to the comments contents
251         let original_start = doc_token.text_range().start();
252         let relative_comment_offset = offset - original_start - prefix_len;
253
254         sema.descend_into_macros(doc_token).into_iter().find_map(|t| {
255             let (node, descended_prefix_len) = match_ast! {
256                 match t {
257                     ast::Comment(comment) => (t.parent()?, TextSize::try_from(comment.prefix().len()).ok()?),
258                     ast::String(string) => (t.parent_ancestors().skip_while(|n| n.kind() != ATTR).nth(1)?, string.open_quote_text_range()?.len()),
259                     _ => return None,
260                 }
261             };
262             let token_start = t.text_range().start();
263             let abs_in_expansion_offset = token_start + relative_comment_offset + descended_prefix_len;
264
265             let (attributes, def) = doc_attributes(sema, &node)?;
266             let (docs, doc_mapping) = attributes.docs_with_rangemap(sema.db)?;
267             let (in_expansion_range, link, ns) =
268                 extract_definitions_from_docs(&docs).into_iter().find_map(|(range, link, ns)| {
269                     let mapped = doc_mapping.map(range)?;
270                     (mapped.value.contains(abs_in_expansion_offset)).then(|| (mapped.value, link, ns))
271                 })?;
272             // get the relative range to the doc/attribute in the expansion
273             let in_expansion_relative_range = in_expansion_range - descended_prefix_len - token_start;
274             // Apply relative range to the original input comment
275             let absolute_range = in_expansion_relative_range + original_start + prefix_len;
276             let def = resolve_doc_path_for_def(sema.db, def, &link, ns)?;
277             cb(def, node, absolute_range)
278         })
279     }
280 }
281
282 fn broken_link_clone_cb<'a>(link: BrokenLink<'a>) -> Option<(CowStr<'a>, CowStr<'a>)> {
283     Some((/*url*/ link.reference.clone(), /*title*/ link.reference))
284 }
285
286 // FIXME:
287 // BUG: For Option::Some
288 // Returns https://doc.rust-lang.org/nightly/core/prelude/v1/enum.Option.html#variant.Some
289 // Instead of https://doc.rust-lang.org/nightly/core/option/enum.Option.html
290 //
291 // This should cease to be a problem if RFC2988 (Stable Rustdoc URLs) is implemented
292 // https://github.com/rust-lang/rfcs/pull/2988
293 fn get_doc_link(db: &RootDatabase, def: Definition) -> Option<String> {
294     let (target, file, frag) = filename_and_frag_for_def(db, def)?;
295
296     let mut url = get_doc_base_url(db, target)?;
297
298     if let Some(path) = mod_path_of_def(db, target) {
299         url = url.join(&path).ok()?;
300     }
301
302     url = url.join(&file).ok()?;
303     url.set_fragment(frag.as_deref());
304
305     Some(url.into())
306 }
307
308 fn rewrite_intra_doc_link(
309     db: &RootDatabase,
310     def: Definition,
311     target: &str,
312     title: &str,
313 ) -> Option<(String, String)> {
314     let (link, ns) = parse_intra_doc_link(target);
315
316     let resolved = resolve_doc_path_for_def(db, def, link, ns)?;
317     let mut url = get_doc_base_url(db, resolved)?;
318
319     let (_, file, frag) = filename_and_frag_for_def(db, resolved)?;
320     if let Some(path) = mod_path_of_def(db, resolved) {
321         url = url.join(&path).ok()?;
322     }
323
324     url = url.join(&file).ok()?;
325     url.set_fragment(frag.as_deref());
326
327     Some((url.into(), strip_prefixes_suffixes(title).to_string()))
328 }
329
330 /// Try to resolve path to local documentation via path-based links (i.e. `../gateway/struct.Shard.html`).
331 fn rewrite_url_link(db: &RootDatabase, def: Definition, target: &str) -> Option<String> {
332     if !(target.contains('#') || target.contains(".html")) {
333         return None;
334     }
335
336     let mut url = get_doc_base_url(db, def)?;
337     let (def, file, frag) = filename_and_frag_for_def(db, def)?;
338
339     if let Some(path) = mod_path_of_def(db, def) {
340         url = url.join(&path).ok()?;
341     }
342
343     url = url.join(&file).ok()?;
344     url.set_fragment(frag.as_deref());
345     url.join(target).ok().map(Into::into)
346 }
347
348 fn mod_path_of_def(db: &RootDatabase, def: Definition) -> Option<String> {
349     def.canonical_module_path(db).map(|it| {
350         let mut path = String::new();
351         it.flat_map(|it| it.name(db)).for_each(|name| format_to!(path, "{}/", name));
352         path
353     })
354 }
355
356 /// Rewrites a markdown document, applying 'callback' to each link.
357 fn map_links<'e>(
358     events: impl Iterator<Item = Event<'e>>,
359     callback: impl Fn(&str, &str) -> (Option<LinkType>, String, String),
360 ) -> impl Iterator<Item = Event<'e>> {
361     let mut in_link = false;
362     // holds the origin link target on start event and the rewritten one on end event
363     let mut end_link_target: Option<CowStr> = None;
364     // normally link's type is determined by the type of link tag in the end event,
365     // however in same cases we want to change the link type, for example,
366     // `Shortcut` type doesn't make sense for url links
367     let mut end_link_type: Option<LinkType> = None;
368
369     events.map(move |evt| match evt {
370         Event::Start(Tag::Link(_, ref target, _)) => {
371             in_link = true;
372             end_link_target = Some(target.clone());
373             evt
374         }
375         Event::End(Tag::Link(link_type, target, _)) => {
376             in_link = false;
377             Event::End(Tag::Link(
378                 end_link_type.unwrap_or(link_type),
379                 end_link_target.take().unwrap_or(target),
380                 CowStr::Borrowed(""),
381             ))
382         }
383         Event::Text(s) if in_link => {
384             let (link_type, link_target_s, link_name) =
385                 callback(&end_link_target.take().unwrap(), &s);
386             end_link_target = Some(CowStr::Boxed(link_target_s.into()));
387             end_link_type = link_type;
388             Event::Text(CowStr::Boxed(link_name.into()))
389         }
390         Event::Code(s) if in_link => {
391             let (link_type, link_target_s, link_name) =
392                 callback(&end_link_target.take().unwrap(), &s);
393             end_link_target = Some(CowStr::Boxed(link_target_s.into()));
394             end_link_type = link_type;
395             Event::Code(CowStr::Boxed(link_name.into()))
396         }
397         _ => evt,
398     })
399 }
400
401 /// Get the root URL for the documentation of a definition.
402 ///
403 /// ```ignore
404 /// https://doc.rust-lang.org/std/iter/trait.Iterator.html#tymethod.next
405 /// ^^^^^^^^^^^^^^^^^^^^^^^^^^
406 /// ```
407 fn get_doc_base_url(db: &RootDatabase, def: Definition) -> Option<Url> {
408     // special case base url of `BuiltinType` to core
409     // https://github.com/rust-lang/rust-analyzer/issues/12250
410     if let Definition::BuiltinType(..) = def {
411         return Url::parse("https://doc.rust-lang.org/nightly/core/").ok();
412     };
413
414     let krate = def.krate(db)?;
415     let display_name = krate.display_name(db)?;
416
417     let base = match db.crate_graph()[krate.into()].origin {
418         // std and co do not specify `html_root_url` any longer so we gotta handwrite this ourself.
419         // FIXME: Use the toolchains channel instead of nightly
420         CrateOrigin::Lang(
421             origin @ (LangCrateOrigin::Alloc
422             | LangCrateOrigin::Core
423             | LangCrateOrigin::ProcMacro
424             | LangCrateOrigin::Std
425             | LangCrateOrigin::Test),
426         ) => {
427             format!("https://doc.rust-lang.org/nightly/{origin}")
428         }
429         _ => {
430             krate.get_html_root_url(db).or_else(|| {
431                 let version = krate.version(db);
432                 // Fallback to docs.rs. This uses `display_name` and can never be
433                 // correct, but that's what fallbacks are about.
434                 //
435                 // FIXME: clicking on the link should just open the file in the editor,
436                 // instead of falling back to external urls.
437                 Some(format!(
438                     "https://docs.rs/{krate}/{version}/",
439                     krate = display_name,
440                     version = version.as_deref().unwrap_or("*")
441                 ))
442             })?
443         }
444     };
445     Url::parse(&base).ok()?.join(&format!("{}/", display_name)).ok()
446 }
447
448 /// Get the filename and extension generated for a symbol by rustdoc.
449 ///
450 /// ```ignore
451 /// https://doc.rust-lang.org/std/iter/trait.Iterator.html#tymethod.next
452 ///                                    ^^^^^^^^^^^^^^^^^^^
453 /// ```
454 fn filename_and_frag_for_def(
455     db: &dyn HirDatabase,
456     def: Definition,
457 ) -> Option<(Definition, String, Option<String>)> {
458     if let Some(assoc_item) = def.as_assoc_item(db) {
459         let def = match assoc_item.container(db) {
460             AssocItemContainer::Trait(t) => t.into(),
461             AssocItemContainer::Impl(i) => i.self_ty(db).as_adt()?.into(),
462         };
463         let (_, file, _) = filename_and_frag_for_def(db, def)?;
464         let frag = get_assoc_item_fragment(db, assoc_item)?;
465         return Some((def, file, Some(frag)));
466     }
467
468     let res = match def {
469         Definition::Adt(adt) => match adt {
470             Adt::Struct(s) => format!("struct.{}.html", s.name(db)),
471             Adt::Enum(e) => format!("enum.{}.html", e.name(db)),
472             Adt::Union(u) => format!("union.{}.html", u.name(db)),
473         },
474         Definition::Module(m) => match m.name(db) {
475             // `#[doc(keyword = "...")]` is internal used only by rust compiler
476             Some(name) => match m.attrs(db).by_key("doc").find_string_value_in_tt("keyword") {
477                 Some(kw) => {
478                     format!("keyword.{}.html", kw.trim_matches('"'))
479                 }
480                 None => format!("{}/index.html", name),
481             },
482             None => String::from("index.html"),
483         },
484         Definition::Trait(t) => format!("trait.{}.html", t.name(db)),
485         Definition::TypeAlias(t) => format!("type.{}.html", t.name(db)),
486         Definition::BuiltinType(t) => format!("primitive.{}.html", t.name()),
487         Definition::Function(f) => format!("fn.{}.html", f.name(db)),
488         Definition::Variant(ev) => {
489             format!("enum.{}.html#variant.{}", ev.parent_enum(db).name(db), ev.name(db))
490         }
491         Definition::Const(c) => format!("const.{}.html", c.name(db)?),
492         Definition::Static(s) => format!("static.{}.html", s.name(db)),
493         Definition::Macro(mac) => format!("macro.{}.html", mac.name(db)),
494         Definition::Field(field) => {
495             let def = match field.parent_def(db) {
496                 hir::VariantDef::Struct(it) => Definition::Adt(it.into()),
497                 hir::VariantDef::Union(it) => Definition::Adt(it.into()),
498                 hir::VariantDef::Variant(it) => Definition::Variant(it),
499             };
500             let (_, file, _) = filename_and_frag_for_def(db, def)?;
501             return Some((def, file, Some(format!("structfield.{}", field.name(db)))));
502         }
503         Definition::SelfType(impl_) => {
504             let adt = impl_.self_ty(db).as_adt()?.into();
505             let (_, file, _) = filename_and_frag_for_def(db, adt)?;
506             // FIXME fragment numbering
507             return Some((adt, file, Some(String::from("impl"))));
508         }
509         Definition::Local(_)
510         | Definition::GenericParam(_)
511         | Definition::Label(_)
512         | Definition::BuiltinAttr(_)
513         | Definition::ToolModule(_) => return None,
514     };
515
516     Some((def, res, None))
517 }
518
519 /// Get the fragment required to link to a specific field, method, associated type, or associated constant.
520 ///
521 /// ```ignore
522 /// https://doc.rust-lang.org/std/iter/trait.Iterator.html#tymethod.next
523 ///                                                       ^^^^^^^^^^^^^^
524 /// ```
525 fn get_assoc_item_fragment(db: &dyn HirDatabase, assoc_item: hir::AssocItem) -> Option<String> {
526     Some(match assoc_item {
527         AssocItem::Function(function) => {
528             let is_trait_method =
529                 function.as_assoc_item(db).and_then(|assoc| assoc.containing_trait(db)).is_some();
530             // This distinction may get more complicated when specialization is available.
531             // Rustdoc makes this decision based on whether a method 'has defaultness'.
532             // Currently this is only the case for provided trait methods.
533             if is_trait_method && !function.has_body(db) {
534                 format!("tymethod.{}", function.name(db))
535             } else {
536                 format!("method.{}", function.name(db))
537             }
538         }
539         AssocItem::Const(constant) => format!("associatedconstant.{}", constant.name(db)?),
540         AssocItem::TypeAlias(ty) => format!("associatedtype.{}", ty.name(db)),
541     })
542 }