]> git.lizzy.rs Git - rust.git/blob - library/alloc/src/str.rs
Rollup merge of #95471 - oli-obk:tait_ice, r=estebank
[rust.git] / library / alloc / src / str.rs
1 //! Unicode string slices.
2 //!
3 //! *[See also the `str` primitive type](str).*
4 //!
5 //! The `&str` type is one of the two main string types, the other being `String`.
6 //! Unlike its `String` counterpart, its contents are borrowed.
7 //!
8 //! # Basic Usage
9 //!
10 //! A basic string declaration of `&str` type:
11 //!
12 //! ```
13 //! let hello_world = "Hello, World!";
14 //! ```
15 //!
16 //! Here we have declared a string literal, also known as a string slice.
17 //! String literals have a static lifetime, which means the string `hello_world`
18 //! is guaranteed to be valid for the duration of the entire program.
19 //! We can explicitly specify `hello_world`'s lifetime as well:
20 //!
21 //! ```
22 //! let hello_world: &'static str = "Hello, world!";
23 //! ```
24
25 #![stable(feature = "rust1", since = "1.0.0")]
26 // Many of the usings in this module are only used in the test configuration.
27 // It's cleaner to just turn off the unused_imports warning than to fix them.
28 #![allow(unused_imports)]
29
30 use core::borrow::{Borrow, BorrowMut};
31 use core::iter::FusedIterator;
32 use core::mem;
33 use core::ptr;
34 use core::str::pattern::{DoubleEndedSearcher, Pattern, ReverseSearcher, Searcher};
35 use core::unicode::conversions;
36
37 use crate::borrow::ToOwned;
38 use crate::boxed::Box;
39 use crate::slice::{Concat, Join, SliceIndex};
40 use crate::string::String;
41 use crate::vec::Vec;
42
43 #[stable(feature = "rust1", since = "1.0.0")]
44 pub use core::str::pattern;
45 #[stable(feature = "encode_utf16", since = "1.8.0")]
46 pub use core::str::EncodeUtf16;
47 #[stable(feature = "split_ascii_whitespace", since = "1.34.0")]
48 pub use core::str::SplitAsciiWhitespace;
49 #[stable(feature = "split_inclusive", since = "1.51.0")]
50 pub use core::str::SplitInclusive;
51 #[stable(feature = "rust1", since = "1.0.0")]
52 pub use core::str::SplitWhitespace;
53 #[stable(feature = "rust1", since = "1.0.0")]
54 pub use core::str::{from_utf8, from_utf8_mut, Bytes, CharIndices, Chars};
55 #[stable(feature = "rust1", since = "1.0.0")]
56 pub use core::str::{from_utf8_unchecked, from_utf8_unchecked_mut, ParseBoolError};
57 #[stable(feature = "str_escape", since = "1.34.0")]
58 pub use core::str::{EscapeDebug, EscapeDefault, EscapeUnicode};
59 #[stable(feature = "rust1", since = "1.0.0")]
60 pub use core::str::{FromStr, Utf8Error};
61 #[allow(deprecated)]
62 #[stable(feature = "rust1", since = "1.0.0")]
63 pub use core::str::{Lines, LinesAny};
64 #[stable(feature = "rust1", since = "1.0.0")]
65 pub use core::str::{MatchIndices, RMatchIndices};
66 #[stable(feature = "rust1", since = "1.0.0")]
67 pub use core::str::{Matches, RMatches};
68 #[stable(feature = "rust1", since = "1.0.0")]
69 pub use core::str::{RSplit, Split};
70 #[stable(feature = "rust1", since = "1.0.0")]
71 pub use core::str::{RSplitN, SplitN};
72 #[stable(feature = "rust1", since = "1.0.0")]
73 pub use core::str::{RSplitTerminator, SplitTerminator};
74
75 /// Note: `str` in `Concat<str>` is not meaningful here.
76 /// This type parameter of the trait only exists to enable another impl.
77 #[cfg(not(no_global_oom_handling))]
78 #[unstable(feature = "slice_concat_ext", issue = "27747")]
79 impl<S: Borrow<str>> Concat<str> for [S] {
80     type Output = String;
81
82     fn concat(slice: &Self) -> String {
83         Join::join(slice, "")
84     }
85 }
86
87 #[cfg(not(no_global_oom_handling))]
88 #[unstable(feature = "slice_concat_ext", issue = "27747")]
89 impl<S: Borrow<str>> Join<&str> for [S] {
90     type Output = String;
91
92     fn join(slice: &Self, sep: &str) -> String {
93         unsafe { String::from_utf8_unchecked(join_generic_copy(slice, sep.as_bytes())) }
94     }
95 }
96
97 #[cfg(not(no_global_oom_handling))]
98 macro_rules! specialize_for_lengths {
99     ($separator:expr, $target:expr, $iter:expr; $($num:expr),*) => {{
100         let mut target = $target;
101         let iter = $iter;
102         let sep_bytes = $separator;
103         match $separator.len() {
104             $(
105                 // loops with hardcoded sizes run much faster
106                 // specialize the cases with small separator lengths
107                 $num => {
108                     for s in iter {
109                         copy_slice_and_advance!(target, sep_bytes);
110                         let content_bytes = s.borrow().as_ref();
111                         copy_slice_and_advance!(target, content_bytes);
112                     }
113                 },
114             )*
115             _ => {
116                 // arbitrary non-zero size fallback
117                 for s in iter {
118                     copy_slice_and_advance!(target, sep_bytes);
119                     let content_bytes = s.borrow().as_ref();
120                     copy_slice_and_advance!(target, content_bytes);
121                 }
122             }
123         }
124         target
125     }}
126 }
127
128 #[cfg(not(no_global_oom_handling))]
129 macro_rules! copy_slice_and_advance {
130     ($target:expr, $bytes:expr) => {
131         let len = $bytes.len();
132         let (head, tail) = { $target }.split_at_mut(len);
133         head.copy_from_slice($bytes);
134         $target = tail;
135     };
136 }
137
138 // Optimized join implementation that works for both Vec<T> (T: Copy) and String's inner vec
139 // Currently (2018-05-13) there is a bug with type inference and specialization (see issue #36262)
140 // For this reason SliceConcat<T> is not specialized for T: Copy and SliceConcat<str> is the
141 // only user of this function. It is left in place for the time when that is fixed.
142 //
143 // the bounds for String-join are S: Borrow<str> and for Vec-join Borrow<[T]>
144 // [T] and str both impl AsRef<[T]> for some T
145 // => s.borrow().as_ref() and we always have slices
146 #[cfg(not(no_global_oom_handling))]
147 fn join_generic_copy<B, T, S>(slice: &[S], sep: &[T]) -> Vec<T>
148 where
149     T: Copy,
150     B: AsRef<[T]> + ?Sized,
151     S: Borrow<B>,
152 {
153     let sep_len = sep.len();
154     let mut iter = slice.iter();
155
156     // the first slice is the only one without a separator preceding it
157     let first = match iter.next() {
158         Some(first) => first,
159         None => return vec![],
160     };
161
162     // compute the exact total length of the joined Vec
163     // if the `len` calculation overflows, we'll panic
164     // we would have run out of memory anyway and the rest of the function requires
165     // the entire Vec pre-allocated for safety
166     let reserved_len = sep_len
167         .checked_mul(iter.len())
168         .and_then(|n| {
169             slice.iter().map(|s| s.borrow().as_ref().len()).try_fold(n, usize::checked_add)
170         })
171         .expect("attempt to join into collection with len > usize::MAX");
172
173     // prepare an uninitialized buffer
174     let mut result = Vec::with_capacity(reserved_len);
175     debug_assert!(result.capacity() >= reserved_len);
176
177     result.extend_from_slice(first.borrow().as_ref());
178
179     unsafe {
180         let pos = result.len();
181         let target = result.spare_capacity_mut().get_unchecked_mut(..reserved_len - pos);
182
183         // Convert the separator and slices to slices of MaybeUninit
184         // to simplify implementation in specialize_for_lengths
185         let sep_uninit = core::slice::from_raw_parts(sep.as_ptr().cast(), sep.len());
186         let iter_uninit = iter.map(|it| {
187             let it = it.borrow().as_ref();
188             core::slice::from_raw_parts(it.as_ptr().cast(), it.len())
189         });
190
191         // copy separator and slices over without bounds checks
192         // generate loops with hardcoded offsets for small separators
193         // massive improvements possible (~ x2)
194         let remain = specialize_for_lengths!(sep_uninit, target, iter_uninit; 0, 1, 2, 3, 4);
195
196         // A weird borrow implementation may return different
197         // slices for the length calculation and the actual copy.
198         // Make sure we don't expose uninitialized bytes to the caller.
199         let result_len = reserved_len - remain.len();
200         result.set_len(result_len);
201     }
202     result
203 }
204
205 #[stable(feature = "rust1", since = "1.0.0")]
206 impl Borrow<str> for String {
207     #[inline]
208     fn borrow(&self) -> &str {
209         &self[..]
210     }
211 }
212
213 #[stable(feature = "string_borrow_mut", since = "1.36.0")]
214 impl BorrowMut<str> for String {
215     #[inline]
216     fn borrow_mut(&mut self) -> &mut str {
217         &mut self[..]
218     }
219 }
220
221 #[cfg(not(no_global_oom_handling))]
222 #[stable(feature = "rust1", since = "1.0.0")]
223 impl ToOwned for str {
224     type Owned = String;
225     #[inline]
226     fn to_owned(&self) -> String {
227         unsafe { String::from_utf8_unchecked(self.as_bytes().to_owned()) }
228     }
229
230     fn clone_into(&self, target: &mut String) {
231         let mut b = mem::take(target).into_bytes();
232         self.as_bytes().clone_into(&mut b);
233         *target = unsafe { String::from_utf8_unchecked(b) }
234     }
235 }
236
237 /// Methods for string slices.
238 #[cfg_attr(bootstrap, lang = "str_alloc")]
239 #[cfg(not(test))]
240 impl str {
241     /// Converts a `Box<str>` into a `Box<[u8]>` without copying or allocating.
242     ///
243     /// # Examples
244     ///
245     /// Basic usage:
246     ///
247     /// ```
248     /// let s = "this is a string";
249     /// let boxed_str = s.to_owned().into_boxed_str();
250     /// let boxed_bytes = boxed_str.into_boxed_bytes();
251     /// assert_eq!(*boxed_bytes, *s.as_bytes());
252     /// ```
253     #[cfg_attr(not(bootstrap), rustc_allow_incoherent_impl)]
254     #[stable(feature = "str_box_extras", since = "1.20.0")]
255     #[must_use = "`self` will be dropped if the result is not used"]
256     #[inline]
257     pub fn into_boxed_bytes(self: Box<str>) -> Box<[u8]> {
258         self.into()
259     }
260
261     /// Replaces all matches of a pattern with another string.
262     ///
263     /// `replace` creates a new [`String`], and copies the data from this string slice into it.
264     /// While doing so, it attempts to find matches of a pattern. If it finds any, it
265     /// replaces them with the replacement string slice.
266     ///
267     /// # Examples
268     ///
269     /// Basic usage:
270     ///
271     /// ```
272     /// let s = "this is old";
273     ///
274     /// assert_eq!("this is new", s.replace("old", "new"));
275     /// ```
276     ///
277     /// When the pattern doesn't match:
278     ///
279     /// ```
280     /// let s = "this is old";
281     /// assert_eq!(s, s.replace("cookie monster", "little lamb"));
282     /// ```
283     #[cfg(not(no_global_oom_handling))]
284     #[cfg_attr(not(bootstrap), rustc_allow_incoherent_impl)]
285     #[must_use = "this returns the replaced string as a new allocation, \
286                   without modifying the original"]
287     #[stable(feature = "rust1", since = "1.0.0")]
288     #[inline]
289     pub fn replace<'a, P: Pattern<'a>>(&'a self, from: P, to: &str) -> String {
290         let mut result = String::new();
291         let mut last_end = 0;
292         for (start, part) in self.match_indices(from) {
293             result.push_str(unsafe { self.get_unchecked(last_end..start) });
294             result.push_str(to);
295             last_end = start + part.len();
296         }
297         result.push_str(unsafe { self.get_unchecked(last_end..self.len()) });
298         result
299     }
300
301     /// Replaces first N matches of a pattern with another string.
302     ///
303     /// `replacen` creates a new [`String`], and copies the data from this string slice into it.
304     /// While doing so, it attempts to find matches of a pattern. If it finds any, it
305     /// replaces them with the replacement string slice at most `count` times.
306     ///
307     /// # Examples
308     ///
309     /// Basic usage:
310     ///
311     /// ```
312     /// let s = "foo foo 123 foo";
313     /// assert_eq!("new new 123 foo", s.replacen("foo", "new", 2));
314     /// assert_eq!("faa fao 123 foo", s.replacen('o', "a", 3));
315     /// assert_eq!("foo foo new23 foo", s.replacen(char::is_numeric, "new", 1));
316     /// ```
317     ///
318     /// When the pattern doesn't match:
319     ///
320     /// ```
321     /// let s = "this is old";
322     /// assert_eq!(s, s.replacen("cookie monster", "little lamb", 10));
323     /// ```
324     #[cfg(not(no_global_oom_handling))]
325     #[cfg_attr(not(bootstrap), rustc_allow_incoherent_impl)]
326     #[must_use = "this returns the replaced string as a new allocation, \
327                   without modifying the original"]
328     #[stable(feature = "str_replacen", since = "1.16.0")]
329     pub fn replacen<'a, P: Pattern<'a>>(&'a self, pat: P, to: &str, count: usize) -> String {
330         // Hope to reduce the times of re-allocation
331         let mut result = String::with_capacity(32);
332         let mut last_end = 0;
333         for (start, part) in self.match_indices(pat).take(count) {
334             result.push_str(unsafe { self.get_unchecked(last_end..start) });
335             result.push_str(to);
336             last_end = start + part.len();
337         }
338         result.push_str(unsafe { self.get_unchecked(last_end..self.len()) });
339         result
340     }
341
342     /// Returns the lowercase equivalent of this string slice, as a new [`String`].
343     ///
344     /// 'Lowercase' is defined according to the terms of the Unicode Derived Core Property
345     /// `Lowercase`.
346     ///
347     /// Since some characters can expand into multiple characters when changing
348     /// the case, this function returns a [`String`] instead of modifying the
349     /// parameter in-place.
350     ///
351     /// # Examples
352     ///
353     /// Basic usage:
354     ///
355     /// ```
356     /// let s = "HELLO";
357     ///
358     /// assert_eq!("hello", s.to_lowercase());
359     /// ```
360     ///
361     /// A tricky example, with sigma:
362     ///
363     /// ```
364     /// let sigma = "Σ";
365     ///
366     /// assert_eq!("σ", sigma.to_lowercase());
367     ///
368     /// // but at the end of a word, it's ς, not σ:
369     /// let odysseus = "ὈΔΥΣΣΕΎΣ";
370     ///
371     /// assert_eq!("ὀδυσσεύς", odysseus.to_lowercase());
372     /// ```
373     ///
374     /// Languages without case are not changed:
375     ///
376     /// ```
377     /// let new_year = "农历新年";
378     ///
379     /// assert_eq!(new_year, new_year.to_lowercase());
380     /// ```
381     #[cfg(not(no_global_oom_handling))]
382     #[cfg_attr(not(bootstrap), rustc_allow_incoherent_impl)]
383     #[must_use = "this returns the lowercase string as a new String, \
384                   without modifying the original"]
385     #[stable(feature = "unicode_case_mapping", since = "1.2.0")]
386     pub fn to_lowercase(&self) -> String {
387         let mut s = String::with_capacity(self.len());
388         for (i, c) in self[..].char_indices() {
389             if c == 'Σ' {
390                 // Σ maps to σ, except at the end of a word where it maps to ς.
391                 // This is the only conditional (contextual) but language-independent mapping
392                 // in `SpecialCasing.txt`,
393                 // so hard-code it rather than have a generic "condition" mechanism.
394                 // See https://github.com/rust-lang/rust/issues/26035
395                 map_uppercase_sigma(self, i, &mut s)
396             } else {
397                 match conversions::to_lower(c) {
398                     [a, '\0', _] => s.push(a),
399                     [a, b, '\0'] => {
400                         s.push(a);
401                         s.push(b);
402                     }
403                     [a, b, c] => {
404                         s.push(a);
405                         s.push(b);
406                         s.push(c);
407                     }
408                 }
409             }
410         }
411         return s;
412
413         fn map_uppercase_sigma(from: &str, i: usize, to: &mut String) {
414             // See https://www.unicode.org/versions/Unicode7.0.0/ch03.pdf#G33992
415             // for the definition of `Final_Sigma`.
416             debug_assert!('Σ'.len_utf8() == 2);
417             let is_word_final = case_ignoreable_then_cased(from[..i].chars().rev())
418                 && !case_ignoreable_then_cased(from[i + 2..].chars());
419             to.push_str(if is_word_final { "ς" } else { "σ" });
420         }
421
422         fn case_ignoreable_then_cased<I: Iterator<Item = char>>(iter: I) -> bool {
423             use core::unicode::{Case_Ignorable, Cased};
424             match iter.skip_while(|&c| Case_Ignorable(c)).next() {
425                 Some(c) => Cased(c),
426                 None => false,
427             }
428         }
429     }
430
431     /// Returns the uppercase equivalent of this string slice, as a new [`String`].
432     ///
433     /// 'Uppercase' is defined according to the terms of the Unicode Derived Core Property
434     /// `Uppercase`.
435     ///
436     /// Since some characters can expand into multiple characters when changing
437     /// the case, this function returns a [`String`] instead of modifying the
438     /// parameter in-place.
439     ///
440     /// # Examples
441     ///
442     /// Basic usage:
443     ///
444     /// ```
445     /// let s = "hello";
446     ///
447     /// assert_eq!("HELLO", s.to_uppercase());
448     /// ```
449     ///
450     /// Scripts without case are not changed:
451     ///
452     /// ```
453     /// let new_year = "农历新年";
454     ///
455     /// assert_eq!(new_year, new_year.to_uppercase());
456     /// ```
457     ///
458     /// One character can become multiple:
459     /// ```
460     /// let s = "tschüß";
461     ///
462     /// assert_eq!("TSCHÜSS", s.to_uppercase());
463     /// ```
464     #[cfg(not(no_global_oom_handling))]
465     #[cfg_attr(not(bootstrap), rustc_allow_incoherent_impl)]
466     #[must_use = "this returns the uppercase string as a new String, \
467                   without modifying the original"]
468     #[stable(feature = "unicode_case_mapping", since = "1.2.0")]
469     pub fn to_uppercase(&self) -> String {
470         let mut s = String::with_capacity(self.len());
471         for c in self[..].chars() {
472             match conversions::to_upper(c) {
473                 [a, '\0', _] => s.push(a),
474                 [a, b, '\0'] => {
475                     s.push(a);
476                     s.push(b);
477                 }
478                 [a, b, c] => {
479                     s.push(a);
480                     s.push(b);
481                     s.push(c);
482                 }
483             }
484         }
485         s
486     }
487
488     /// Converts a [`Box<str>`] into a [`String`] without copying or allocating.
489     ///
490     /// # Examples
491     ///
492     /// Basic usage:
493     ///
494     /// ```
495     /// let string = String::from("birthday gift");
496     /// let boxed_str = string.clone().into_boxed_str();
497     ///
498     /// assert_eq!(boxed_str.into_string(), string);
499     /// ```
500     #[stable(feature = "box_str", since = "1.4.0")]
501     #[cfg_attr(not(bootstrap), rustc_allow_incoherent_impl)]
502     #[must_use = "`self` will be dropped if the result is not used"]
503     #[inline]
504     pub fn into_string(self: Box<str>) -> String {
505         let slice = Box::<[u8]>::from(self);
506         unsafe { String::from_utf8_unchecked(slice.into_vec()) }
507     }
508
509     /// Creates a new [`String`] by repeating a string `n` times.
510     ///
511     /// # Panics
512     ///
513     /// This function will panic if the capacity would overflow.
514     ///
515     /// # Examples
516     ///
517     /// Basic usage:
518     ///
519     /// ```
520     /// assert_eq!("abc".repeat(4), String::from("abcabcabcabc"));
521     /// ```
522     ///
523     /// A panic upon overflow:
524     ///
525     /// ```should_panic
526     /// // this will panic at runtime
527     /// let huge = "0123456789abcdef".repeat(usize::MAX);
528     /// ```
529     #[cfg(not(no_global_oom_handling))]
530     #[cfg_attr(not(bootstrap), rustc_allow_incoherent_impl)]
531     #[must_use]
532     #[stable(feature = "repeat_str", since = "1.16.0")]
533     pub fn repeat(&self, n: usize) -> String {
534         unsafe { String::from_utf8_unchecked(self.as_bytes().repeat(n)) }
535     }
536
537     /// Returns a copy of this string where each character is mapped to its
538     /// ASCII upper case equivalent.
539     ///
540     /// ASCII letters 'a' to 'z' are mapped to 'A' to 'Z',
541     /// but non-ASCII letters are unchanged.
542     ///
543     /// To uppercase the value in-place, use [`make_ascii_uppercase`].
544     ///
545     /// To uppercase ASCII characters in addition to non-ASCII characters, use
546     /// [`to_uppercase`].
547     ///
548     /// # Examples
549     ///
550     /// ```
551     /// let s = "Grüße, Jürgen ❤";
552     ///
553     /// assert_eq!("GRüßE, JüRGEN ❤", s.to_ascii_uppercase());
554     /// ```
555     ///
556     /// [`make_ascii_uppercase`]: str::make_ascii_uppercase
557     /// [`to_uppercase`]: #method.to_uppercase
558     #[cfg(not(no_global_oom_handling))]
559     #[cfg_attr(not(bootstrap), rustc_allow_incoherent_impl)]
560     #[must_use = "to uppercase the value in-place, use `make_ascii_uppercase()`"]
561     #[stable(feature = "ascii_methods_on_intrinsics", since = "1.23.0")]
562     #[inline]
563     pub fn to_ascii_uppercase(&self) -> String {
564         let mut bytes = self.as_bytes().to_vec();
565         bytes.make_ascii_uppercase();
566         // make_ascii_uppercase() preserves the UTF-8 invariant.
567         unsafe { String::from_utf8_unchecked(bytes) }
568     }
569
570     /// Returns a copy of this string where each character is mapped to its
571     /// ASCII lower case equivalent.
572     ///
573     /// ASCII letters 'A' to 'Z' are mapped to 'a' to 'z',
574     /// but non-ASCII letters are unchanged.
575     ///
576     /// To lowercase the value in-place, use [`make_ascii_lowercase`].
577     ///
578     /// To lowercase ASCII characters in addition to non-ASCII characters, use
579     /// [`to_lowercase`].
580     ///
581     /// # Examples
582     ///
583     /// ```
584     /// let s = "Grüße, Jürgen ❤";
585     ///
586     /// assert_eq!("grüße, jürgen ❤", s.to_ascii_lowercase());
587     /// ```
588     ///
589     /// [`make_ascii_lowercase`]: str::make_ascii_lowercase
590     /// [`to_lowercase`]: #method.to_lowercase
591     #[cfg(not(no_global_oom_handling))]
592     #[cfg_attr(not(bootstrap), rustc_allow_incoherent_impl)]
593     #[must_use = "to lowercase the value in-place, use `make_ascii_lowercase()`"]
594     #[stable(feature = "ascii_methods_on_intrinsics", since = "1.23.0")]
595     #[inline]
596     pub fn to_ascii_lowercase(&self) -> String {
597         let mut bytes = self.as_bytes().to_vec();
598         bytes.make_ascii_lowercase();
599         // make_ascii_lowercase() preserves the UTF-8 invariant.
600         unsafe { String::from_utf8_unchecked(bytes) }
601     }
602 }
603
604 /// Converts a boxed slice of bytes to a boxed string slice without checking
605 /// that the string contains valid UTF-8.
606 ///
607 /// # Examples
608 ///
609 /// Basic usage:
610 ///
611 /// ```
612 /// let smile_utf8 = Box::new([226, 152, 186]);
613 /// let smile = unsafe { std::str::from_boxed_utf8_unchecked(smile_utf8) };
614 ///
615 /// assert_eq!("☺", &*smile);
616 /// ```
617 #[stable(feature = "str_box_extras", since = "1.20.0")]
618 #[must_use]
619 #[inline]
620 pub unsafe fn from_boxed_utf8_unchecked(v: Box<[u8]>) -> Box<str> {
621     unsafe { Box::from_raw(Box::into_raw(v) as *mut str) }
622 }