src/liballoc/str.rs

   1 //! Unicode string slices.
   2 //!
   3 //! *[See also the `str` primitive type](../../std/primitive.str.html).*
   4 //!
   5 //! The `&str` type is one of the two main string types, the other being `String`.
   6 //! Unlike its `String` counterpart, its contents are borrowed.
   7 //!
   8 //! # Basic Usage
   9 //!
  10 //! A basic string declaration of `&str` type:
  11 //!
  12 //! ```
  13 //! let hello_world = "Hello, World!";
  14 //! ```
  15 //!
  16 //! Here we have declared a string literal, also known as a string slice.
  17 //! String literals have a static lifetime, which means the string `hello_world`
  18 //! is guaranteed to be valid for the duration of the entire program.
  19 //! We can explicitly specify `hello_world`'s lifetime as well:
  20 //!
  21 //! ```
  22 //! let hello_world: &'static str = "Hello, world!";
  23 //! ```
  24
  25 #![stable(feature = "rust1", since = "1.0.0")]
  26
  27 // Many of the usings in this module are only used in the test configuration.
  28 // It's cleaner to just turn off the unused_imports warning than to fix them.
  29 #![allow(unused_imports)]
  30
  31 use core::borrow::{Borrow, BorrowMut};
  32 use core::str::pattern::{Pattern, Searcher, ReverseSearcher, DoubleEndedSearcher};
  33 use core::mem;
  34 use core::ptr;
  35 use core::iter::FusedIterator;
  36 use core::unicode::conversions;
  37
  38 use crate::borrow::ToOwned;
  39 use crate::boxed::Box;
  40 use crate::slice::{Concat, Join, SliceIndex};
  41 use crate::string::String;
  42 use crate::vec::Vec;
  43
  44 #[stable(feature = "rust1", since = "1.0.0")]
  45 pub use core::str::{FromStr, Utf8Error};
  46 #[allow(deprecated)]
  47 #[stable(feature = "rust1", since = "1.0.0")]
  48 pub use core::str::{Lines, LinesAny};
  49 #[stable(feature = "rust1", since = "1.0.0")]
  50 pub use core::str::{Split, RSplit};
  51 #[stable(feature = "rust1", since = "1.0.0")]
  52 pub use core::str::{SplitN, RSplitN};
  53 #[stable(feature = "rust1", since = "1.0.0")]
  54 pub use core::str::{SplitTerminator, RSplitTerminator};
  55 #[stable(feature = "rust1", since = "1.0.0")]
  56 pub use core::str::{Matches, RMatches};
  57 #[stable(feature = "rust1", since = "1.0.0")]
  58 pub use core::str::{MatchIndices, RMatchIndices};
  59 #[stable(feature = "rust1", since = "1.0.0")]
  60 pub use core::str::{from_utf8, from_utf8_mut, Chars, CharIndices, Bytes};
  61 #[stable(feature = "rust1", since = "1.0.0")]
  62 pub use core::str::{from_utf8_unchecked, from_utf8_unchecked_mut, ParseBoolError};
  63 #[stable(feature = "rust1", since = "1.0.0")]
  64 pub use core::str::SplitWhitespace;
  65 #[stable(feature = "rust1", since = "1.0.0")]
  66 pub use core::str::pattern;
  67 #[stable(feature = "encode_utf16", since = "1.8.0")]
  68 pub use core::str::EncodeUtf16;
  69 #[stable(feature = "split_ascii_whitespace", since = "1.34.0")]
  70 pub use core::str::SplitAsciiWhitespace;
  71 #[stable(feature = "str_escape", since = "1.34.0")]
  72 pub use core::str::{EscapeDebug, EscapeDefault, EscapeUnicode};
  73
  74 /// Note: `str` in `Concat<str>` is not meaningful here.
  75 /// This type parameter of the trait only exists to enable another impl.
  76 #[unstable(feature = "slice_concat_ext", issue = "27747")]
  77 impl<S: Borrow<str>> Concat<str> for [S] {
  78     type Output = String;
  79
  80     fn concat(slice: &Self) -> String {
  81         Join::join(slice, "")
  82     }
  83 }
  84
  85 #[unstable(feature = "slice_concat_ext", issue = "27747")]
  86 impl<S: Borrow<str>> Join<&str> for [S] {
  87     type Output = String;
  88
  89     fn join(slice: &Self, sep: &str) -> String {
  90         unsafe {
  91             String::from_utf8_unchecked( join_generic_copy(slice, sep.as_bytes()) )
  92         }
  93     }
  94 }
  95
  96 macro_rules! spezialize_for_lengths {
  97     ($separator:expr, $target:expr, $iter:expr; $($num:expr),*) => {
  98         let mut target = $target;
  99         let iter = $iter;
 100         let sep_bytes = $separator;
 101         match $separator.len() {
 102             $(
 103                 // loops with hardcoded sizes run much faster
 104                 // specialize the cases with small separator lengths
 105                 $num => {
 106                     for s in iter {
 107                         copy_slice_and_advance!(target, sep_bytes);
 108                         copy_slice_and_advance!(target, s.borrow().as_ref());
 109                     }
 110                 },
 111             )*
 112             _ => {
 113                 // arbitrary non-zero size fallback
 114                 for s in iter {
 115                     copy_slice_and_advance!(target, sep_bytes);
 116                     copy_slice_and_advance!(target, s.borrow().as_ref());
 117                 }
 118             }
 119         }
 120     };
 121 }
 122
 123 macro_rules! copy_slice_and_advance {
 124     ($target:expr, $bytes:expr) => {
 125         let len = $bytes.len();
 126         let (head, tail) = {$target}.split_at_mut(len);
 127         head.copy_from_slice($bytes);
 128         $target = tail;
 129     }
 130 }
 131
 132 // Optimized join implementation that works for both Vec<T> (T: Copy) and String's inner vec
 133 // Currently (2018-05-13) there is a bug with type inference and specialization (see issue #36262)
 134 // For this reason SliceConcat<T> is not specialized for T: Copy and SliceConcat<str> is the
 135 // only user of this function. It is left in place for the time when that is fixed.
 136 //
 137 // the bounds for String-join are S: Borrow<str> and for Vec-join Borrow<[T]>
 138 // [T] and str both impl AsRef<[T]> for some T
 139 // => s.borrow().as_ref() and we always have slices
 140 fn join_generic_copy<B, T, S>(slice: &[S], sep: &[T]) -> Vec<T>
 141 where
 142     T: Copy,
 143     B: AsRef<[T]> + ?Sized,
 144     S: Borrow<B>,
 145 {
 146     let sep_len = sep.len();
 147     let mut iter = slice.iter();
 148
 149     // the first slice is the only one without a separator preceding it
 150     let first = match iter.next() {
 151         Some(first) => first,
 152         None => return vec![],
 153     };
 154
 155     // compute the exact total length of the joined Vec
 156     // if the `len` calculation overflows, we'll panic
 157     // we would have run out of memory anyway and the rest of the function requires
 158     // the entire Vec pre-allocated for safety
 159     let len =  sep_len.checked_mul(iter.len()).and_then(|n| {
 160             slice.iter()
 161                 .map(|s| s.borrow().as_ref().len())
 162                 .try_fold(n, usize::checked_add)
 163         }).expect("attempt to join into collection with len > usize::MAX");
 164
 165     // crucial for safety
 166     let mut result = Vec::with_capacity(len);
 167     assert!(result.capacity() >= len);
 168
 169     result.extend_from_slice(first.borrow().as_ref());
 170
 171     unsafe {
 172         {
 173             let pos = result.len();
 174             let target = result.get_unchecked_mut(pos..len);
 175
 176             // copy separator and slices over without bounds checks
 177             // generate loops with hardcoded offsets for small separators
 178             // massive improvements possible (~ x2)
 179             spezialize_for_lengths!(sep, target, iter; 0, 1, 2, 3, 4);
 180         }
 181         result.set_len(len);
 182     }
 183     result
 184 }
 185
 186 #[stable(feature = "rust1", since = "1.0.0")]
 187 impl Borrow<str> for String {
 188     #[inline]
 189     fn borrow(&self) -> &str {
 190         &self[..]
 191     }
 192 }
 193
 194 #[stable(feature = "string_borrow_mut", since = "1.36.0")]
 195 impl BorrowMut<str> for String {
 196     #[inline]
 197     fn borrow_mut(&mut self) -> &mut str {
 198         &mut self[..]
 199     }
 200 }
 201
 202 #[stable(feature = "rust1", since = "1.0.0")]
 203 impl ToOwned for str {
 204     type Owned = String;
 205     #[inline]
 206     fn to_owned(&self) -> String {
 207         unsafe { String::from_utf8_unchecked(self.as_bytes().to_owned()) }
 208     }
 209
 210     fn clone_into(&self, target: &mut String) {
 211         let mut b = mem::take(target).into_bytes();
 212         self.as_bytes().clone_into(&mut b);
 213         *target = unsafe { String::from_utf8_unchecked(b) }
 214     }
 215 }
 216
 217 /// Methods for string slices.
 218 #[lang = "str_alloc"]
 219 #[cfg(not(test))]
 220 impl str {
 221     /// Converts a `Box<str>` into a `Box<[u8]>` without copying or allocating.
 222     ///
 223     /// # Examples
 224     ///
 225     /// Basic usage:
 226     ///
 227     /// ```
 228     /// let s = "this is a string";
 229     /// let boxed_str = s.to_owned().into_boxed_str();
 230     /// let boxed_bytes = boxed_str.into_boxed_bytes();
 231     /// assert_eq!(*boxed_bytes, *s.as_bytes());
 232     /// ```
 233     #[stable(feature = "str_box_extras", since = "1.20.0")]
 234     #[inline]
 235     pub fn into_boxed_bytes(self: Box<str>) -> Box<[u8]> {
 236         self.into()
 237     }
 238
 239     /// Replaces all matches of a pattern with another string.
 240     ///
 241     /// `replace` creates a new [`String`], and copies the data from this string slice into it.
 242     /// While doing so, it attempts to find matches of a pattern. If it finds any, it
 243     /// replaces them with the replacement string slice.
 244     ///
 245     /// [`String`]: string/struct.String.html
 246     ///
 247     /// # Examples
 248     ///
 249     /// Basic usage:
 250     ///
 251     /// ```
 252     /// let s = "this is old";
 253     ///
 254     /// assert_eq!("this is new", s.replace("old", "new"));
 255     /// ```
 256     ///
 257     /// When the pattern doesn't match:
 258     ///
 259     /// ```
 260     /// let s = "this is old";
 261     /// assert_eq!(s, s.replace("cookie monster", "little lamb"));
 262     /// ```
 263     #[must_use = "this returns the replaced string as a new allocation, \
 264                   without modifying the original"]
 265     #[stable(feature = "rust1", since = "1.0.0")]
 266     #[inline]
 267     pub fn replace<'a, P: Pattern<'a>>(&'a self, from: P, to: &str) -> String {
 268         let mut result = String::new();
 269         let mut last_end = 0;
 270         for (start, part) in self.match_indices(from) {
 271             result.push_str(unsafe { self.get_unchecked(last_end..start) });
 272             result.push_str(to);
 273             last_end = start + part.len();
 274         }
 275         result.push_str(unsafe { self.get_unchecked(last_end..self.len()) });
 276         result
 277     }
 278
 279     /// Replaces first N matches of a pattern with another string.
 280     ///
 281     /// `replacen` creates a new [`String`], and copies the data from this string slice into it.
 282     /// While doing so, it attempts to find matches of a pattern. If it finds any, it
 283     /// replaces them with the replacement string slice at most `count` times.
 284     ///
 285     /// [`String`]: string/struct.String.html
 286     ///
 287     /// # Examples
 288     ///
 289     /// Basic usage:
 290     ///
 291     /// ```
 292     /// let s = "foo foo 123 foo";
 293     /// assert_eq!("new new 123 foo", s.replacen("foo", "new", 2));
 294     /// assert_eq!("faa fao 123 foo", s.replacen('o', "a", 3));
 295     /// assert_eq!("foo foo new23 foo", s.replacen(char::is_numeric, "new", 1));
 296     /// ```
 297     ///
 298     /// When the pattern doesn't match:
 299     ///
 300     /// ```
 301     /// let s = "this is old";
 302     /// assert_eq!(s, s.replacen("cookie monster", "little lamb", 10));
 303     /// ```
 304     #[must_use = "this returns the replaced string as a new allocation, \
 305                   without modifying the original"]
 306     #[stable(feature = "str_replacen", since = "1.16.0")]
 307     pub fn replacen<'a, P: Pattern<'a>>(&'a self, pat: P, to: &str, count: usize) -> String {
 308         // Hope to reduce the times of re-allocation
 309         let mut result = String::with_capacity(32);
 310         let mut last_end = 0;
 311         for (start, part) in self.match_indices(pat).take(count) {
 312             result.push_str(unsafe { self.get_unchecked(last_end..start) });
 313             result.push_str(to);
 314             last_end = start + part.len();
 315         }
 316         result.push_str(unsafe { self.get_unchecked(last_end..self.len()) });
 317         result
 318     }
 319
 320     /// Returns the lowercase equivalent of this string slice, as a new [`String`].
 321     ///
 322     /// 'Lowercase' is defined according to the terms of the Unicode Derived Core Property
 323     /// `Lowercase`.
 324     ///
 325     /// Since some characters can expand into multiple characters when changing
 326     /// the case, this function returns a [`String`] instead of modifying the
 327     /// parameter in-place.
 328     ///
 329     /// [`String`]: string/struct.String.html
 330     ///
 331     /// # Examples
 332     ///
 333     /// Basic usage:
 334     ///
 335     /// ```
 336     /// let s = "HELLO";
 337     ///
 338     /// assert_eq!("hello", s.to_lowercase());
 339     /// ```
 340     ///
 341     /// A tricky example, with sigma:
 342     ///
 343     /// ```
 344     /// let sigma = "Σ";
 345     ///
 346     /// assert_eq!("σ", sigma.to_lowercase());
 347     ///
 348     /// // but at the end of a word, it's ς, not σ:
 349     /// let odysseus = "ὈΔΥΣΣΕΎΣ";
 350     ///
 351     /// assert_eq!("ὀδυσσεύς", odysseus.to_lowercase());
 352     /// ```
 353     ///
 354     /// Languages without case are not changed:
 355     ///
 356     /// ```
 357     /// let new_year = "农历新年";
 358     ///
 359     /// assert_eq!(new_year, new_year.to_lowercase());
 360     /// ```
 361     #[stable(feature = "unicode_case_mapping", since = "1.2.0")]
 362     pub fn to_lowercase(&self) -> String {
 363         let mut s = String::with_capacity(self.len());
 364         for (i, c) in self[..].char_indices() {
 365             if c == 'Σ' {
 366                 // Σ maps to σ, except at the end of a word where it maps to ς.
 367                 // This is the only conditional (contextual) but language-independent mapping
 368                 // in `SpecialCasing.txt`,
 369                 // so hard-code it rather than have a generic "condition" mechanism.
 370                 // See https://github.com/rust-lang/rust/issues/26035
 371                 map_uppercase_sigma(self, i, &mut s)
 372             } else {
 373                 match conversions::to_lower(c) {
 374                     [a, '\0', _] => s.push(a),
 375                     [a, b, '\0'] => {
 376                         s.push(a);
 377                         s.push(b);
 378                     }
 379                     [a, b, c] => {
 380                         s.push(a);
 381                         s.push(b);
 382                         s.push(c);
 383                     }
 384                 }
 385             }
 386         }
 387         return s;
 388
 389         fn map_uppercase_sigma(from: &str, i: usize, to: &mut String) {
 390             // See http://www.unicode.org/versions/Unicode7.0.0/ch03.pdf#G33992
 391             // for the definition of `Final_Sigma`.
 392             debug_assert!('Σ'.len_utf8() == 2);
 393             let is_word_final = case_ignoreable_then_cased(from[..i].chars().rev()) &&
 394                                 !case_ignoreable_then_cased(from[i + 2..].chars());
 395             to.push_str(if is_word_final { "ς" } else { "σ" });
 396         }
 397
 398         fn case_ignoreable_then_cased<I: Iterator<Item = char>>(iter: I) -> bool {
 399             use core::unicode::derived_property::{Cased, Case_Ignorable};
 400             match iter.skip_while(|&c| Case_Ignorable(c)).next() {
 401                 Some(c) => Cased(c),
 402                 None => false,
 403             }
 404         }
 405     }
 406
 407     /// Returns the uppercase equivalent of this string slice, as a new [`String`].
 408     ///
 409     /// 'Uppercase' is defined according to the terms of the Unicode Derived Core Property
 410     /// `Uppercase`.
 411     ///
 412     /// Since some characters can expand into multiple characters when changing
 413     /// the case, this function returns a [`String`] instead of modifying the
 414     /// parameter in-place.
 415     ///
 416     /// [`String`]: string/struct.String.html
 417     ///
 418     /// # Examples
 419     ///
 420     /// Basic usage:
 421     ///
 422     /// ```
 423     /// let s = "hello";
 424     ///
 425     /// assert_eq!("HELLO", s.to_uppercase());
 426     /// ```
 427     ///
 428     /// Scripts without case are not changed:
 429     ///
 430     /// ```
 431     /// let new_year = "农历新年";
 432     ///
 433     /// assert_eq!(new_year, new_year.to_uppercase());
 434     /// ```
 435     ///
 436     /// One character can become multiple:
 437     /// ```
 438     /// let s = "tschüß";
 439     ///
 440     /// assert_eq!("TSCHÜSS", s.to_uppercase());
 441     /// ```
 442     #[stable(feature = "unicode_case_mapping", since = "1.2.0")]
 443     pub fn to_uppercase(&self) -> String {
 444         let mut s = String::with_capacity(self.len());
 445         for c in self[..].chars() {
 446             match conversions::to_upper(c) {
 447                 [a, '\0', _] => s.push(a),
 448                 [a, b, '\0'] => {
 449                     s.push(a);
 450                     s.push(b);
 451                 }
 452                 [a, b, c] => {
 453                     s.push(a);
 454                     s.push(b);
 455                     s.push(c);
 456                 }
 457             }
 458         }
 459         s
 460     }
 461
 462     /// Converts a [`Box<str>`] into a [`String`] without copying or allocating.
 463     ///
 464     /// [`String`]: string/struct.String.html
 465     /// [`Box<str>`]: boxed/struct.Box.html
 466     ///
 467     /// # Examples
 468     ///
 469     /// Basic usage:
 470     ///
 471     /// ```
 472     /// let string = String::from("birthday gift");
 473     /// let boxed_str = string.clone().into_boxed_str();
 474     ///
 475     /// assert_eq!(boxed_str.into_string(), string);
 476     /// ```
 477     #[stable(feature = "box_str", since = "1.4.0")]
 478     #[inline]
 479     pub fn into_string(self: Box<str>) -> String {
 480         let slice = Box::<[u8]>::from(self);
 481         unsafe { String::from_utf8_unchecked(slice.into_vec()) }
 482     }
 483
 484     /// Creates a new [`String`] by repeating a string `n` times.
 485     ///
 486     /// # Panics
 487     ///
 488     /// This function will panic if the capacity would overflow.
 489     ///
 490     /// [`String`]: string/struct.String.html
 491     ///
 492     /// # Examples
 493     ///
 494     /// Basic usage:
 495     ///
 496     /// ```
 497     /// assert_eq!("abc".repeat(4), String::from("abcabcabcabc"));
 498     /// ```
 499     ///
 500     /// A panic upon overflow:
 501     ///
 502     /// ```should_panic
 503     /// // this will panic at runtime
 504     /// "0123456789abcdef".repeat(usize::max_value());
 505     /// ```
 506     #[stable(feature = "repeat_str", since = "1.16.0")]
 507     pub fn repeat(&self, n: usize) -> String {
 508         unsafe { String::from_utf8_unchecked(self.as_bytes().repeat(n)) }
 509     }
 510
 511     /// Returns a copy of this string where each character is mapped to its
 512     /// ASCII upper case equivalent.
 513     ///
 514     /// ASCII letters 'a' to 'z' are mapped to 'A' to 'Z',
 515     /// but non-ASCII letters are unchanged.
 516     ///
 517     /// To uppercase the value in-place, use [`make_ascii_uppercase`].
 518     ///
 519     /// To uppercase ASCII characters in addition to non-ASCII characters, use
 520     /// [`to_uppercase`].
 521     ///
 522     /// # Examples
 523     ///
 524     /// ```
 525     /// let s = "Grüße, Jürgen ❤";
 526     ///
 527     /// assert_eq!("GRüßE, JüRGEN ❤", s.to_ascii_uppercase());
 528     /// ```
 529     ///
 530     /// [`make_ascii_uppercase`]: #method.make_ascii_uppercase
 531     /// [`to_uppercase`]: #method.to_uppercase
 532     #[stable(feature = "ascii_methods_on_intrinsics", since = "1.23.0")]
 533     #[inline]
 534     pub fn to_ascii_uppercase(&self) -> String {
 535         let mut bytes = self.as_bytes().to_vec();
 536         bytes.make_ascii_uppercase();
 537         // make_ascii_uppercase() preserves the UTF-8 invariant.
 538         unsafe { String::from_utf8_unchecked(bytes) }
 539     }
 540
 541     /// Returns a copy of this string where each character is mapped to its
 542     /// ASCII lower case equivalent.
 543     ///
 544     /// ASCII letters 'A' to 'Z' are mapped to 'a' to 'z',
 545     /// but non-ASCII letters are unchanged.
 546     ///
 547     /// To lowercase the value in-place, use [`make_ascii_lowercase`].
 548     ///
 549     /// To lowercase ASCII characters in addition to non-ASCII characters, use
 550     /// [`to_lowercase`].
 551     ///
 552     /// # Examples
 553     ///
 554     /// ```
 555     /// let s = "Grüße, Jürgen ❤";
 556     ///
 557     /// assert_eq!("grüße, jürgen ❤", s.to_ascii_lowercase());
 558     /// ```
 559     ///
 560     /// [`make_ascii_lowercase`]: #method.make_ascii_lowercase
 561     /// [`to_lowercase`]: #method.to_lowercase
 562     #[stable(feature = "ascii_methods_on_intrinsics", since = "1.23.0")]
 563     #[inline]
 564     pub fn to_ascii_lowercase(&self) -> String {
 565         let mut bytes = self.as_bytes().to_vec();
 566         bytes.make_ascii_lowercase();
 567         // make_ascii_lowercase() preserves the UTF-8 invariant.
 568         unsafe { String::from_utf8_unchecked(bytes) }
 569     }
 570 }
 571
 572 /// Converts a boxed slice of bytes to a boxed string slice without checking
 573 /// that the string contains valid UTF-8.
 574 ///
 575 /// # Examples
 576 ///
 577 /// Basic usage:
 578 ///
 579 /// ```
 580 /// let smile_utf8 = Box::new([226, 152, 186]);
 581 /// let smile = unsafe { std::str::from_boxed_utf8_unchecked(smile_utf8) };
 582 ///
 583 /// assert_eq!("☺", &*smile);
 584 /// ```
 585 #[stable(feature = "str_box_extras", since = "1.20.0")]
 586 #[inline]
 587 pub unsafe fn from_boxed_utf8_unchecked(v: Box<[u8]>) -> Box<str> {
 588     Box::from_raw(Box::into_raw(v) as *mut str)
 589 }