src/libcore/char.rs

   1 // Copyright 2012-2014 The Rust Project Developers. See the COPYRIGHT
   2 // file at the top-level directory of this distribution and at
   3 // http://rust-lang.org/COPYRIGHT.
   4 //
   5 // Licensed under the Apache License, Version 2.0 <LICENSE-APACHE or
   6 // http://www.apache.org/licenses/LICENSE-2.0> or the MIT license
   7 // <LICENSE-MIT or http://opensource.org/licenses/MIT>, at your
   8 // option. This file may not be copied, modified, or distributed
   9 // except according to those terms.
  10
  11 //! Character manipulation.
  12 //!
  13 //! For more details, see ::rustc_unicode::char (a.k.a. std::char)
  14
  15 #![allow(non_snake_case)]
  16 #![stable(feature = "core_char", since = "1.2.0")]
  17
  18 use iter::Iterator;
  19 use mem::transmute;
  20 use option::Option::{None, Some};
  21 use option::Option;
  22 use slice::SliceExt;
  23
  24 // UTF-8 ranges and tags for encoding characters
  25 const TAG_CONT: u8    = 0b1000_0000;
  26 const TAG_TWO_B: u8   = 0b1100_0000;
  27 const TAG_THREE_B: u8 = 0b1110_0000;
  28 const TAG_FOUR_B: u8  = 0b1111_0000;
  29 const MAX_ONE_B: u32   =     0x80;
  30 const MAX_TWO_B: u32   =    0x800;
  31 const MAX_THREE_B: u32 =  0x10000;
  32
  33 /*
  34     Lu  Uppercase_Letter        an uppercase letter
  35     Ll  Lowercase_Letter        a lowercase letter
  36     Lt  Titlecase_Letter        a digraphic character, with first part uppercase
  37     Lm  Modifier_Letter         a modifier letter
  38     Lo  Other_Letter            other letters, including syllables and ideographs
  39     Mn  Nonspacing_Mark         a nonspacing combining mark (zero advance width)
  40     Mc  Spacing_Mark            a spacing combining mark (positive advance width)
  41     Me  Enclosing_Mark          an enclosing combining mark
  42     Nd  Decimal_Number          a decimal digit
  43     Nl  Letter_Number           a letterlike numeric character
  44     No  Other_Number            a numeric character of other type
  45     Pc  Connector_Punctuation   a connecting punctuation mark, like a tie
  46     Pd  Dash_Punctuation        a dash or hyphen punctuation mark
  47     Ps  Open_Punctuation        an opening punctuation mark (of a pair)
  48     Pe  Close_Punctuation       a closing punctuation mark (of a pair)
  49     Pi  Initial_Punctuation     an initial quotation mark
  50     Pf  Final_Punctuation       a final quotation mark
  51     Po  Other_Punctuation       a punctuation mark of other type
  52     Sm  Math_Symbol             a symbol of primarily mathematical use
  53     Sc  Currency_Symbol         a currency sign
  54     Sk  Modifier_Symbol         a non-letterlike modifier symbol
  55     So  Other_Symbol            a symbol of other type
  56     Zs  Space_Separator         a space character (of various non-zero widths)
  57     Zl  Line_Separator          U+2028 LINE SEPARATOR only
  58     Zp  Paragraph_Separator     U+2029 PARAGRAPH SEPARATOR only
  59     Cc  Control                 a C0 or C1 control code
  60     Cf  Format                  a format control character
  61     Cs  Surrogate               a surrogate code point
  62     Co  Private_Use             a private-use character
  63     Cn  Unassigned              a reserved unassigned code point or a noncharacter
  64 */
  65
  66 /// The highest valid code point
  67 #[stable(feature = "rust1", since = "1.0.0")]
  68 pub const MAX: char = '\u{10ffff}';
  69
  70 /// Converts a `u32` to an `Option<char>`.
  71 ///
  72 /// # Examples
  73 ///
  74 /// ```
  75 /// use std::char;
  76 ///
  77 /// assert_eq!(char::from_u32(0x2764), Some('❤'));
  78 /// assert_eq!(char::from_u32(0x110000), None); // invalid character
  79 /// ```
  80 #[inline]
  81 #[stable(feature = "rust1", since = "1.0.0")]
  82 pub fn from_u32(i: u32) -> Option<char> {
  83     // catch out-of-bounds and surrogates
  84     if (i > MAX as u32) || (i >= 0xD800 && i <= 0xDFFF) {
  85         None
  86     } else {
  87         Some(unsafe { from_u32_unchecked(i) })
  88     }
  89 }
  90
  91 /// Converts a `u32` to an `char`, not checking whether it is a valid unicode
  92 /// codepoint.
  93 #[inline]
  94 #[stable(feature = "char_from_unchecked", since = "1.5.0")]
  95 pub unsafe fn from_u32_unchecked(i: u32) -> char {
  96     transmute(i)
  97 }
  98
  99 /// Converts a number to the character representing it.
 100 ///
 101 /// # Return value
 102 ///
 103 /// Returns `Some(char)` if `num` represents one digit under `radix`,
 104 /// using one character of `0-9` or `a-z`, or `None` if it doesn't.
 105 ///
 106 /// # Panics
 107 ///
 108 /// Panics if given an `radix` > 36.
 109 ///
 110 /// # Examples
 111 ///
 112 /// ```
 113 /// use std::char;
 114 ///
 115 /// let c = char::from_digit(4, 10);
 116 ///
 117 /// assert_eq!(c, Some('4'));
 118 /// ```
 119 #[inline]
 120 #[stable(feature = "rust1", since = "1.0.0")]
 121 pub fn from_digit(num: u32, radix: u32) -> Option<char> {
 122     if radix > 36 {
 123         panic!("from_digit: radix is too high (maximum 36)");
 124     }
 125     if num < radix {
 126         let num = num as u8;
 127         if num < 10 {
 128             Some((b'0' + num) as char)
 129         } else {
 130             Some((b'a' + num - 10) as char)
 131         }
 132     } else {
 133         None
 134     }
 135 }
 136
 137 // NB: the stabilization and documentation for this trait is in
 138 // unicode/char.rs, not here
 139 #[allow(missing_docs)] // docs in libunicode/u_char.rs
 140 #[doc(hidden)]
 141 #[unstable(feature = "core_char_ext",
 142            reason = "the stable interface is `impl char` in later crate",
 143            issue = "27701")]
 144 pub trait CharExt {
 145     fn is_digit(self, radix: u32) -> bool;
 146     fn to_digit(self, radix: u32) -> Option<u32>;
 147     fn escape_unicode(self) -> EscapeUnicode;
 148     fn escape_default(self) -> EscapeDefault;
 149     fn len_utf8(self) -> usize;
 150     fn len_utf16(self) -> usize;
 151     fn encode_utf8(self, dst: &mut [u8]) -> Option<usize>;
 152     fn encode_utf16(self, dst: &mut [u16]) -> Option<usize>;
 153 }
 154
 155 impl CharExt for char {
 156     #[inline]
 157     fn is_digit(self, radix: u32) -> bool {
 158         self.to_digit(radix).is_some()
 159     }
 160
 161     #[inline]
 162     fn to_digit(self, radix: u32) -> Option<u32> {
 163         if radix > 36 {
 164             panic!("to_digit: radix is too high (maximum 36)");
 165         }
 166         let val = match self {
 167           '0' ... '9' => self as u32 - '0' as u32,
 168           'a' ... 'z' => self as u32 - 'a' as u32 + 10,
 169           'A' ... 'Z' => self as u32 - 'A' as u32 + 10,
 170           _ => return None,
 171         };
 172         if val < radix { Some(val) }
 173         else { None }
 174     }
 175
 176     #[inline]
 177     fn escape_unicode(self) -> EscapeUnicode {
 178         EscapeUnicode { c: self, state: EscapeUnicodeState::Backslash }
 179     }
 180
 181     #[inline]
 182     fn escape_default(self) -> EscapeDefault {
 183         let init_state = match self {
 184             '\t' => EscapeDefaultState::Backslash('t'),
 185             '\r' => EscapeDefaultState::Backslash('r'),
 186             '\n' => EscapeDefaultState::Backslash('n'),
 187             '\\' | '\'' | '"' => EscapeDefaultState::Backslash(self),
 188             '\x20' ... '\x7e' => EscapeDefaultState::Char(self),
 189             _ => EscapeDefaultState::Unicode(self.escape_unicode())
 190         };
 191         EscapeDefault { state: init_state }
 192     }
 193
 194     #[inline]
 195     fn len_utf8(self) -> usize {
 196         let code = self as u32;
 197         if code < MAX_ONE_B {
 198             1
 199         } else if code < MAX_TWO_B {
 200             2
 201         } else if code < MAX_THREE_B {
 202             3
 203         } else {
 204             4
 205         }
 206     }
 207
 208     #[inline]
 209     fn len_utf16(self) -> usize {
 210         let ch = self as u32;
 211         if (ch & 0xFFFF) == ch { 1 } else { 2 }
 212     }
 213
 214     #[inline]
 215     fn encode_utf8(self, dst: &mut [u8]) -> Option<usize> {
 216         encode_utf8_raw(self as u32, dst)
 217     }
 218
 219     #[inline]
 220     fn encode_utf16(self, dst: &mut [u16]) -> Option<usize> {
 221         encode_utf16_raw(self as u32, dst)
 222     }
 223 }
 224
 225 /// Encodes a raw u32 value as UTF-8 into the provided byte buffer,
 226 /// and then returns the number of bytes written.
 227 ///
 228 /// If the buffer is not large enough, nothing will be written into it
 229 /// and a `None` will be returned.
 230 #[inline]
 231 #[unstable(feature = "char_internals",
 232            reason = "this function should not be exposed publicly",
 233            issue = "0")]
 234 #[doc(hidden)]
 235 pub fn encode_utf8_raw(code: u32, dst: &mut [u8]) -> Option<usize> {
 236     // Marked #[inline] to allow llvm optimizing it away
 237     if code < MAX_ONE_B && !dst.is_empty() {
 238         dst[0] = code as u8;
 239         Some(1)
 240     } else if code < MAX_TWO_B && dst.len() >= 2 {
 241         dst[0] = (code >> 6 & 0x1F) as u8 | TAG_TWO_B;
 242         dst[1] = (code & 0x3F) as u8 | TAG_CONT;
 243         Some(2)
 244     } else if code < MAX_THREE_B && dst.len() >= 3  {
 245         dst[0] = (code >> 12 & 0x0F) as u8 | TAG_THREE_B;
 246         dst[1] = (code >>  6 & 0x3F) as u8 | TAG_CONT;
 247         dst[2] = (code & 0x3F) as u8 | TAG_CONT;
 248         Some(3)
 249     } else if dst.len() >= 4 {
 250         dst[0] = (code >> 18 & 0x07) as u8 | TAG_FOUR_B;
 251         dst[1] = (code >> 12 & 0x3F) as u8 | TAG_CONT;
 252         dst[2] = (code >>  6 & 0x3F) as u8 | TAG_CONT;
 253         dst[3] = (code & 0x3F) as u8 | TAG_CONT;
 254         Some(4)
 255     } else {
 256         None
 257     }
 258 }
 259
 260 /// Encodes a raw u32 value as UTF-16 into the provided `u16` buffer,
 261 /// and then returns the number of `u16`s written.
 262 ///
 263 /// If the buffer is not large enough, nothing will be written into it
 264 /// and a `None` will be returned.
 265 #[inline]
 266 #[unstable(feature = "char_internals",
 267            reason = "this function should not be exposed publicly",
 268            issue = "0")]
 269 #[doc(hidden)]
 270 pub fn encode_utf16_raw(mut ch: u32, dst: &mut [u16]) -> Option<usize> {
 271     // Marked #[inline] to allow llvm optimizing it away
 272     if (ch & 0xFFFF) == ch && !dst.is_empty() {
 273         // The BMP falls through (assuming non-surrogate, as it should)
 274         dst[0] = ch as u16;
 275         Some(1)
 276     } else if dst.len() >= 2 {
 277         // Supplementary planes break into surrogates.
 278         ch -= 0x1_0000;
 279         dst[0] = 0xD800 | ((ch >> 10) as u16);
 280         dst[1] = 0xDC00 | ((ch as u16) & 0x3FF);
 281         Some(2)
 282     } else {
 283         None
 284     }
 285 }
 286
 287 /// An iterator over the characters that represent a `char`, as escaped by
 288 /// Rust's unicode escaping rules.
 289 #[derive(Clone)]
 290 #[stable(feature = "rust1", since = "1.0.0")]
 291 pub struct EscapeUnicode {
 292     c: char,
 293     state: EscapeUnicodeState
 294 }
 295
 296 #[derive(Clone)]
 297 enum EscapeUnicodeState {
 298     Backslash,
 299     Type,
 300     LeftBrace,
 301     Value(usize),
 302     RightBrace,
 303     Done,
 304 }
 305
 306 #[stable(feature = "rust1", since = "1.0.0")]
 307 impl Iterator for EscapeUnicode {
 308     type Item = char;
 309
 310     fn next(&mut self) -> Option<char> {
 311         match self.state {
 312             EscapeUnicodeState::Backslash => {
 313                 self.state = EscapeUnicodeState::Type;
 314                 Some('\\')
 315             }
 316             EscapeUnicodeState::Type => {
 317                 self.state = EscapeUnicodeState::LeftBrace;
 318                 Some('u')
 319             }
 320             EscapeUnicodeState::LeftBrace => {
 321                 let mut n = 0;
 322                 while (self.c as u32) >> (4 * (n + 1)) != 0 {
 323                     n += 1;
 324                 }
 325                 self.state = EscapeUnicodeState::Value(n);
 326                 Some('{')
 327             }
 328             EscapeUnicodeState::Value(offset) => {
 329                 let c = from_digit(((self.c as u32) >> (offset * 4)) & 0xf, 16).unwrap();
 330                 if offset == 0 {
 331                     self.state = EscapeUnicodeState::RightBrace;
 332                 } else {
 333                     self.state = EscapeUnicodeState::Value(offset - 1);
 334                 }
 335                 Some(c)
 336             }
 337             EscapeUnicodeState::RightBrace => {
 338                 self.state = EscapeUnicodeState::Done;
 339                 Some('}')
 340             }
 341             EscapeUnicodeState::Done => None,
 342         }
 343     }
 344
 345     fn size_hint(&self) -> (usize, Option<usize>) {
 346         let mut n = 0;
 347         while (self.c as usize) >> (4 * (n + 1)) != 0 {
 348             n += 1;
 349         }
 350         let n = match self.state {
 351             EscapeUnicodeState::Backslash => n + 5,
 352             EscapeUnicodeState::Type => n + 4,
 353             EscapeUnicodeState::LeftBrace => n + 3,
 354             EscapeUnicodeState::Value(offset) => offset + 2,
 355             EscapeUnicodeState::RightBrace => 1,
 356             EscapeUnicodeState::Done => 0,
 357         };
 358         (n, Some(n))
 359     }
 360 }
 361
 362 /// An iterator over the characters that represent a `char`, escaped
 363 /// for maximum portability.
 364 #[derive(Clone)]
 365 #[stable(feature = "rust1", since = "1.0.0")]
 366 pub struct EscapeDefault {
 367     state: EscapeDefaultState
 368 }
 369
 370 #[derive(Clone)]
 371 enum EscapeDefaultState {
 372     Backslash(char),
 373     Char(char),
 374     Done,
 375     Unicode(EscapeUnicode),
 376 }
 377
 378 #[stable(feature = "rust1", since = "1.0.0")]
 379 impl Iterator for EscapeDefault {
 380     type Item = char;
 381
 382     fn next(&mut self) -> Option<char> {
 383         match self.state {
 384             EscapeDefaultState::Backslash(c) => {
 385                 self.state = EscapeDefaultState::Char(c);
 386                 Some('\\')
 387             }
 388             EscapeDefaultState::Char(c) => {
 389                 self.state = EscapeDefaultState::Done;
 390                 Some(c)
 391             }
 392             EscapeDefaultState::Done => None,
 393             EscapeDefaultState::Unicode(ref mut iter) => iter.next(),
 394         }
 395     }
 396
 397     fn size_hint(&self) -> (usize, Option<usize>) {
 398         match self.state {
 399             EscapeDefaultState::Char(_) => (1, Some(1)),
 400             EscapeDefaultState::Backslash(_) => (2, Some(2)),
 401             EscapeDefaultState::Unicode(ref iter) => iter.size_hint(),
 402             EscapeDefaultState::Done => (0, Some(0)),
 403         }
 404     }
 405 }