utf8.h

   1 #ifndef UTF8_UTIL_H
   2 #define UTF8_UTIL_H
   3
   4 #ifdef __cplusplus
   5 extern "C" {
   6 #endif
   7
   8 /**
   9  * UTF-8 utility functions
  10  *
  11  * (c) 2010-2016 Steve Bennett <steveb@workware.net.au>
  12  *
  13  * See LICENCE for licence details.
  14  */
  15
  16 #ifndef USE_UTF8
  17 #include <ctype.h>
  18
  19 /* No utf-8 support. 1 byte = 1 char */
  20 #define utf8_strlen(S, B) ((B) < 0 ? (int)strlen(S) : (B))
  21 #define utf8_tounicode(S, CP) (*(CP) = (unsigned char)*(S), 1)
  22 #define utf8_index(C, I) (I)
  23 #define utf8_charlen(C) 1
  24
  25 #else
  26 /**
  27  * Converts the given unicode codepoint (0 - 0x1fffff) to utf-8
  28  * and stores the result at 'p'.
  29  *
  30  * Returns the number of utf-8 characters
  31  */
  32 int utf8_fromunicode(char *p, unsigned uc);
  33
  34 /**
  35  * Returns the length of the utf-8 sequence starting with 'c'.
  36  *
  37  * Returns 1-4, or -1 if this is not a valid start byte.
  38  *
  39  * Note that charlen=4 is not supported by the rest of the API.
  40  */
  41 int utf8_charlen(int c);
  42
  43 /**
  44  * Returns the number of characters in the utf-8
  45  * string of the given byte length.
  46  *
  47  * Any bytes which are not part of an valid utf-8
  48  * sequence are treated as individual characters.
  49  *
  50  * The string *must* be null terminated.
  51  *
  52  * Does not support unicode code points > \u1fffff
  53  */
  54 int utf8_strlen(const char *str, int bytelen);
  55
  56 /**
  57  * Returns the byte index of the given character in the utf-8 string.
  58  *
  59  * The string *must* be null terminated.
  60  *
  61  * This will return the byte length of a utf-8 string
  62  * if given the char length.
  63  */
  64 int utf8_index(const char *str, int charindex);
  65
  66 /**
  67  * Returns the unicode codepoint corresponding to the
  68  * utf-8 sequence 'str'.
  69  *
  70  * Stores the result in *uc and returns the number of bytes
  71  * consumed.
  72  *
  73  * If 'str' is null terminated, then an invalid utf-8 sequence
  74  * at the end of the string will be returned as individual bytes.
  75  *
  76  * If it is not null terminated, the length *must* be checked first.
  77  *
  78  * Does not support unicode code points > \u1fffff
  79  */
  80 int utf8_tounicode(const char *str, int *uc);
  81
  82 #endif
  83
  84 #ifdef __cplusplus
  85 }
  86 #endif
  87
  88 #endif