src/script/tokenizer.h

   1 #ifndef TOKENIZER_H_
   2 #define TOKENIZER_H_
   3
   4 struct Token
   5 {
   6     const char *begin;
   7     const char *end;
   8 };
   9
  10 struct Token next_token(const char *str);
  11
  12 #endif  // TOKENIZER_H_