Lines Matching refs:token

67 #define eat(p)		do{if ((p)->token.push)(p)->token.push=0;else (p)->cursor+=(p)->token.len;}while (0)
126 Token_t token; /* token lookahead */
630 static int token(Cenv_t*);
639 int l = env->token.len;
648 sp = (char*)env->cursor + env->token.len;
676 env->token.min = n;
692 else if (n < env->token.min)
698 env->token.max = n;
731 env->token.len = sp - (char*)env->cursor;
739 env->token.len++;
740 env->token.lex = 0;
748 env->token.len += ep - sp;
751 env->token.lex = c;
766 env->token.len += ep - sp;
784 env->token.len++;
800 if (env->type == KRE && *(env->cursor + env->token.len) == '-' && *(env->cursor + env->token.len + 1) == '(')
802 env->token.len++;
803 env->token.att = 1;
805 if (env->type == KRE && *(env->cursor + env->token.len) == '(')
807 env->token.len++;
813 env->token.lex = c;
816 env->token.lex = 0;
819 env->token.lex = c;
831 env->token.len = l;
868 sp = (char*)env->cursor + env->token.len;
893 return token(env);
909 token(register Cenv_t* env)
914 if (env->token.push)
915 return env->token.lex;
916 env->token.att = env->token.esc = 0;
917 if ((env->token.len = MBSIZE(env->cursor)) > 1)
918 return env->token.lex = C_MB;
919 env->token.lex = 0;
969 env->token.esc = env->token.len;
970 env->token.len += MBSIZE(env->cursor + 1);
978 env->token.esc = env->token.len;
979 env->token.len += MBSIZE(env->cursor + 1);
1015 while (*(env->cursor + env->token.len) == c)
1016 env->token.len++;
1220 env->token.len = 1;
1222 if (env->token.len > 1 || w != T_BAD)
1224 if (env->token.len == 1 && (f = classfun(w)))
1240 if (env->token.len > 1 || w >= 0 && w < T_META)
1249 env->cursor += env->token.len;
1489 env->token.len = 1;
1491 if (env->token.len > 1 || w != T_BAD)
1493 if (env->token.len == 1 && (f = classfun(w)))
1507 if (env->token.len > 1 || w >= 0 && w < T_META)
1512 env->cursor += env->token.len;
1777 switch (token(env))
1801 m = env->token.min;
1802 n = env->token.max;
1807 if (env->token.att)
1810 switch (token(env))
2031 beg = env->pattern == env->cursor - env->token.len;
2032 if (!(c = env->token.lex) && (c = *env->cursor))
2034 env->token.len = 0;
2068 env->token.push = 1;
2086 if (token(env) == T_CLOSE)
2209 c = token(env);
2223 switch (token(env))
2403 if (token(env) != T_CLOSE)
2470 env->token.len = 1;
2486 c = token(env);
2552 while ((c = token(env)) < T_META && s < &buf[sizeof(buf) - env->token.len])
2563 c = (c == C_ESC) ? env->token.lex : mbchar(p);
2580 n = env->token.len - env->token.esc;
2667 tok = env->token;
2671 if (env->token.att)
2685 if (token(env) != T_CLOSE)
2706 env->token = tok;
2772 env->token.lex = T_STAR;
2773 env->token.push = 1;
2778 env->token.lex = T_PLUS;
2779 env->token.push = 1;
2823 if (!(e = seq(env)) || !(env->flags & REG_AUGMENTED) || token(env) != T_AND)
2851 else if (token(env) != T_BAR)
3261 env.token.lex = 0;
3262 env.token.push = 0;