Lines Matching refs:TOKEN
53 * TOKEN tokenizing pplex()
330 { TOKEN, { C_XXX }, S_HUH, },
331 { TOKEN, { C_EOF }, S_EOF, },
332 { TOKEN, { C_DEC }, DEC1, },
333 { TOKEN, { '0' }, OCT1, },
334 { TOKEN, { '.' }, DOT1, },
335 { TOKEN, { C_LET }, NID, },
336 { TOKEN, { 'L' }, LIT, },
337 { TOKEN, { '"', '\'', '<' }, S_LITBEG, },
338 { TOKEN, { '/' }, COM1, },
339 { TOKEN, { '\n' }, S_NL, },
340 { TOKEN, { ' ', '\t' }, WS1, },
341 { TOKEN, { '\f', '\v' }, S_VS, },
342 { TOKEN, { '#' }, SHARP1, },
343 { TOKEN, { ':' }, COLON1, },
344 { TOKEN, { '%' }, PCT1, },
345 { TOKEN, { '&' }, AND1, },
346 { TOKEN, { '*' }, STAR1, },
347 { TOKEN, { '+' }, PLUS1, },
348 { TOKEN, { '-' }, MINUS1, },
349 { TOKEN, { '=' }, EQ1, },
350 { TOKEN, { '!' }, NOT1, },
351 { TOKEN, { '>' }, GT1, },
352 { TOKEN, { '^' }, CIRC1, },
353 { TOKEN, { '|' }, OR1, },
354 { TOKEN, { '(', ')', '[', ']' }, S_CHR, },
355 { TOKEN, { '{', '}', ',', ';' }, S_CHR, },
356 { TOKEN, { '~', '?' }, S_CHR, },
593 if (fsm[TOKEN][c] == ~S_HUH)
791 if (fsm[TOKEN][c] == ~S_HUH)
799 if (c != '"' && fsm[TOKEN][c] == fsm[TOKEN]['"'])