tokens

const (
	// TOKEN_UD токен не определен
	TOKEN_UD TokenType = 0
	// TOKEN_UK токен неопределенного типа строки
	TOKEN_UK TokenType = 1
	// TOKEN_WD токен отдельного слова
	TOKEN_WD TokenType = 2
	// TOKEN_ES токен с пробельными символами
	TOKEN_ES TokenType = 4
	// TOKEN_WS токен с пробельными символами внутри предложения
	TOKEN_WS TokenType = 8
	// TOKEN_DM токен с разделителями внутри предложения помимо пробелов
	TOKEN_DM TokenType = 16
	// TOKEN_LC токен (без значения) для слитных участок текста, не разбирается
	TOKEN_LC TokenType = 32
	// TOKEN_NB нечто численное - требуется для корректной обработки точек и запятых
	TOKEN_NB TokenType = 64
	// TOKEN_EOF признак конца файла
	TOKEN_EOF TokenType = 128
)