ЛЕКСИЧЕСКИЕ СОГЛАШЕНИЯ
Имеется шесть классов лексем: идентификаторы, ключевые слова, константы, текстовые константы, знаки операций и прочие разделители. Пробелы, табуляции, символы перевода строки и комментарии (собирательное название - символы-невидимки), как будет описано позже, игнорируются, если только не служат разделителями лексем.
Если входной поток разделен на лексемы вплоть до данного символа, в качестве следующей выбирается цепочка символов максимальной длины, которую можно считать лексемой.
