Лексический анализ (токенизация) строки заключается в разборе входной последовательности символов на распознанные группы (лексемы), с целью получения на выходе идентифицированных последовательностей (токенов).
Класс StringTokenizer, входящий в пакет java.util, обеспечивает возможность разбиения строки на отдельные лексемы, используя определенный набор разделителей. Читать далее Применение StringTokenizer для лексического анализа строк в Java.