字句解析

字句解析(Lexical Analysis)とは、連続した文字の並びを、意味における最小単位である字句（一般にはトークン、英文なら単語など。）に分割すること。