映特性或特征的值。例如，对于某个标识符，常将存放它的有关信息的符号表项的指针作为其属性值；对于某个常数，则将存放它的常数表项的指针作为其属性值。在这里，我们给出一种编码方法（以FORTRAN语言为例）：单词符号编码举例单词符号DIM种别编码1内部值助记符DIM
fIFDOSTOPEND标识符整数
23456内部符号串标准二进制
IFDOSTOPENDIDN
7
INT
，（）
891011121314
ASGPLUSSTARPOWERCOMMASLPSRP
122词法分析器作为一个独立子程序为何将词法分析作为一个独立阶段呢？是否还应该将它安排为独立的一遍呢？把词法分析安排为一个独立阶段的好处是，它可使整个编译程序的结构更简洁、清晰和条理化。词法分析比语法分析要简单得多，可用更有效的特殊方法和工具进行处理。但是，这并不意味着我们也必须把词法分析作为独立的一遍。当然，也可以把词法分析安排成独立的一遍。让它把整个源程序翻译成一连串的单词符号存放于文件中。待语法分析器进入工作是在对从文件输进的这些单词符号进行分析。这种做法意味着必须在文件中保存整个源程序的内码形式，这似乎是没有必要的。我们可以把词法分析器安排成一个子程序，每当语法分析器需要一个单词符号时就调用这个子程序。每一次调用，词法分析器就从输入串中识别出一个单词符号，把它交给语法分析器。这样，把词法分析器安排成一个子程序就比较自然。13词法分析器的实现技术在以下的讨论中，我们将按照词法分析的任务和作为一个独立子程序的要求来考虑词法分析器的设计。输入、131输入、预处理词法分析器工作的第一步是输入源程序文本。输入串一般是放在一个缓冲区中，这个缓冲区称输入缓冲区。词法分析的工作可以直接在这个缓冲区中进行。但在很多情况下，把输入串预处理一下，对单词符号的识别工作将是比较方便的。对于许多程序语言来说，空白符、跳格符、回车符和换行符等编辑性字符除了出现在文字常数中之外，在别处的任何出现都没有意义。对于它们，预处理时可以将其剔掉。我们可以设想构造一个预处理子程序来完成预处理功能。每当词法分析器调用它时，它就处理出一串确定长度的输入字符，并将其装进词法分析器所指定的缓冲区中（称为扫描缓冲区）这样，。分析器就可以在此缓冲区中直接进行单词符号的识别，而不必照管其它繁琐事务。分析器对扫描缓冲区进行扫描时一般用两个指示器，一个指向当前正在识别的单词的开始位置（指向新单词的首字符），另一个用r