词法扫描器

编译程序和解释程序2006年10月16日 星期一 14:26如果一个程序能够把某一种语言程序(称为源语言程序)改造成为另一种语言程序(称为目标语言程序)，则这亲戚的程序称为“翻译程序”。如果源语言是“高级语言”(诸如FORTRAN、PASCAL等等)，而目标语言是“低级语言”(如汇编语言或机器语言)，则这样的翻译程序称为“编译程序”。
现在的计算机尚不能直接执行高级语言程序。执行一个高级语言程序大体上要分两步：第一步，把高级语言的源程序编译成低级语言的目标程序；第二步，运行这个目标程序。编译程序的典型工作过程是：输入源程序，对它进行加工处理，输出目标程序。加工处理是非常复杂的过程，它又可划分成以下几个阶段：源程序→词法分析→语法分析→产生中间代码→优化→目标代码生成→目标程序。
第一阶段是词法分析。承担词法分析任务的程序称为“扫描器”。词法分析的任务是：对构成源程序的字符串进行扫描和分解。第二阶段是语法分析。承担语法分析任务的程序称为“分析器”。语法分析的任务是：根据语法规则，把描扫器所提供的结果分析成各类语法范畴。第三阶段是产生中间代码。承担产生中间代码任务的程序称为“中间代码产生器”。其任务是：按照语法分析器所识别出的语法范畴，产生相应的中间指令。第四阶段是优化，即代码优化。优化的任务是对前阶段产生的中间代码进行加工变换，以便使生成的目标程序，能运行得更快更省(省内存)。第五阶段是目标代码生成。这一阶段的任务是：按照优化后的中间代码和其它有关信息生成目标程序。这种目标程序可以在计算机上直接执行。执行这个目标程序，就可得到一个高级语言程序的结果。 我们知道，所谓翻译程序是这样一种程序，它能够把用甲语言写的程序翻译成与之等价的用乙语言写的程序。这里的甲语言是该翻译程序的源语言，而乙语言则为该翻译程序的目标语言。对于编译程序而言，源程序是被加工的对象，而目标程序是加工后的结果。
在计算机上执行用某种高级语言写的源程序，通常有两种方式：一是编译执行方式，二是解释执行方式。
采用编译执行方式执行源程序时要分两大步：编译和运行。编译中的加工处理过程又可分为五个阶段。
解释执行方式与编译执行方式是不同的，其根本区别在于：编译方式把源程序的执行过程严格地分成两大步：编译和运行。即先把源程序全部翻译成目标代码，然后