词法分析器Word格式.docx

词法分析器Word格式.docx

《词法分析器Word格式.docx》由会员分享，可在线阅读，更多相关《词法分析器Word格式.docx（14页珍藏版）》请在冰豆网上搜索。

第五章结论.....................................................10

参考文献...........................................................10

附录程序清单.................................................11

引言

《编译原理》是国内外各高等院校计算机科学技术类专业，特别是计算机软件专业的一门重要专业课程。

该课程系统地向学生介绍编译程序的结构、工作流程及编译程序各组成部分的设计原理和实现技术。

由于该课程理论性和实践性都比较强，内容较为抽象复杂，涉及到大量的软件设计算法，因此，一直是一门比较难学的课程。

为了使学生更好地理解和掌握编译技术的基本概念、基本原理和实现方法，实践环节非常重要，只有通过上机进行程序设计，才能使学生对比较抽象的教学内容产生具体的感性认识，增强学生综合分析问题、解决问题的能力，并对提高学生软件设计水平大有益处。

编译原理涉及词法分析，语法分析，语义分析及优化设计等各方面。

词法分析阶段是编译过程的第一个阶段，是编译的基础。

这个阶段的任务是从左到右一个字符一个字符地读入源程序，即对构成源程序的字符流进行扫描然后根据构词规则识别单词（也称单词符号或符号）。

词法分析程序实现这个任务。

词法分析程序可以使用Lex等工具自动生成。

从左到右逐个字符对构成源程序的字符串进行扫描，依据词法规则，识别出一个一个的标记（token），把源程序变为等价的标记串序列。

执行词法分析的程序称为词法分析器，也称为扫描器。

词法分析是所有分析优化的基础，涉及的知识较少，如状态转换图等，易于实现。

本次课程设计，我的选题是词法分析，C++代码实现。

第一章概述

1.1设计内容

1.2设计要求

（1）假设该语言中的单词符号及种别编码如下表所示。

单词符号及种别编码

单词符号

种别编码

main

1

[

28

int

2

]

29

char

3

{

30

if

4

}

31

else

5

32

for

6

:

33

while

7

；

34

标识符ID

10

＞

35

整型常数NUM

20

＜

36

=

21

＞＝

37

+

22

＜＝

38

-

23

＝＝

39

*

24

！

＝

40

/

25

&

41

（

26

42

）

27

||

43

（2）关键字mainintcharifelseforwhile都是小写并都是保留字。

算符和界符=+－*/&

＜＜＝＞＞＝＝＝　!

＝&

||,:

;

{}[]（）

ID和NUM的正规定义式为：

ID→letter（letter|didit）*

NUM→digitdigit*

letter→a|…|z|A|…|Z

digit→0|…|9

如果关键字、标识符和常数之间没有确定的算符或界符作间隔，则至少用一个空格作间隔。

空格由空白、制表符和换行符组成。

第二章设计原理

2.1符号分类

程序语言的单词符号一般分为以下五种：

关键字

标识符

常数

运算符

界符

2.2.词法分析器的二元输出

（单词种别，单词符号的属性值）

单词种别用整数编码，关键字一字一种，标识符统归为一种，常数一种，各种符号各一种。

2.3正规式和状态转换图

第三章程序设计

3.1总体模块设计

/*用来存储目标文件名*/

stringfile_name;

/*提取文本文件中的信息。

*/

stringGetText（）;

/*获得一个单词符号,从位置i开始查找。

　　//并且有一个引用参数j，用来返回这个单词最后一个字符在str的位置。

stringGetWord（stringstr,inti,int&

j）;

/*这个函数用来除去字符串中连续的空格和换行

intDeleteNull（stringstr,inti）;

/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/

boolIsBoundary（stringstr,inti）;

/*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/

boolIsOperation（stringstr,inti）;

/*此函数将一个pair数组输出到一个文件中*/

voidOutFile（vector<

pair<

int,string>

>

v）;

/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组*/

vector<

analyst（vector<

string>

vec）;

/*此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/

boolIsKey（stringstr）;

3.2各模块设计

1.首先根据上面单词符号表及ID和NUM的正规定义式，构造出状态转换图；

2.定义相关的变量和数据结构。

关键字作为特殊标识符处理，把它们预先安排在一张表格中（称为关键字表），当扫描程序识别出标识符时，查关键字表。

如能查到匹配的单词，则该单词为关键字，否则为一般标识符。

关键字表为一个字符串数组，其描述如下：

charKEY_WORDS[7]={″main″,″int″,″char″,″if″,″else″,″for″,″while″}；

用以存放单词符号二元式的数据结构可如下定义：

classWord_Analyzer

public:

charContent[MAXLENGTH];

intval;

voidprint（）;

};

3.按照编译程序一遍扫描的要求，把词法分析器Scaner作为一个独立的子程序来设计，通过对Scaner的反复调用识别出所有的单词符号；

4.当Scaner识别出一个单词符号时，则将该单词符号的二元式写入到输出文件中。

若Scaner无法识别出一个单词符号时，则调用错误处理程序PrintError，显示当前扫描到的字符及其所在行、列位置，并跳过该字符重新开始识别单词符号。

第四章程序测试

4.1正常测试

测试该设计词法分析器，可对下面的源程序进行词法分析：

main（）

{

inti=10;

while（i）i=i-1;

}

输出如下二元式代码序列：

（1,main）（26,（）（27,））（30,{）（2,int）（10,i）（21,=）（20,10）（34,;

）（7,while）（26,（）（10,i）（27,））（10,i）（21,=）（10,i）（23,-）（20,1）（34,;

）（31,}）

第五章结论

该词法分析器功能良好，可以完成预定的要求。

参考文献：

《程序设计语言编译原理》陈火旺

《C++程序设计》谭浩强

程序清单：

#include<

iostream>

vector>

fstream>

usingnamespacestd;

　　//第一个参数为目标字符串，第二个参数为开始位置

　　//返回值为连续的空格和换行后的第一个有效字符在字符串的位置*/

intmain（）

stringcom1="

"

;

stringcom2="

\n"

stringfileline=GetText（）;

intbegin=0,end=0;

vector<

array;

do

begin=DeleteNull（fileline,begin）;

stringnowString;

nowString=GetWord（fileline,begin,end）;

if（end==-1）

break;

if（nowSpare（com1）&

nowSpare（com2））

array.push_back（nowString）;

begin=end+1;

}while（true）;

mid_result;

mid_result=analyst（array）;

OutFile（mid_result）;

cout<

<

"

**********************************************************************\n"

***程序已完成词法分析，分析结果已经存储在文件"

file_name<

中！

***\n"

system（"

pause"

）;

return0;

/*提取文本文件中的信息*/

stringGetText（）

stringfile_name1;

请输入源文件名（包括路径和后缀名）：

cin>

>

file_name1;

ifstreaminfile（file_name1.c_str（）,ios:

in）;

if（!

infile）

cerr<

无法打开文件!

file_name1.c_str（）<

!

!

endl;

exit（-1）;

charf[1000];

infile.getline（f,1000,EOF）;

infile.close（）;

returnf;

//并且有一个引用参数j，用来返回这个单词最后一个字符在原字符串的位置。

j）

stringno_use（"

（）{},;

　\n+=*/-<

\"

j=str.find_first_of（no_use,i）;

if（j==-1）

return"

if（i!

=j）

j--;

returnstr.substr（i,j-i+1）;

//第一个参数为目标字符串，第二个参数为开始位置

//返回值为连续的空格和换行后的第一个有效字符在字符串的位置*/

intDeleteNull（stringstr,inti）

for（;

i++）

if（str[i]!

='

'

str[i]!

\n'

returni;

boolIsBoundary（stringstr,inti）

intt;

chararr[7]={'

'

'

{'

}'

（'

）'

};

for（t=0;

t<

7;

t++）

if（str[i]==arr[t]）

returntrue;

returnfalse;

boolIsOperation（stringstr,inti）

+'

-'

*'

/'

/*此函数将一个个字符串数组输出到一个文件中*/

v）

请输入目标文件名（包括路径和后缀名）：

file_name;

ofstreamoutfile（file_name.c_str（）,ios:

out）;

outfile）

file_name.c_str（）<

inti;

for（i=0;

i<

v.size（）;

outfile<

v[i].first<

\"

v[i].second<

\n\n*********************************\n"

outfile.close（）;

return;

vec）

temp;

vec.size（）;

if（vec[i].size（）==1）

if（（vec[i]=="

||vec[i]=="

）&

vec[i+1]=="

="

stringjk=vec[i];

jk.append（vec[++i],0,1）;

pair<

pp（4,jk）;

temp.push_back（pp）;

continue;

+"

）||（vec[i]=="

-"

））

if（IsBoundary（vec[i],0））

pp（5,vec[i]）;

elseif（IsOperation（vec[i],0））

pp（4,vec[i]）;

elseif（vec[i][0]<

9'

vec[i][0]>

0'

pp（3,vec[i]）;

else

pp（2,vec[i]）;

elseif（IsKey（vec[i]））

pp（1,vec[i]）;

returntemp;

boolIsKey（stringstr）

stringp[16]={"

char"

"

double"

int"

long"

float"

for"

while"

do"

break"

continue"

switch"

short"

case"

return"

if"

ppp（p,p+16）;

intu;

for（u=0;

u<

ppp.size（）;

u++）

if（!

pare（ppp[u]））

returntrue;

returnfalse;

/*finished*/