C++语言实现词法分析器设计例题参考

《编译原理》计算机软件专业的一门重要专业课程。该课程系统地向学生介绍编译程序的结构、工作流程及编译程序各组成部分的设计原理和实现技术。由于该课程理论性和实践性都比较强，内容较为抽象复杂，涉及到大量的软件设计算法，因此，一直是一门比较难学的课程。为了使学生更好地理解和掌握编译技术的基本概念、基本原理和实现方法，实践环节非常重要，只有通过上机进行程序设计，才能使学生对比较抽象的教学内容产生具体的感性认识，增强学生综合分析问题、解决问题的能力，并对提高学生软件设计水平大有益处。

编译原理涉及词法分析，语法分析，语义分析及优化设计等各方面。词法分析阶段是编译过程的第一个阶段，是编译的基础。这个阶段的任务是从左到右一个字符一个字符地读入源程序，即对构成源程序的字符流进行扫描然后根据构词规则识别单词(也称单词符号或符号)。从左到右逐个字符对构成源程序的字符串进行扫描，依据词法规则，识别出一个一个的标记（token），把源程序变为等价的标记串序列。执行词法分析的程序称为词法分析器，也称为扫描器。本例题是一个词法分析的设计，采用C++代码实现。

希望大家复习回顾以前学习的《C++程序设计》课程相关知识。

一、设计内容和要求

1、设计内容

对C语言的一个子集设计并实现一个简单的词法分析器，掌握利用状态转换图设计词法分析器的基本方法。

2、设计要求

利用该词法分析器完成对源程序字符串的词法分析。输出形式是源程序的单词符号二元式的代码，并保存到文件中。

(1) 假设该语言中的单词符号及种别编码如下表所示。

单词符号及种别编码

  （3）算符和界符 =  +  － *  /  & ＜ ＜＝ ＞ ＞＝ ＝＝　!＝ && || , : ; { }  [ ]  ( )

ID和NUM的正规定义式为：

ID→letter(letter | didit)*

NUM→digit digit*

letter→a | … | z | A | … | Z

digit→ 0 | … | 9

如果关键字、标识符和常数之间没有确定的算符或界符作间隔，则至少用一个空格作间隔。空格由空白、制表符和换行符组成。

二、设计原理

1、 符号分类

程序语言的单词符号一般分为以下五种：

关键字

标识符

常数

运算符

界符

2、词法分析器的二元输出

（单词种别，单词符号的属性值）

单词种别用整数编码，关键字一字一种，标识符统归为一种，常数一种，各种符号各一种。

3、正规式和状态转换图

三、 程序设计

1、 总体模块设计

/*用来存储目标文件名*/

string file_name;

/*提取文本文件中的信息。*/

string GetText();

/*获得一个单词符号,从位置i开始查找。

　　//并且有一个引用参数j，用来返回这个单词最后一个字符在str的位置。*/

string GetWord(string str,int i,int& j);

/*这个函数用来除去字符串中连续的空格和换行

int DeleteNull(string str,int i);

/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/

bool IsBoundary(string str,int i);

/*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/

bool IsOperation(string str,int i);

/*此函数将一个pair数组输出到一个文件中*/

void OutFile(vector > v);

/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组*/

vector > analyst(vector vec);

/*此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/

bool IsKey(string str);

2 、各模块设计

1.首先根据上面单词符号表及ID和NUM的正规定义式，构造出状态转换图；

2.定义相关的变量和数据结构。关键字作为特殊标识符处理，把它们预先安排在一张表格中（称为关键字表），当扫描程序识别出标识符时，查关键字表。如能查到匹配的单词，则该单词为关键字，否则为一般标识符。关键字表为一个字符串数组，其描述如下：

char KEY_WORDS[7]={″main″,″int″,″char″,″if″,″else″,″for″,″while″}；

用以存放单词符号二元式的数据结构可如下定义：

class Word_Analyzer

{

public:

    char Content[MAXLENGTH] ;

    int  val ;

    void print( );

} ;

3.按照编译程序一遍扫描的要求，把词法分析器Scaner作为一个的子程序来设计，通过对Scaner的反复调用识别出所有的单词符号；

4.当Scaner识别出一个单词符号时，则将该单词符号的二元式写入到输出文件中。若Scaner无法识别出一个单词符号时，则调用错误处理程序PrintError，显示当前扫描到的字符及其所在行、列位置，并跳过该字符重新开始识别单词符号。

四、 程序测试

1、正常测试

测试该设计词法分析器，可对下面的源程序进行词法分析：

         main()

         {

int i = 10;

while(i) i = i - 1;

         }

输出如下二元式代码序列：

(1,main) (26,() (27,)) (30,{)  (2,int) (10,i) (21,=) (20,10) (34,;) (7,while) (26,() (10,i) (27,)) (10,i) (21, =) (10,i) (23,-) (20,1) (34,;) (31,})

五、 结论

 该词法分析器功能良好，可以完成预定的要求。

六、参考文献

《程序设计语言编译原理》 陈火旺

《C++程序设计》 谭浩强

七、附录：

程序清单：

#include

#include

#include

#include

using namespace std;

/*用来存储目标文件名*/

string file_name;

/*提取文本文件中的信息。*/

string GetText();

/*获得一个单词符号,从位置i开始查找。

　　//并且有一个引用参数j，用来返回这个单词最后一个字符在str的位置。*/

string GetWord(string str,int i,int& j);

/*这个函数用来除去字符串中连续的空格和换行

　　//第一个参数为目标字符串，第二个参数为开始位置

　　//返回值为连续的空格和换行后的第一个有效字符在字符串的位置*/

int DeleteNull(string str,int i);

/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/

bool IsBoundary(string str,int i);

/*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/

bool IsOperation(string str,int i);

/*此函数将一个pair数组输出到一个文件中*/

void OutFile(vector > v);

/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组*/

vector > analyst(vector vec);

/*此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/

bool IsKey(string str);

int main()

{

    string com1=" ";

    string com2="\\n";

    string fileline=GetText();

    int begin=0,end=0;

vector array;

    do

    {

        begin=DeleteNull(fileline,begin);

        string nowString;

        nowString=GetWord(fileline,begin,end);

        if(end==-1)

            break;

        if(nowString.compare(com1)&&nowString.compare(com2))

            array.push_back(nowString);

        begin=end+1;

    }while(true);

vector > mid_result;

    mid_result=analyst(array);

    OutFile(mid_result);

cout<<"**********************************************************************\\n";

cout<<"***程序已完成词法分析，分析结果已经存储在文件"< cout<<"**********************************************************************\\n";

    system("pause");

    return 0;

}

/*提取文本文件中的信息*/

string GetText()

{

    string file_name1;

cout<<"请输入源文件名（包括路径和后缀名）：";

cin>>file_name1;

    ifstream infile(file_name1.c_str(),ios::in);

    if (!infile)

    {

cerr<<"无法打开文件! "<        exit(-1);

    }

cout<    char f[1000];

    infile.getline(f,1000,EOF);

    infile.close();

    return f;

}

/*获得一个单词符号,从位置i开始查找。

//并且有一个引用参数j，用来返回这个单词最后一个字符在原字符串的位置。*/

string GetWord(string str,int i,int& j)

{

string no_use("(){} , ;　\\n+=*/-<>\\"");

    j=str.find_first_of(no_use,i);

    if(j==-1)

    return "";

    if(i!=j)

    j--;

    return str.substr(i,j-i+1);

}

/*这个函数用来除去字符串中连续的空格和换行

//第一个参数为目标字符串，第二个参数为开始位置

//返回值为连续的空格和换行后的第一个有效字符在字符串的位置*/

int DeleteNull(string str,int i)

{

    for(;;i++)

        if(str[i]!=' '&&str[i]!='\\n')

            return i;

}

/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/

bool IsBoundary(string str,int i)

{

    int t;

    char arr[7]={',',';','{','}','(',')','\\"'};

for (t=0;t<7;t++)

        if(str[i]==arr[t])

            return true;

    return false;

}

/*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/

bool IsOperation(string str,int i)

{

    int t;

char arr[7]={'+','-','*','/','=','<','>'};

for (t=0;t<7;t++)

        if(str[i]==arr[t])

            return true;

    return false;

}

/*此函数将一个个字符串数组输出到一个文件中*/

void OutFile(vector > v)

{

cout<<"请输入目标文件名（包括路径和后缀名）：";

cin>>file_name;

    ofstream outfile(file_name.c_str(),ios::out);

    if (!outfile)

    {

cerr<<"无法打开文件! "<        exit(-1);

    }

cout<    int i;

for(i=0;i outfile<<"<"<"< outfile<<"\\n\\n*********************************\\n";

    outfile.close();

    return;

}

/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组*/

vector > analyst(vector vec)

{

vector > temp;

    int i;

for(i=0;i    {

    if(vec[i].size()==1)

    {

if((vec[i]==">"||vec[i]=="<"||vec[i]=="!")&&vec[i+1]=="=")

        {

            string jk=vec[i];

            jk.append(vec[++i],0,1);

            pair pp(4,jk);

            temp.push_back(pp);

            continue;

        }

        if((vec[i]=="+"&&vec[i+1]=="+")||(vec[i]=="-"&&vec[i+1]=="-"))

        {

            string jk=vec[i];

            jk.append(vec[++i],0,1);

pair pp(4,jk);

            temp.push_back(pp);

            continue;

        }

        if(IsBoundary(vec[i],0))

        {

pair pp(5,vec[i]);

            temp.push_back(pp);

        }

        else if(IsOperation(vec[i],0))

        {

pair pp(4,vec[i]);

            temp.push_back(pp);

        }

else if(vec[i][0]<='9'&&vec[i][0]>='0')

        {

pair pp(3,vec[i]);

            temp.push_back(pp);

        }

        else

        {

pair pp(2,vec[i]);

            temp.push_back(pp);

        }

    }

else if(vec[i][0]<='9'&&vec[i][0]>='0')

    {

pair pp(3,vec[i]);

        temp.push_back(pp);

    }

    else if(IsKey(vec[i]))

    {

pair pp(1,vec[i]);

        temp.push_back(pp);

    }

    else

    {

pair pp(2,vec[i]);

        temp.push_back(pp);

    }

}

    return temp;

}

/*此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/

bool IsKey(string str)

{

string p[16]={"char

vector ppp(p,p+16);

int u;

for(u=0;uif(!str.compare(ppp[u]))

return true;

return false;

}

/*finished*/