【编译原理】实验：词法分析器的实现与分析（本校实验平台的题）

2023-11-24 11:30
文章标签 分析 编译 实现 平台 原理 实验 分析器 词法 本校

本文主要是介绍【编译原理】实验：词法分析器的实现与分析（本校实验平台的题），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

实验题目：实现词法分析器

注：本题解参考文章在最后列出（部分代码引用的是那里面的）；实现语言为：C++

注：本文只提供一个思路，作为学习过程中的一个参考，实现词法分析器有很多方法，本文只是其中一种，若想用本文代码提交作业请多改，不然查重率过不了。
【问题描述】

【文法定义】:

＜标识符＞::=＜字母＞｛＜字母＞｜＜数字＞｝ //标识符和关键字都不区分大小写，比如if和IF均为关键字，不允许出现与关键字相同的标识符
＜字母＞::=＿｜a｜．．．｜z｜A｜．．．｜Z
＜数字＞::=０｜１｜．．．｜９
＜整数＞::=［＋｜－］＜无符号整数＞
＜无符号整数＞::=＜数字＞｛＜数字＞｝
＜字符＞::=‘＜加法运算符＞’｜’＜乘法运算符＞’｜’＜字母＞’｜’＜数字＞’
＜加法运算符＞::=+｜-
＜乘法运算符＞::=*｜/
＜字符串＞::="｛十进制编码为32,33,35-126的ASCII字符｝" //字符串中要求至少有一个字符

ASCII码

【问题描述】
请根据给定的文法设计并实现词法分析程序，从源程序中识别出单词，记录其单词类别和单词值，输入输出及处理要求如下：
（1）数据结构和与语法分析程序的接口请自行定义；类别码需按下表格式统一定义；
（2）为了方便进行自动评测，输入的被编译源文件统一命名为testfile.txt（注意不要写错文件名）；输出的结果文件统一命名为output.txt（注意不要写错文件名），结果文件中每行按如下方式组织：
单词类别码 单词的字符/字符串形式(中间仅用一个空格间隔)

单词的类别码请统一按如下形式定义：
类别码

【输入形式】testfile.txt中的符合文法要求的测试程序。
【输出形式】要求将词法分析结果输出至output.txt中。

【样例输入】

const int const1 = 1, const2 = -100;
const char const3 = ‘_’;
int change1;
char change3;
int gets1(int var1,int var2){
change1 = var1 + var2;
return (change1);
}
void main(){
printf(“Hello World”);
printf(gets1(10, 20));
}

【样例输出】

CONSTTK const
INTTK int
IDENFR const1
ASSIGN =
INTCON 1
COMMA ,
IDENFR const2
ASSIGN =
MINU -
INTCON 100
SEMICN ;
CONSTTK const
CHARTK char
IDENFR const3
ASSIGN =
CHARCON _
SEMICN ;
INTTK int
IDENFR change1
SEMICN ;
CHARTK char
IDENFR change3
SEMICN ;
INTTK int
IDENFR gets1
LPARENT (
INTTK int
IDENFR var1
COMMA ,
INTTK int
IDENFR var2
RPARENT )
LBRACE {
IDENFR change1
ASSIGN =
IDENFR var1
PLUS +
IDENFR var2
SEMICN ;
RETURNTK return
LPARENT (
IDENFR change1
RPARENT )
SEMICN ;
RBRACE }
VOIDTK void
MAINTK main
LPARENT (
RPARENT )
LBRACE {
PRINTFTK printf
LPARENT (
STRCON Hello World
RPARENT )
SEMICN ;
PRINTFTK printf
LPARENT (
IDENFR gets1
LPARENT (
INTCON 10
COMMA ,
INTCON 20
RPARENT )
RPARENT )
SEMICN ;
RBRACE }

以下是代码思路：
把读入的文件内容全存在ScanBuffer[1000]这个字符串数组里面，里面完整存，空格回车这些都存了。然后用char变量 ch 一个个的读出来，随后判断读出来的是什么类型，再进行分析归类，然后输出到文件里面。

1.代码部分注释很多，不清楚的地方可以仔细看一下注释；
2.有不懂的地方建议自行搜索相关知识点；
3.代码里有些地方是为了测试输出写的，都已经注释掉了；
4.代码里有没用到的变量比如show_strToken变量，是为了debug时候查看全局变量strToken而设置的（全局变量string类型在debug时候没法看到里面的值）；
5.代码能够直接在实验平台上运行通过。

#include <iostream>
#include <fstream>
#include<string>
using namespace std;
#define NOT_Found 404 //自己定义的数字404，因为用到它的地方那个数字不可能是404//全局变量
char ch;//用来存字符
string strToken = "";//当前字符串
string ScanBuffer[1000];//我开了1000来存，里面存放文件里面所有内容，文件以EOF结尾，叫缓存区
int row = 0;
int col = 0; //缓存区的行与列
int endrow;string Reserved_words[]={"const","int","char","void","main","if","else","do","while","for","scanf","printf","return"};//保留字，进来字符串的时候验证一下
string Category_code[] ={"CONSTTK","INTTK","CHARTK","VOIDTK","MAINTK","IFTK","ELSETK","DOTK","WHILETK","FORTK","SCANFTK","PRINTFTK","RETURNTK"};//保留字对应的类别码,要与上面一一对应，这样可以对应下标//声明全局函数
void Input();//子程序过程，将源代码输入进扫描缓冲区
void GetChar();//子过程程序，将下一输入字符读到ch中，搜索指示器前移一字符位置
void GetDel();//子程序过程，检查ch中的字符是否为分隔符(空格、回车之类的)。若是，则调用GetChar直至ch中进入一个非分隔符（delimiters->分隔符）
void Concat();//子程序过程，，将ch中的字符连接到strToken之后
bool IsLetter();//布尔函数过程，判断ch中的字符是否为字母
bool IsDigit();//布尔函数构成，判断ch中的字符是否为数字
int Reserve();//整型函数过程，对strToken中的字符串查找保留字表，若它是一个保留字则返回它的index下标，否则返回NOT_Found（404不是保留字的编码）
void Retract();//子程序过程，将搜索指示器回调一个字符位置，将ch置为空白字符
int GetNumFromStr(string s);//将数字字符串返回原来int型数字，存起来输出用（本文法中的数字只有int型的呢）
int Str_Length(string str);//返回字符串长度，用来判断在字符串内的‘a’、‘2’为char类型
void Lexical_analysis();//词法分析函数实现//函数实现
void Input(){  //空格回车都在里面了int i=0;char c;//输入流中的当前字符fstream in;in.open("testfile5.txt",ios::in);while(in.peek()!=EOF){c=in.get();ScanBuffer[i].push_back(c);if(c=='\n') i++;}endrow=--i;//测试,看能不能完整输入：
/*		cout <<"endrow =="<<endrow<<endl; //7行代码，endrow=7；int l = 100;for(int k=0;k<l;k++){cout<<ScanBuffer[k]<<endl;}
*/
}
void GetChar(){ch=ScanBuffer[row][col];col++;
}
void GetDel(){while(ch=='\n'){row++;col=0;GetChar();}while(ch==' '||ch=='\t')GetChar();
}
void Concat(){strToken.push_back(ch);
}
bool IsLetter(){ //注意本文法中的字母，还包括了下划线if((ch>='a'&&ch<='z')||(ch>='A'&&ch<='Z')||(ch=='_'))return true;return false;
}
bool IsDigit(){if(ch >='0'&&ch<='9')return true;return false;
}int Reserve(){ //找保留字表，int i;for(i=0;i<13;i++)if(Reserved_words[i]==strToken)return i;return NOT_Found; //循环之后发现不是保留字
}void Retract(){//回退一个col--;ch='\0';
}
int GetNumFromStr(string s){int ans = 0;for(int i=0;i<s.size();i++) ans = ans * 10+ s[i]-'0';return ans;
}
/*
bool IsAllDigit(){int l = strToken.length();bool flag=true;for(int k =0;k<l;k++){if(strToken[k]>='0'&&strToken[k]<='9'){}//flag 保持trueelse{flag = false;break;}}return flag;
}
*/
int Str_Length(string str){return str.length();
}void Lexical_analysis()
{ofstream out("output.txt");//输出到文件,之后把cout全变成out就行了。while(row!=endrow+1){ //别超行读ScanBufferstring Category_code_num;//要输出的类别码int store_number;//用IsAllDigit()看一下，纯数字输入的话把用数字存在这里面然后输出。//	strToken="";
//因为debug不能查看string全局变量，所以需要一个局部变量show_strToken转接一下string show_strToken=strToken;GetChar();GetDel();//得到一个ch合法输入（没有空格、回车的ch）if(IsLetter()){  //字母或下划线开头的进这里while(IsLetter()||IsDigit()){Concat();GetChar();}
//此处show_strToken=strToken;Retract();//上面循环里取多了还回去int isfind; //接收保留字表的下标isfind=Reserve();if(isfind != NOT_Found){ //在表里面找到保留字啦！Category_code_num = Category_code[isfind];out<<Category_code_num<<" "<<strToken<<endl;strToken="";//输出之后就清零！！}else{ //不是保留字，那就是标识符咯（字符串有自己的判定语句，在下面）out<<"IDENFR "<<strToken<<endl;strToken="";//用完之后就清零！！}}else if(IsDigit()){ //数字开头的进这里while(IsDigit()){Concat();GetChar();}
//此处show_strToken=strToken;Retract();//上面循环里取多了还回去//把数字存起来，存进变量：store_numberstore_number = GetNumFromStr(strToken);strToken="";//用完之后就清零！！out<<"INTCON "<<store_number<<endl;}//其他符号的进下面else if(ch=='+')out<<"PLUS "<<ch<<endl;else if(ch=='-')out<<"MINU "<<ch<<endl;else if(ch=='*')out<<"MULT "<<ch<<endl;else if(ch=='/')out<<"DIV "<<ch<<endl;else if(ch=='<'){ //判断一下是<还是<=,要是下一个字符不是=，拿了的给人还回去，用Retract()函数GetChar();if(ch=='=')out<<"LEQ "<<"<="<<endl;else{Retract();//把人家还回去out<<"LSS "<<"<"<<endl;}}else if(ch=='>'){GetChar();if(ch=='=')out<<"GEQ >="<<endl;else{Retract();out<<"GRE >"<<endl;}}else if(ch=='='){//同上，看一下是不是俩等号‘==’GetChar();if(ch=='='){out<<"EQL =="<<endl;}else{Retract();//还回去out<<"ASSIGN ="<<endl;}}else if(ch=='!'){//由于都是合法输入（测试样例里面）,！只在字符串里面出现，所以此处出现的得是！=GetChar();if(ch == '='){out<<"NEQ !="<<endl;}else{Retract();//还回去并且无操作}}else if(ch==';')out<<"SEMICN ;"<<endl;else if(ch==',')out<<"COMMA ,"<<endl;else if(ch=='(')out<<"LPARENT ("<<endl;else if(ch==')')out<<"RPARENT )"<<endl;else if(ch=='[')out<<"LBRACK ["<<endl;else if(ch==']')out<<"RBRACK ]"<<endl;else if(ch=='{')out<<"LBRACE {"<<endl;else if(ch=='}')out<<"RBRACE }"<<endl;else if(int(ch)==34||int(ch)==39){//判断字符串 ps：根据对本题的输入输出案例分析，双引号单引号只用来识别字符串用，不输出，不属于字符类别也不属于字符串类别//用ASCII码来比较,中文的双引号是-95，英文的双引号是34,单引号是39，已测试过，可行。GetChar();while(int(ch)!=34&&int(ch)!=39){Concat();GetChar();
//此处show_strToken=strToken;}//出循环的时候，ch等于回引号,不需要还回去；字符串收集结束。int length = Str_Length(strToken);if(length ==1){ //说明是单引号里面的字符型out<<"CHARCON "<<strToken<<endl;}else{out<<"STRCON "<<strToken<<endl;}strToken="";//输出之后就清零！！}}//while end}//function endint main()
{Input();Lexical_analysis();return 0;
}

测试样例输出与标准答案比对：
用word2010的审阅–比较功能：
word比对
结果：
成功

主要的参考文档：【编译原理】实验一 词法分析器设计与实现

由以上文法定义可以看出，比实际文法要简单，只有整数型变量，且-100分开判定，并不是整数-100而是负号和整数100，所以此词法分析器只做学习使用。

在实验平台上运行时选择正确的编译器很重要，本人因为选了C编译器编译不过一度自闭，直到求助的某位美女告诉我可能是我选错编译器了，才破了案。

over。

这篇关于【编译原理】实验：词法分析器的实现与分析（本校实验平台的题）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/421857。

相关文章

分布式锁在Spring Boot应用中的实现过程

分布式锁在Spring Boot应用中的实现过程

《分布式锁在SpringBoot应用中的实现过程》文章介绍在SpringBoot中通过自定义Lock注解、LockAspect切面和RedisLockUtils工具类实现分布式锁,确保多实例并发操作... 目录Lock注解LockASPect切面RedisLockUtils工具类总结在现代微服务架构中，分布
阅读更多...
Java使用Thumbnailator库实现图片处理与压缩功能

Java使用Thumbnailator库实现图片处理与压缩功能

《Java使用Thumbnailator库实现图片处理与压缩功能》Thumbnailator是高性能Java图像处理库,支持缩放、旋转、水印添加、裁剪及格式转换,提供易用API和性能优化,适合Web应... 目录1. 图片处理库Thumbnailator介绍2. 基本和指定大小图片缩放功能2.1 图片缩放的
阅读更多...
python panda库从基础到高级操作分析

python panda库从基础到高级操作分析

《pythonpanda库从基础到高级操作分析》本文介绍了Pandas库的核心功能,包括处理结构化数据的Series和DataFrame数据结构,数据读取、清洗、分组聚合、合并、时间序列分析及大数据... 目录1. Pandas 概述2. 基本操作：数据读取与查看3. 索引操作：精准定位数据4. Group
阅读更多...
Python使用Tenacity一行代码实现自动重试详解

Python使用Tenacity一行代码实现自动重试详解

《Python使用Tenacity一行代码实现自动重试详解》tenacity是一个专为Python设计的通用重试库,它的核心理念就是用简单、清晰的方式,为任何可能失败的操作添加重试能力,下面我们就来看... 目录一切始于一个简单的 API 调用Tenacity 入门：一行代码实现优雅重试精细控制：让重试按我
阅读更多...
MySQL中EXISTS与IN用法使用与对比分析

MySQL中EXISTS与IN用法使用与对比分析

《MySQL中EXISTS与IN用法使用与对比分析》在MySQL中,EXISTS和IN都用于子查询中根据另一个查询的结果来过滤主查询的记录,本文将基于工作原理、效率和应用场景进行全面对比... 目录一、基本用法详解1. IN 运算符2. EXISTS 运算符二、EXISTS 与 IN 的选择策略三、性能对比
阅读更多...
Redis客户端连接机制的实现方案

Redis客户端连接机制的实现方案

《Redis客户端连接机制的实现方案》本文主要介绍了Redis客户端连接机制的实现方案,包括事件驱动模型、非阻塞I/O处理、连接池应用及配置优化,具有一定的参考价值,感兴趣的可以了解一下... 目录1. Redis连接模型概述2. 连接建立过程详解2.1 连php接初始化流程2.2 关键配置参数3. 最大连
阅读更多...
Python实现网格交易策略的过程

Python实现网格交易策略的过程

《Python实现网格交易策略的过程》本文讲解Python网格交易策略,利用ccxt获取加密货币数据及backtrader回测,通过设定网格节点,低买高卖获利,适合震荡行情,下面跟我一起看看我们的第一... 网格交易是一种经典的量化交易策略，其核心思想是在价格上下预设多个“网格”，当价格触发特定网格时执行买
阅读更多...
MySQL 内存使用率常用分析语句

MySQL 内存使用率常用分析语句

《MySQL内存使用率常用分析语句》用户整理了MySQL内存占用过高的分析方法,涵盖操作系统层确认及数据库层bufferpool、内存模块差值、线程状态、performance_schema性能数据... 目录一、 OS层二、 DB层1. 全局情况2. 内存占js用详情最近连续遇到mysql内存占用过高导致
阅读更多...
python设置环境变量路径实现过程

python设置环境变量路径实现过程

《python设置环境变量路径实现过程》本文介绍设置Python路径的多种方法：临时设置（Windows用`set`,Linux/macOS用`export`）、永久设置（系统属性或shell配置文件... 目录设置python路径的方法临时设置环境变量（适用于当前会话）永久设置环境变量（Windows系统
阅读更多...
深度解析Nginx日志分析与499状态码问题解决

深度解析Nginx日志分析与499状态码问题解决

《深度解析Nginx日志分析与499状态码问题解决》在Web服务器运维和性能优化过程中,Nginx日志是排查问题的重要依据,本文将围绕Nginx日志分析、499状态码的成因、排查方法及解决方案展开讨论... 目录前言1. Nginx日志基础1.1 Nginx日志存放位置1.2 Nginx日志格式2. 499
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2