北大天网搜索引擎TSE分析及完全注释[5]倒排索引的建立及文件介绍

2024-02-02 09:18
文章标签 分析 介绍 索引 建立 注释 完全 搜索引擎 北大 天网 倒排 tse

本文主要是介绍北大天网搜索引擎TSE分析及完全注释[5]倒排索引的建立及文件介绍，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

不好意思让大家久等了，前一阵一直在忙考试，终于结束了。呵呵！废话不多说了下面我们开始吧！

TSE用的是将抓取回来的网页文档全部装入一个大文档，让后对这一个大文档内的数据整体统一的建索引，其中包含了几个步骤。

view plain copy to clipboard print ?
  1. 1.  The document index (Doc.idx) keeps information about each document.   
  2.   
  3. It is a fixed width ISAM (Index sequential access mode) index, orderd by docID.   
  4.   
  5. The information stored in each entry includes a pointer into the repository,   
  6.   
  7. a document length, a document checksum.   
  8.   
  9.   
  10.   
  11. //Doc.idx  文档编号 文档长度    checksum hash码   
  12.   
  13. 0   0   bc9ce846d7987c4534f53d423380ba70   
  14.   
  15. 1   76760   4f47a3cad91f7d35f4bb6b2a638420e5   
  16.   
  17. 2   141624  d019433008538f65329ae8e39b86026c   
  18.   
  19. 3   142350  5705b8f58110f9ad61b1321c52605795   
  20.   
  21. //Doc.idx   end   
  22.   
  23.   
  24.   
  25.   The url index (url.idx) is used to convert URLs into docIDs.   
  26.   
  27.   
  28.   
  29. //url.idx   
  30.   
  31. 5c36868a9c5117eadbda747cbdb0725f    0  
  32.   
  33. 3272e136dd90263ee306a835c6c70d77    1  
  34.   
  35. 6b8601bb3bb9ab80f868d549b5c5a5f3    2  
  36.   
  37. 3f9eba99fa788954b5ff7f35a5db6e1f    3  
  38.   
  39. //url.idx   end   
  40.   
  41.   
  42.   
  43. It is a list of URL checksums with their corresponding docIDs and is sorted by   
  44.   
  45. checksum. In order to find the docID of a particular URL, the URL's checksum   
  46.   
  47. is computed and a binary search is performed on the checksums file to find its   
  48.   
  49. docID.   
  50.   
  51.   
  52.   
  53.     ./DocIndex   
  54.   
  55.         got Doc.idx, Url.idx, DocId2Url.idx //Data文件夹中的Doc.idx DocId2Url.idx和Doc.idx中   
  56.   
  57.   
  58.   
  59. //DocId2Url.idx   
  60.   
  61. 0   http://*.*.edu.cn/index.aspx   
  62.   
  63. 1   http://*.*.edu.cn/showcontent1.jsp?NewsID=118   
  64.   
  65. 2   http://*.*.edu.cn/0102.html   
  66.   
  67. 3   http://*.*.edu.cn/0103.html   
  68.   
  69. //DocId2Url.idx end   
  70.   
  71.   
  72.   
  73. 2.  sort Url.idx|uniq > Url.idx.sort_uniq    //Data文件夹中的Url.idx.sort_uniq   
  74.   
  75.   
  76.   
  77. //Url.idx.sort_uniq   
  78.   
  79. //对hash值进行排序   
  80.   
  81. 000bfdfd8b2dedd926b58ba00d40986b    1111  
  82.   
  83. 000c7e34b653b5135a2361c6818e48dc    1831  
  84.   
  85. 0019d12f438eec910a06a606f570fde8    366  
  86.   
  87. 0033f7c005ec776f67f496cd8bc4ae0d    2103  
  88.   
  89.   
  90.   
  91. 3. Segment document to terms, (with finding document according to the url)   
  92.   
  93.     ./DocSegment Tianwang.raw.2559638448        //Tianwang.raw.2559638448为爬回来的文件 ，每个页面包含http头   
  94.   
  95.         got Tianwang.raw.2559638448.seg        
  96.   
  97.   
  98.   
  99. //Tianwang.raw.2559638448   爬取的原始网页文件在文档内部每一个文档之间应该是通过version，</html>和回车做标志位分割的   
  100.   
  101. version: 1.0  
  102.   
  103. url: http://***.105.138.175/Default2.asp?lang=gb   
  104.   
  105. origin: http://***.105.138.175/   
  106.   
  107. date: Fri, 23 May 2008 20:01:36 GMT   
  108.   
  109. ip: 162.105.138.175  
  110.   
  111. length: 38413  
  112.   
  113.   
  114.   
  115. HTTP/1.1 200 OK   
  116.   
  117. Server: Microsoft-IIS/5.0  
  118.   
  119. Date: Fri, 23 May 2008 11:17:49 GMT   
  120.   
  121. Connection: keep-alive   
  122.   
  123. Connection: Keep-Alive   
  124.   
  125. Content-Length: 38088  
  126.   
  127. Content-Type: text/html; Charset=gb2312   
  128.   
  129. Expires: Fri, 23 May 2008 11:17:49 GMT   
  130.   
  131. Set-Cookie: ASPSESSIONIDSSTRDCAB=IMEOMBIAIPDFCKPAEDJFHOIH; path=/   
  132.   
  133. Cache-control: private  
  134.   
  135.   
  136.   
  137.   
  138.   
  139.   
  140.   
  141. <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"  
  142.   
  143. "http://www.w3.org/TR/html4/loose.dtd">   
  144.   
  145. <html>   
  146.   
  147. <head>   
  148.   
  149. <title>Apabi数字资源平台</title>   
  150.   
  151. <meta http-equiv="Content-Type" content="text/html; charset=gb2312">   
  152.   
  153. <META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">   
  154.   
  155. <META NAME="DESCRIPTION" CONTENT="数字图书馆 方正数字图书馆 电子图书 电子书 ebook e书 Apabi 数字资源平台">   
  156.   
  157. <link rel="stylesheet" type="text/css" href="css/common.css">   
  158.   
  159.   
  160.   
  161. <style type="text/css">   
  162.   
  163. <!--   
  164.   
  165. .style4 {color: #666666}   
  166.   
  167. -->   
  168.   
  169. </style>   
  170.   
  171.   
  172.   
  173. <script LANGUAGE="vbscript">   
  174.   
  175. ...   
  176.   
  177. </script>   
  178.   
  179.   
  180.   
  181. <Script Language="javascript">   
  182.   
  183. ...   
  184.   
  185. </Script>   
  186.   
  187. </head>   
  188.   
  189. <body leftmargin="0" topmargin="0">   
  190.   
  191. </body>   
  192.   
  193. </html>   
  194.   
  195. //Tianwang.raw.2559638448   end   
  196.   
  197.   
  198.   
  199. //Tianwang.raw.2559638448.seg   将每个页面分成一行如下(注意中间没有回车作为分隔)   
  200.   
  201. 1  
  202.   
  203. ...   
  204.   
  205. ...   
  206.   
  207. ...   
  208.   
  209. 2  
  210.   
  211. ...   
  212.   
  213. ...   
  214.   
  215. ...   
  216.   
  217. //Tianwang.raw.2559638448.seg   end   
  218.   
  219.   
  220.   
  221. //下是 Tiny search 非必须因素   
  222.   
  223. 4. Create forward index (docic-->termid)     //建立正向索引   
  224.   
  225.     ./CrtForwardIdx Tianwang.raw.2559638448.seg > moon.fidx   
  226.   
  227.   
  228.   
  229. //Tianwang.raw.2559638448.seg 将每个页面分成一行如下<BR>//分词   DocID<BR>1<BR>三星/  s/  手机/  论坛/  ,/  手机/  铃声/  下载/  ,/  手机/  图片/  下载/  ,/  手机/<BR>2<BR>...<BR>...<BR>...  
1.  The document index (Doc.idx) keeps information about each document.
It is a fixed width ISAM (Index sequential access mode) index, orderd by docID.
The information stored in each entry includes a pointer into the repository,
a document length, a document checksum.
//Doc.idx  文档编号	文档长度	checksum hash码
0	0	bc9ce846d7987c4534f53d423380ba70
1	76760	4f47a3cad91f7d35f4bb6b2a638420e5
2	141624	d019433008538f65329ae8e39b86026c
3	142350	5705b8f58110f9ad61b1321c52605795
//Doc.idx	end
The url index (url.idx) is used to convert URLs into docIDs.
//url.idx
5c36868a9c5117eadbda747cbdb0725f	0
3272e136dd90263ee306a835c6c70d77	1
6b8601bb3bb9ab80f868d549b5c5a5f3	2
3f9eba99fa788954b5ff7f35a5db6e1f	3
//url.idx	end
It is a list of URL checksums with their corresponding docIDs and is sorted by
checksum. In order to find the docID of a particular URL, the URL's checksum
is computed and a binary search is performed on the checksums file to find its
docID.
./DocIndex
got Doc.idx, Url.idx, DocId2Url.idx	//Data文件夹中的Doc.idx DocId2Url.idx和Doc.idx中
//DocId2Url.idx
0	http://*.*.edu.cn/index.aspx
1	http://*.*.edu.cn/showcontent1.jsp?NewsID=118
2	http://*.*.edu.cn/0102.html
3	http://*.*.edu.cn/0103.html
//DocId2Url.idx	end
2.  sort Url.idx|uniq > Url.idx.sort_uniq	//Data文件夹中的Url.idx.sort_uniq
//Url.idx.sort_uniq
//对hash值进行排序
000bfdfd8b2dedd926b58ba00d40986b	1111
000c7e34b653b5135a2361c6818e48dc	1831
0019d12f438eec910a06a606f570fde8	366
0033f7c005ec776f67f496cd8bc4ae0d	2103
3. Segment document to terms, (with finding document according to the url)
./DocSegment Tianwang.raw.2559638448		//Tianwang.raw.2559638448为爬回来的文件 ，每个页面包含http头
got Tianwang.raw.2559638448.seg		
//Tianwang.raw.2559638448	爬取的原始网页文件在文档内部每一个文档之间应该是通过version，</html>和回车做标志位分割的
version: 1.0
url: http://***.105.138.175/Default2.asp?lang=gb
origin: http://***.105.138.175/
date: Fri, 23 May 2008 20:01:36 GMT
ip: 162.105.138.175
length: 38413
HTTP/1.1 200 OK
Server: Microsoft-IIS/5.0
Date: Fri, 23 May 2008 11:17:49 GMT
Connection: keep-alive
Connection: Keep-Alive
Content-Length: 38088
Content-Type: text/html; Charset=gb2312
Expires: Fri, 23 May 2008 11:17:49 GMT
Set-Cookie: ASPSESSIONIDSSTRDCAB=IMEOMBIAIPDFCKPAEDJFHOIH; path=/
Cache-control: private
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
"http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<title>Apabi数字资源平台</title>
<meta http-equiv="Content-Type" content="text/html; charset=gb2312">
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">
<META NAME="DESCRIPTION" CONTENT="数字图书馆 方正数字图书馆 电子图书 电子书 ebook e书 Apabi 数字资源平台">
<link rel="stylesheet" type="text/css" href="css/common.css">
<style type="text/css">
<!--
.style4 {color: #666666}
-->
</style>
<script LANGUAGE="vbscript">
...
</script>
<Script Language="javascript">
...
</Script>
</head>
<body leftmargin="0" topmargin="0">
</body>
</html>
//Tianwang.raw.2559638448	end
//Tianwang.raw.2559638448.seg	将每个页面分成一行如下(注意中间没有回车作为分隔)
1
...
...
...
2
...
...
...
//Tianwang.raw.2559638448.seg	end
//下是 Tiny search 非必须因素
4. Create forward index (docic-->termid)		//建立正向索引
./CrtForwardIdx Tianwang.raw.2559638448.seg > moon.fidx
//Tianwang.raw.2559638448.seg 将每个页面分成一行如下
//分词   DocID
1
三星/  s/  手机/  论坛/  ,/  手机/  铃声/  下载/  ,/  手机/  图片/  下载/  ,/  手机/
2
...
...
...
view plain copy to clipboard print ?
  1. //Tianwang.raw.2559638448.seg end   
  2.   
  3.   
  4. //moon.fidx   
  5.   
  6. //每篇文档号对应文档内分出来的    分词  DocID   
  7.   
  8. 都会  2391  
  9.   
  10. 使   2391  
  11.   
  12. 那些  2391  
  13.   
  14. 拥有  2391  
  15.   
  16. 它   2391  
  17.   
  18. 的   2391  
  19.   
  20. 人   2391  
  21.   
  22. 的   2391  
  23.   
  24. 视野  2391  
  25.   
  26. 变   2391  
  27.   
  28. 窄   2391  
  29.   
  30. 在   2180  
  31.   
  32. 研究生部    2180  
  33.   
  34. 主页  2180  
  35.   
  36. 培养  2180  
  37.   
  38. 管理  2180  
  39.   
  40. 栏目  2180  
  41.   
  42. 下载  2180  
  43.   
  44. ）   2180  
  45.   
  46. 、   2180  
  47.   
  48. 关于  2180  
  49.   
  50. 做好  2180  
  51.   
  52. 年   2180  
  53.   
  54. 国家  2180  
  55.   
  56. 公派  2180  
  57.   
  58. 研究生 2180  
  59.   
  60. 项目  2180  
  61.   
  62. //moon.fidx end   
  63.   
  64.   
  65.   
  66. 5.# set | grep "LANG"  
  67.   
  68. LANG=en; export LANG;   
  69.   
  70. sort moon.fidx > moon.fidx.sort   
  71.   
  72.   
  73.   
  74. 6. Create inverted index (termid-->docid)    //建立倒排索引   
  75.   
  76.     ./CrtInvertedIdx moon.fidx.sort > sun.iidx   
  77.   
  78.   
  79.   
  80. //sun.iidx  //文件规模大概减少1/2   
  81.   
  82. 花工   236  
  83.   
  84. 花海   2103  
  85.   
  86. 花卉   1018 1061 1061 1061 1730 1730 1730 1730 1730 1852 949 949  
  87.   
  88. 花蕾   447 447  
  89.   
  90. 花木   1061  
  91.   
  92. 花呢   1430  
  93.   
  94. 花期   447 447 447 447 447 525  
  95.   
  96. 花钱   174 236  
  97.   
  98. 花色   1730 1730  
  99.   
  100. 花色品种     1660  
  101.   
  102. 花生   450 526  
  103.   
  104. 花式   1428 1430 1430 1430  
  105.   
  106. 花纹   1430 1430  
  107.   
  108. 花序   447 447 447 447 447 450  
  109.   
  110. 花絮   136 137  
  111.   
  112. 花芽   450 450  
  113.   
  114. //sun.iidx  end   
  115.   
  116.   
  117.   
  118. TSESearch   CGI program for query   
  119.   
  120. Snapshot    CGI program for page snapshot   
  121.   
  122.   
  123.   
//Tianwang.raw.2559638448.seg end
//moon.fidx
//每篇文档号对应文档内分出来的	分词	DocID
都会	2391
使	2391
那些	2391
拥有	2391
它	2391
的	2391
人	2391
的	2391
视野	2391
变	2391
窄	2391
在	2180
研究生部	2180
主页	2180
培养	2180
管理	2180
栏目	2180
下载	2180
）	2180
、	2180
关于	2180
做好	2180
年	2180
国家	2180
公派	2180
研究生	2180
项目	2180
//moon.fidx	end
5.# set | grep "LANG"
LANG=en; export LANG;
sort moon.fidx > moon.fidx.sort
6. Create inverted index (termid-->docid)	//建立倒排索引
./CrtInvertedIdx moon.fidx.sort > sun.iidx
//sun.iidx	//文件规模大概减少1/2
花工	 236
花海	 2103
花卉	 1018 1061 1061 1061 1730 1730 1730 1730 1730 1852 949 949
花蕾	 447 447
花木	 1061
花呢	 1430
花期	 447 447 447 447 447 525
花钱	 174 236
花色	 1730 1730
花色品种	 1660
花生	 450 526
花式	 1428 1430 1430 1430
花纹	 1430 1430
花序	 447 447 447 447 447 450
花絮	 136 137
花芽	 450 450
//sun.iidx	end
TSESearch	CGI program for query
Snapshot	CGI program for page snapshot


author:http://hi.baidu.com/jrckkyy
author:http://blog.csdn.net/jrckkyy

这篇关于北大天网搜索引擎TSE分析及完全注释[5]倒排索引的建立及文件介绍的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/670221。

相关文章

Nginx分布式部署流程分析

Nginx分布式部署流程分析

《Nginx分布式部署流程分析》文章介绍Nginx在分布式部署中的反向代理和负载均衡作用,用于分发请求、减轻服务器压力及解决session共享问题,涵盖配置方法、策略及Java项目应用,并提及分布式事... 目录分布式部署NginxJava中的代理代理分为正向代理和反向代理正向代理反向代理Nginx应用场景
阅读更多...
Redis中的有序集合zset从使用到原理分析

Redis中的有序集合zset从使用到原理分析

《Redis中的有序集合zset从使用到原理分析》Redis有序集合(zset)是字符串与分值的有序映射,通过跳跃表和哈希表结合实现高效有序性管理,适用于排行榜、延迟队列等场景,其时间复杂度低,内存占... 目录开篇：排行榜背后的秘密一、zset的基本使用1.1 常用命令1.2 Java客户端示例二、zse
阅读更多...
Redis中的AOF原理及分析

Redis中的AOF原理及分析

《Redis中的AOF原理及分析》Redis的AOF通过记录所有写操作命令实现持久化,支持always/everysec/no三种同步策略,重写机制优化文件体积,与RDB结合可平衡数据安全与恢复效率... 目录开篇：从日记本到AOF一、AOF的基本执行流程1. 命令执行与记录2. AOF重写机制二、AOF的
阅读更多...
全网最全Tomcat完全卸载重装教程小结

全网最全Tomcat完全卸载重装教程小结

《全网最全Tomcat完全卸载重装教程小结》windows系统卸载Tomcat重新通过ZIP方式安装Tomcat,优点是灵活可控,适合开发者自定义配置,手动配置环境变量后,可通过命令行快速启动和管理... 目录一、完全卸载Tomcat1. 停止Tomcat服务2. 通过控制面板卸载3. 手动删除残留文件4.
阅读更多...
MySQL之搜索引擎使用解读

MySQL之搜索引擎使用解读

《MySQL之搜索引擎使用解读》MySQL存储引擎是数据存储和管理的核心组件,不同引擎（如InnoDB、MyISAM）采用不同机制,InnoDB支持事务与行锁,适合高并发场景；MyISAM不支持事务,... 目录mysql的存储引擎是什么MySQL存储引擎的功能MySQL的存储引擎的分类查看存储引擎1.命令
阅读更多...
5 种使用Python自动化处理PDF的实用方法介绍

5 种使用Python自动化处理PDF的实用方法介绍

《5种使用Python自动化处理PDF的实用方法介绍》自动化处理PDF文件已成为减少重复工作、提升工作效率的重要手段,本文将介绍五种实用方法,从内置工具到专业库,帮助你在Python中实现PDF任务... 目录使用内置库（os、subprocess）调用外部工具使用 PyPDF2 进行基本 PDF 操作使用
阅读更多...
MyBatis Plus大数据量查询慢原因分析及解决

MyBatis Plus大数据量查询慢原因分析及解决

《MyBatisPlus大数据量查询慢原因分析及解决》大数据量查询慢常因全表扫描、分页不当、索引缺失、内存占用高及ORM开销,优化措施包括分页查询、流式读取、SQL优化、批处理、多数据源、结果集二次... 目录大数据量查询慢的常见原因优化方案高级方案配置调优监控与诊断总结大数据量查询慢的常见原因MyBAT
阅读更多...
分析 Java Stream 的 peek使用实践与副作用处理方案

分析 Java Stream 的 peek使用实践与副作用处理方案

《分析JavaStream的peek使用实践与副作用处理方案》StreamAPI的peek操作是中间操作,用于观察元素但不终止流,其副作用风险包括线程安全、顺序混乱及性能问题,合理使用场景有限... 目录一、peek 操作的本质：有状态的中间操作二、副作用的定义与风险场景1. 并行流下的线程安全问题2. 顺
阅读更多...
Java JUC并发集合详解之线程安全容器完全攻略

Java JUC并发集合详解之线程安全容器完全攻略

《JavaJUC并发集合详解之线程安全容器完全攻略》Java通过java.util.concurrent（JUC）包提供了一整套线程安全的并发容器,它们不仅是简单的同步包装,更是基于精妙并发算法构建... 目录一、为什么需要JUC并发集合？二、核心并发集合分类与详解三、选型指南：如何选择合适的并发容器？在多
阅读更多...
MyBatis/MyBatis-Plus同事务循环调用存储过程获取主键重复问题分析及解决

MyBatis/MyBatis-Plus同事务循环调用存储过程获取主键重复问题分析及解决

《MyBatis/MyBatis-Plus同事务循环调用存储过程获取主键重复问题分析及解决》MyBatis默认开启一级缓存,同一事务中循环调用查询方法时会重复使用缓存数据,导致获取的序列主键值均为1,... 目录问题原因解决办法如果是存储过程总结问题myBATis有如下代码获取序列作为主键IdMappe
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2