搜索引擎的分布式查询接口
【网学提醒】：本文主要为网上学习者提供搜索引擎的分布式查询接口，希望对需要搜索引擎的分布式查询接口网友有所帮助，学习一下吧!
资料包括： 论文(41页17484字) 源码
说明：
摘要
如果问二十世纪末互联网产业里哪一块风头最盛，发展最快，那我们会毫不犹豫的说：“Of course，是搜索引擎！”。Google的异军突起，使人们不禁想起上世纪80年代微软的崛起及其对整个PC世界的深远影响。我们有理由相信，搜索引擎必将深刻而久远的改变我们的生活和思维。
本论文共分五章，其中第一章介绍了搜索引擎技术及结构；第二章进入主题，讨论了分布式查询接口的原理、作用、功能；第三和第四章分别详细探讨了查询接口的两大功能，查询结点管理和本地缓存。第五章是性能测试。
希望通过我们的论文，能对您学习搜索引擎技术有所帮助。有志于从事网络软件开发的读者相信也可以从中得到借鉴。
关键词 搜索引擎,分布式,查询接口,Berkeley DB,Chttpd
Abstract
What is the fast growing and eye-catching field of Internet Industry in late 20th century? Every one should say without hesitance,” Of course, it’s the search engine!” With Google’s sudden rise and explosive development, we would thought of the far-reaching impress brought up by the grow up of the Microsoft in 1980s. There is a fundamental reason we could say that the Search Engine will bring profound and long-range changes to our thoughts and lives.
Five chapters this article is composed of, with--
Chapter one: Search Engine’s technique and the structure;
Chapter two: the Elements and the Function of the distributed query interface, which we would like to focus our remarks briefly on, as the key point of the paper.
Chapter three: query node management
Chapter four: local buffer
Chapter five: performance test
Keywords Search Engine distributed query interface Berkeley DB，Chttpd
目录：
摘要I
AbstractII
第1章 绪论1
1.1 搜索引擎简介1
1.1.1 搜索引擎分类1
1.1.2 搜索引擎结构3
1.2 主流搜索引擎5
1.3 C/S结构的分布式数据库系统实现9
1.3.1 C/S结构的数据库应用系统的组成9
1.3.2 典型的C/S结构9
1.4 本章小结11
第2章 分布式查询接口的原理13
2.1 分布式查询与分布式数据库系统13
2.1.1 分布式数据库系统的概念13
2.1.2 分布式数据库系统的优缺点13
2.1.3 分布式查询的概念14
2.1.4 查询代价的估算14
2.2 分布式查询接口的概念和功能14
2.2.1 接口的概念14
2.2.2 分布式查询接口的概念15
2.2.3 分布式查询接口的功能15
2.3 HTTP协议简介15
2.3.1 HTTP请求方式16
2.3.2 Chttpd简介16
2.3.3 Chttpd自定义的http头部17
2.4 本章小结17
第3章 查询结点管理19
3.1 结点管理功能介绍19
3.1.1 查询结点的功能19
3.1.2 通过接口访问查询结点19
3.1.3 结点管理的任务19
3.2 结点数据结构20
3.2.1 访问结点需要的信息20
3.2.2 结点数量的限制20
3.2.3 结点的存储方式20
3.2.4 结点数据结构的实现20
3.3 结点管理功能21
3.3.1 增加查询结点21
3.3.2 删除查询结点22
3.3.3 遍历查询结点23
3.3.4 选择单个查询结点25
3.4 本章小结26
第4章 本地缓存管理27
4.1 缓存管理介绍27
4.1.1 缓存作用简介27
4.1.2 缓存的内容27
4.2 缓存管理的实现27
4.2.1 Berkeley DB介绍27
4.2.2 记录替换算法30
4.3 缓存性能测试31
4.4 本章小结32
第5章 查询接口性能测试33
5.1 测试程序的命令行格式33
5.2 不同查询次数下的性能表现33
5.3 多个用户下的性能表现34
结论35
参考文献36
致谢37
附录 搜索引擎的结构图38
参考文献：
1丁宝康 董建全 施伯乐.数据库实用教程.清华大学出版社 2001
2Andrew S. Tanenbaum. Computer Networks(Third Edition).Pretice Hall. 1998
3 Andrew S. Tanenbaum操作系统：设计与实现（第二版） PHEI 1998
4 谭浩强C程序设计（第二版） 清华大学出版社1999
5 贾明，严世贤 linux下的C编程 人民邮电出版社 2001
6 毛曙福 Linux C高级程序员指南 国防工业出版社 2001
7 Richard Petersen 史兴华译 Linux 编程起步 人民邮电出版社 2001
8 徐延明 林立志 王罡 Linux编程指南与实例 人民邮电出版社 2000
9 陆吉林 杨建芳 Internet搜索引擎指南 复旦大学出版社1999
10 尤晋元UNIX操作系统教程 西北电讯工程学院出版社1985
11 徐宝文 张卫丰 搜索引擎与信息获取技术 清华大学出版社2003
12 霍克 金丽华 Internet通用搜索引擎检索指南 辽宁科学技术出版社 2003
13 王以和 涂小平 分布式数据库系统 电子工业出版社1988
14 陈建荣 分布式数据库设计导论 清华大学出版社1992
15 周龙骧 分布式数据库管理系统实现技术 科学出版社 1998
16 Naik, Dilip C Internet标准与协议 清华大学出版社1999
17 Jones,C.A Batchelor, Drew Linux web编程 电子工业出版社2000
18 Darl,O.J 结构程序设计 科学出版社 1980.11
19 朱望规 数据结构 西安交通大学出版社 1985.11
20 鸿健 C语言高级程序员编程指南 中科院希望高级电脑技术公司1988
作者点评：
搜索引擎的分布式查询接口是搜索引擎体系结构的一个组成部分，承担着接收查询请求，查询结点注册、撤销，结点有效性检查，向结点广播发送查询请求或选择查询结点发送查询请求，从查询结点或本地缓存取得查询结果，向用户发送结果响应，查询结果入缓存，替换缓存记录的任务。分布式查询接口可以查询分步的结点数据库，同时它本身也是可分步的，即可以存在多个查询接口的实例。这些实例可以互不影响的存在于一台主机或不同的主机上。或者可以将接口作为查询结点注册到其他查询接口从而组成一个层次式的查询结构。
在查询接口的设计过程中涉及了如下几项知识：
1. Linux C系统及网络编程
2. 分布式数据库系统
3. HTTP网络传输协议
4. 搜索引擎体系结构
资料包括： 论文(41页17484字) 源码
说明：
摘要
如果问二十世纪末互联网产业里哪一块风头最盛，发展最快，那我们会毫不犹豫的说：“Of course，是搜索引擎！”。Google的异军突起，使人们不禁想起上世纪80年代微软的崛起及其对整个PC世界的深远影响。我们有理由相信，搜索引擎必将深刻而久远的改变我们的生活和思维。
本论文共分五章，其中第一章介绍了搜索引擎技术及结构；第二章进入主题，讨论了分布式查询接口的原理、作用、功能；第三和第四章分别详细探讨了查询接口的两大功能，查询结点管理和本地缓存。第五章是性能测试。
希望通过我们的论文，能对您学习搜索引擎技术有所帮助。有志于从事网络软件开发的读者相信也可以从中得到借鉴。
关键词 搜索引擎,分布式,查询接口,Berkeley DB,Chttpd
Abstract
What is the fast growing and eye-catching field of Internet Industry in late 20th century? Every one should say without hesitance,” Of course, it’s the search engine!” With Google’s sudden rise and explosive development, we would thought of the far-reaching impress brought up by the grow up of the Microsoft in 1980s. There is a fundamental reason we could say that the Search Engine will bring profound and long-range changes to our thoughts and lives.
Five chapters this article is composed of, with--
Chapter one: Search Engine’s technique and the structure;
Chapter two: the Elements and the Function of the distributed query interface, which we would like to focus our remarks briefly on, as the key point of the paper.
Chapter three: query node management
Chapter four: local buffer
Chapter five: performance test
Keywords Search Engine distributed query interface Berkeley DB，Chttpd
目录：
摘要I
AbstractII
第1章 绪论1
1.1 搜索引擎简介1
1.1.1 搜索引擎分类1
1.1.2 搜索引擎结构3
1.2 主流搜索引擎5
1.3 C/S结构的分布式数据库系统实现9
1.3.1 C/S结构的数据库应用系统的组成9
1.3.2 典型的C/S结构9
1.4 本章小结11
第2章 分布式查询接口的原理13
2.1 分布式查询与分布式数据库系统13
2.1.1 分布式数据库系统的概念13
2.1.2 分布式数据库系统的优缺点13
2.1.3 分布式查询的概念14
2.1.4 查询代价的估算14
2.2 分布式查询接口的概念和功能14
2.2.1 接口的概念14
2.2.2 分布式查询接口的概念15
2.2.3 分布式查询接口的功能15
2.3 HTTP协议简介15
2.3.1 HTTP请求方式16
2.3.2 Chttpd简介16
2.3.3 Chttpd自定义的http头部17
2.4 本章小结17
第3章 查询结点管理19
3.1 结点管理功能介绍19
3.1.1 查询结点的功能19
3.1.2 通过接口访问查询结点19
3.1.3 结点管理的任务19
3.2 结点数据结构20
3.2.1 访问结点需要的信息20
3.2.2 结点数量的限制20
3.2.3 结点的存储方式20
3.2.4 结点数据结构的实现20
3.3 结点管理功能21
3.3.1 增加查询结点21
3.3.2 删除查询结点22
3.3.3 遍历查询结点23
3.3.4 选择单个查询结点25
3.4 本章小结26
第4章 本地缓存管理27
4.1 缓存管理介绍27
4.1.1 缓存作用简介27
4.1.2 缓存的内容27
4.2 缓存管理的实现27
4.2.1 Berkeley DB介绍27
4.2.2 记录替换算法30
4.3 缓存性能测试31
4.4 本章小结32
第5章 查询接口性能测试33
5.1 测试程序的命令行格式33
5.2 不同查询次数下的性能表现33
5.3 多个用户下的性能表现34
结论35
参考文献36
致谢37
附录 搜索引擎的结构图38
参考文献：
1丁宝康 董建全 施伯乐.数据库实用教程.清华大学出版社 2001
2Andrew S. Tanenbaum. Computer Networks(Third Edition).Pretice Hall. 1998
3 Andrew S. Tanenbaum操作系统：设计与实现（第二版） PHEI 1998
4 谭浩强C程序设计（第二版） 清华大学出版社1999
5 贾明，严世贤 linux下的C编程 人民邮电出版社 2001
6 毛曙福 Linux C高级程序员指南 国防工业出版社 2001
7 Richard Petersen 史兴华译 Linux 编程起步 人民邮电出版社 2001
8 徐延明 林立志 王罡 Linux编程指南与实例 人民邮电出版社 2000
9 陆吉林 杨建芳 Internet搜索引擎指南 复旦大学出版社1999
10 尤晋元UNIX操作系统教程 西北电讯工程学院出版社1985
11 徐宝文 张卫丰 搜索引擎与信息获取技术 清华大学出版社2003
12 霍克 金丽华 Internet通用搜索引擎检索指南 辽宁科学技术出版社 2003
13 王以和 涂小平 分布式数据库系统 电子工业出版社1988
14 陈建荣 分布式数据库设计导论 清华大学出版社1992
15 周龙骧 分布式数据库管理系统实现技术 科学出版社 1998
16 Naik, Dilip C Internet标准与协议 清华大学出版社1999
17 Jones,C.A Batchelor, Drew Linux web编程 电子工业出版社2000
18 Darl,O.J 结构程序设计 科学出版社 1980.11
19 朱望规 数据结构 西安交通大学出版社 1985.11
20 鸿健 C语言高级程序员编程指南 中科院希望高级电脑技术公司1988
作者点评：
搜索引擎的分布式查询接口是搜索引擎体系结构的一个组成部分，承担着接收查询请求，查询结点注册、撤销，结点有效性检查，向结点广播发送查询请求或选择查询结点发送查询请求，从查询结点或本地缓存取得查询结果，向用户发送结果响应，查询结果入缓存，替换缓存记录的任务。分布式查询接口可以查询分步的结点数据库，同时它本身也是可分步的，即可以存在多个查询接口的实例。这些实例可以互不影响的存在于一台主机或不同的主机上。或者可以将接口作为查询结点注册到其他查询接口从而组成一个层次式的查询结构。
在查询接口的设计过程中涉及了如下几项知识：
1. Linux C系统及网络编程
2. 分布式数据库系统
3. HTTP网络传输协议
4. 搜索引擎体系结构