邱哲，北京理工大学软件工程硕士。现为Eskalate．com公司技术经理，同时负责开发人员招聘工作一-主要从事欧美软件外包开发，曾承接多家美国本土公司项目，在J2EE方面有7年的开发经验。曾经编写了《souts Web设计与开发大全》、《开发自己的搜索引擎——Lucerie 2．0+Heritrix》。
　　王学松，博士。曾任职知名互联网搜索引擎公司，担任高级软件工程师、研发经理等职位，参与大型搜索引擎开发多年。开发完成亿级网页的互联网科技类信息垂直搜索引擎系统，完成中文搜索引擎的页面下载与分析、大规模索引建立、分类聚类技术、高并发检索和Web高速访问技术开发。目前从事海量信息挖掘、语义网搜索引擎和基于内容图像检索的研究和开发。

　　《开发自己的搜索引擎：Lucene+Heritrix(第2版)》是一本介绍搜索引擎开发的书籍，通过《开发自己的搜索引擎：Lucene+Heritrix(第2版)》，读者可以独立构建一个企业级的搜索引擎网站。《开发自己的搜索引擎：Lucene+Heritrix(第2版)》讲解了搜索引擎与信息检索基础，Lucene入门实例，索引的建立，使用Lucene来搜索，排序，分析器，对Word、Excel和PDF格式文档的解析，Compass搜索引擎框架，Lucene分布式，爬虫Heritrix，HTMLParser，DWR等内容。最后综合这些技术，构建了一个典型的垂直搜索系统，具有很强的商业实用价值。
　　《开发自己的搜索引擎：Lucene+Heritrix(第2版)》是一本使用Lucene和Heritrix来讲解搜索引擎构建的书，通过对API和源代码的分析，力求使读者在应用的基础上，能够深入其核心，自行扩展和开发相应组件，发挥想象力，开发出更具有创意的搜索引擎产品。
　　《开发自己的搜索引擎：Lucene+Heritrix(第2版)》适合Java程序员和从事计算机软件开发的编程人员阅读，同时也可以作为搜索引擎爱好者的入门书籍。

第1章 搜索引擎与信息检索 1
1.1 搜索引擎的历史 1
1.1.1 萌芽：Archie、Gopher 1
1.1.2 起步：Robot(网络机器人)的出现与Spider(网络爬虫) 3
1.1.3 发展：Excite、Galaxy、Yahoo等 4
1.1.4 繁荣：Infoseek、AltaVista、Google和Baidu 6
1.2 信息检索系统的基本知识 9
1.2.1 信息检索系统 9
1.2.2 信息检索的过程 11
1.2.3 传统查找的优点和不足 12
1.2.4 使用索引提高检索速度 12
1.2.5 倒排索引 13
1.2.6 评价信息检索系统的标准 14
1.3 Lucene的简介 14
1.4 小结 15

第2章 Lucene入门实例 16
2.1 实例介绍 16
2.1.1 实例说明 16
2.1.2 开发过程 16
2.2 准备工作 17
2.2.1 将文档的全角标点转成半角标点 17
2.2.2 将大文档切分成多个小文档 20
2.2.3 预处理源文件的统一接口 21
2.3 创建Eclipse工程 22
2.3.1 准备工作 22
2.3.2 创建工程并引入Lucene的JAR包 24
2.3.3 运行文档预处理类 31
2.3.4 创建处理文档的索引类：IndexProcessor 32
2.3.5 创建检索索引的搜索类 34
2.4 运行效果 38
2.5 小结 41

第3章 索引的建立 42
3.1 Document逻辑文件 42
3.1.1 Lucene的Document 42
3.1.2 为Document添加多种Field 43
3.1.3 Document的内部实现 45
3.2 Field的内部实现 46
3.2.1 Field包含的类 47
3.2.2 Field类的构造方法 48
3.3 Lucene的索引工具IndexWriter 49
3.3.1 IndexWriter的初始化 50
3.3.2 向索引添加文档 52
3.3.3 限制每个Field中的词条的数量 53
3.4 Lucene索引过程详解 54
3.4.1 Lucene索引建立过程概览 54
3.4.2 使用addDocument方法向索引添加文档 55
3.4.3 DocumentWriter的addDocument方法 57
3.4.4 文档的倒排 62
3.4.5 对postingTable进行排序 66
3.4.6 将Posting信息写入索引 68
3.5 索引文件格式 68
3.5.1 索引的segment 69
3.5.2 .fnm格式 69
3.5.3 .fdx与.fdt格式 70
3.5.4 .tii与.tis格式 71
3.5.5 deletable格式 71
3.5.6 复合索引格式.cfs 71
3.6 索引过程的调优 72
3.6.1 合并因子mergeFactor 72
3.6.2 maxMergeDocs 73
3.6.3 minMergeDocs 73
3.7 索引的合并与索引的优化 74
3.7.1 FSDirectory与RAMDirectory 74
3.7.2 使用IndexWriter来合并索引 75
3.7.3 索引的优化 76
3.8 从索引中删除文档 78
3.8.1 索引的读取工具Index-Reader 78
3.8.2 使用文档ID号来删除特定文档 81
3.8.3 使用Field信息来删除批量文档 84
3.9 Lucene的同步问题 85
3.9.1 为什么要进行同步以及Lucene的同步法则 85
3.9.2 commit.lock与write.lock 85
3.10 Lucene 2.0的新类：IndexModifier类 86
3.11 小结 87

第4章 Lucene搜索 88
4.1 使用IndexSearcher进行搜索 88
4.1.1 初始化IndexSearcher 88
4.1.2 IndexSearcher的最简单使用 89
4.1.3 IndexSearcher的多种search方法 90
4.2 Hits类详解 92
4.2.1 Hits类的公有接口 92
4.2.2 效率分析 93
4.2.3 Hits内部的缓存 95
4.2.4 Hits类的工作原理 98
4.3 对搜索结果的评分 98
4.3.1 文档与词条的向量空间 98
4.3.2 Lucene的文档得分算法 99
4.4 构建各种Lucene内建的Query对象 103
4.4.1 toString：查看原子查询 103
4.4.2 查询重写与权重 103
4.4.3 TermQuery词条搜索 104
4.4.4 BooleanQuery布尔搜索 105
4.4.5 RangeQuery范围搜索 113
4.4.6 PrefixQuery前缀搜索 117
4.4.7 PhraseQuery：短语搜索 119
4.4.8 MultiPhraseQuery：多短语搜索 123
4.4.9 FuzzyQuery模糊搜索 128
4.4.10 WildcardQuery通配符搜索 131
4.4.11 SpanQuery跨度搜索 132
4.5 第三方提供的Query对象：RegexQuery 140
4.6 通过QueryParser转换用户关键字 142
4.6.1 词条的定义 143
4.6.2 QueryParser初始化 143
4.6.3 改变QueryParser默认的布尔逻辑 144
4.6.4 短语和QueryParser 145
4.6.5 FuzzyQuery和QueryParser 147
4.6.6 通配符与QueryParser 147
4.6.7 查找指定的Field 148
4.6.8 RangeQuery与QueryParser 151
4.6.9 QueryParser和SpanQuery 152
4.7 多Field搜索与多索引搜索 153
4.7.1 多域搜索MultiFieldQuery-Parser 153
4.7.2 MultiSearcher在多个索引上搜索 155
4.7.3 ParalellMultiSearcher：多线程搜索 158
4.7.4 Searchable和RMI 161
4.8 小结 162

第5章 排序、过滤和分页 163
5.1 相关度排序 163
5.1.1 使用Score进行自然排序 163
5.1.2 Searcher的explain方法 165
5.1.3 通过改变boost值来改变文档的得分 166
5.2 使用Sort来排序 170
5.2.1 Sort简介 170
5.2.2 SortField 171
5.2.3 按文档得分进行排序 172
5.2.4 按文档的内部ID号来排序 175
5.2.5 按一个或多个Field来排序 175
5.2.6 改变SortField中的Locale信息 182
5.3 搜索的过滤器 183
5.3.1 过滤器的基本结构 183
5.3.2 一个简单的Filter：建立索引 184
5.3.3 一个简单的Filter：打印索引文档信息 186
5.3.4 一个简单的Filter：安全级别与过滤器代码 187
5.3.5 一个简单的Filter：在搜索时应用过滤器 188
5.3.6 一个简单的Filter：总结 190
5.3.7 按范围过滤RangeFilter 190
5.3.8 在结果中查询QueryFilter 194
5.3.9 缓存结果：Caching-WrapperFilter 197
5.4 翻页问题 198
5.4.1 依赖于session的翻页 198
5.4.2 多次查询 198
5.4.3 缓存+多次查询 199
5.4.4 缓存+多次查询+数据库 199
5.5 小结 200

第6章 Lucene的分析器 201
6.1 分析 201
6.1.1 分词 201
6.1.2 Lucene的分析器结构 202
6.1.3 Lucene的分析器实现 204
6.2 Lucene与JavaCC 205
6.2.1 JavaCC简介 205
6.2.2 JavaCC为Lucene提供的分析器脚本 206
6.2.3 Lucene的标准分析器 210
6.2.4 标准过滤器：Standard-Filter 211
6.2.5 大小写转换器：Lower-CaseFilter 212
6.2.6 忽略词过滤器：StopFilter 213
6.3 分析器的进阶 213
6.3.1 再看StandardAnalyzer中的管道过滤器结构 214
6.3.2 长度过滤器：LengthFilter 214
6.3.3 PerFieldAnalyzerWrapper 215
6.3.4 其他 215
6.4 对中文的分析 216
6.4.1 现有的中文分词方式简介 216
6.4.2 中科院的分词软件和JE分词 218
6.5 小结 224

第7章 Word、Excel和PDF的处理 225
7.1 使用PDFBox处理PDF文档 225
7.1.1 PDFBox的下载 225
7.1.2 在Eclipse中配置 226
7.1.3 使用PDFBox解析PDF内容 227
7.1.4 运行效果 228
7.1.5 与Lucene的集成 230
7.2 使用xpdf来处理中文PDF文档 232
7.2.1 xpdf的下载 232
7.2.2 配置 232
7.2.3 提取中文 233
7.2.4 运行效果 236
7.3 使用POI来处理Excel和Word文件格式 237
7.3.1 对Excel的处理类 237
7.3.2 ExcelReader的运行效果 241
7.3.3 POI中Excel文件Cell的类型 243
7.3.4 对Word的处理类 245
7.4 使用Jacob来处理Word文档 247
7.4.1 Jacob的下载 247
7.4.2 在Eclipse中配置 247
7.5 小结 249

第8章 Compass：封装了Lucene的框架 250
8.1 Compass简介 250
8.1.1 Compass的下载 250
8.1.2 Compass的代码片断 250
8.2 Compass的初始配置 252
8.2.1 Compass的配置文件 252
8.2.2 将索引存放于内存中 253
8.2.3 使用JDBC来存储索引 253
8.2.4 使用连接池来存储索引 254
8.2.5 加载compass.cfg.xml文件 255
8.3 域模型的配置 255
8.3.1 实体代码 255
8.3.2 实体关系 261
8.3.3 实体Book的配置文件 262
8.3.4 通用元数据定义文件(.cmd.xml) 263
8.3.5 Author和Article的配置文件 267
8.4 使用Compass来建立索引 269
8.4.1 索引代码 269
8.4.2 对象关系图和运行结果 271
8.5 使用Compass来搜索 272
8.5.1 使用find()方法搜索 272
8.5.2 CompassHits类型 273
8.5.3 CompassHit类型 274
8.5.4 使用Lucene语法来查找 275
8.6 配置Analyzer和Optimizer 276
8.7 小结 277

第9章 Lucene分布式 278
9.1 Lucene与分布式 278
9.1.1 什么是GFS 278
9.1.2 为Lucene提供分布式的几点设想 279
9.2 小结 281

第10章 无比强大的网络爬虫Heritrix 282
10.1 Heritrix的使用入门 282
10.1.1 下载和运行Heritrix 282
10.1.2 在Eclipse里配置heritrix的开发环境 285
10.1.3 创建一个新的抓取任务 290
10.1.4 设置抓取时的处理链 292
10.1.5 设置运行时的参数 295
10.1.6 运行抓取任务 297
10.1.7 Heritrix的镜像存储结构 302
10.1.8 终止抓取或终止Heritrix的运行 303
10.2 Heritrix的架构 304
10.2.1 抓取任务CrawlOrder 304
10.2.2 中央控制器CrawlController 305
10.2.3  Frontier链接制造工厂 308
10.2.4  用Berkeley DB实现的BdbFrontier 313
10.2.5  Heritrix的多线程ToeThread和ToePool 316
10.2.6 处理链和Processor 319
10.3 扩展和定制Heritrix 322
10.3.1 向Heritrix中添加自己的Extractor 323
10.3.2 定制Queue-assignment-policy两个问题 327
10.3.3 定制Queue-assignment-policy继承 QueueAssignmentPolicy类 328
10.3.4 扩展FrontierScheduler来抓取特定的内容 329
10.3.5 在Prefetcher中取消robots.txt的限制 330
10.4 小结 331

第11章 搜索引擎综合实例：准备篇 332
11.1 数码产品垂直搜索引擎实例简介 332
11.1.1 垂直搜索引擎实现流程 332
11.1.2 数码垂直搜索引擎搜索功能 333
11.1.3 信息来源网站的选择方法 333
11.1.4 太平洋电脑网和网易手机频道 334
11.2 准备Eclipse的Web开发环境 335
11.2.1 准备Eclipse的Web插件环境 335
11.2.2 在Eclipse中配置插件 336
11.3 准备垂直搜索引擎工程 337
11.3.1 建立搜索引擎Eclipse工程 338
11.3.2 设置搜索引擎工程上下文信息 339
11.3.3 设定源代码存放和输出路径 340
11.3.4 添加自定义的Java代码 341
11.3.5 添加工程中引用的Jar包 343
11.3.6 创建工程JSP页面文件 345
11.3.7 构造完成的工程整体结构 347
11.4 搜索引擎配置信息管理及相关类 349
11.4.1 工程配置信息管理 349
11.4.2 系统属性配置文件 350
11.4.3 配置文件管理封装类 350
11.5 小结 352

第12章 搜索引擎综合实例：下载篇 353
12.1 数码产品网络爬虫 353
12.1.1 垂直搜索引擎网络爬虫设计 353
12.1.2 来源网站内容与链接分析 354
12.2 数码产品信息来源列表准备 356
12.2.1 太平洋电脑网待抓取内容页面分析 356
12.2.2 太平洋电脑网带抓取内容代码分析 359
12.2.3 太平洋电脑网手机品牌清单分析 362
12.3 Eclipse中定制数码产品Heritrix爬虫 367
12.3.1 数码产品Heritrix爬虫的功能 367
12.3.2 Eclipse中导入编译Heritrix工程 368
12.3.3 Eclipse中运行Heritrix工程 370
12.4 抓取pconline网页的定制扩展类 371
12.4.1 抓取pconline网页的Frontier扩展 371
12.4.2 执行pconline手机网页抓取任务 373
12.5 抓取网易手机频道的定制扩展类 375
12.5.1 网易手机频道结构分析 375
12.5.2 设计网易抓取的Extractor扩展 378
12.5.3 设计网易抓取的Frontier扩展 381
12.5.4 执行网易手机频道网页抓取任务 382
12.6 小结 383

第13章 使用正则表达式与HTML Parser分析网页 384
13.1 网页内容分析方法概述 384
13.1.1 网页HTML的基本知识 384
13.1.2 JDK正则表达式简介 385
13.1.3 HTMLParser开源库介绍 387
13.2 正则表达式精确提取网页内容 388
13.2.1 正则表达式java.util.regex使用 388
13.2.2 正则表达式提取tom星座内容实例 390
13.2.3 正则表达式提取pconline手机品牌列表 396
13.3 HTMLParser高效提取网页内容 398
13.3.1 HTMLParser使用准备 398
13.3.2 Lexer模式功能及实现 399
13.3.3 HTMLParser功能及实现 404
13.3.4 HTMLParser解析星座网页实例 410
13.4 数码产品网页内容解析系统 413
13.4.1 产品详细信息文件格式 413
13.4.2 解析产品网页信息的基类Extractor 414
13.5 pconline手机产品网页内容解析 418
13.5.1 pconline手机产品页面Extractor解析器 418
13.5.2 pconline产品信息解析测试函数 421
13.5.3 pconline产品信息解析代码执行结果 422
13.6 网易手机频道产品内容解析 425
13.6.1 网易手机频道产品信息的Extractor解析器 425
13.6.2 网易手机频道的产品信息运行测试效果 428
13.7 小结 429

第14章 网页内容存储与索引 430
14.1 构建产品检索名称信息词库 430
14.1.1 产品名称词汇选择 430
14.1.2 产品名称词库提取代码 431
14.1.3 产品名称词库提取结果 433
14.2 手机产品数据库与文件索引结构 434
14.2.1 手机产品的存储方法 434
14.2.2 手机产品信息Product类 435
14.2.3 产品信息数据库存储结构 437
14.2.4 产品信息Lucene索引结构 438
14.3 产品信息数据库存储与处理 439
14.3.1 数据库创建与准备 439
14.3.2 Java数据库基本操作 440
14.3.3 数码产品数据库记录操作 441
14.4 产品信息文件存储与Lucene索引 443
14.4.1 数码产品Lucene索引操作设计 443
14.4.2 数码产品具体索引操作代码 445
14.5 产品信息综合处理与运行 446
14.5.1 调用数据库处理类和索引处理类 446
14.5.2 数码产品数据处理类运行 452
14.6 小结 454

第15章 搜索引擎综合实例：交互篇 455
15.1 DWR的技术介绍 455
15.1.1 Ajax与DWR简介 455
15.1.2 Ajax与传统模式搜索架构 456
15.2 DWR安装与配置 457
15.2.1 DWR的下载与安装 457
15.2.2 创建工程结构 458
15.2.3 配置web.xml内容 460
15.2.4 建立配置dwr.xml内容 461
15.3 DWR入门与实例演示 461
15.3.1 简单Ajax页面代码 461
15.3.2 运行效果与对比 464
15.3.3 DWR与直接使用XMLHttpRequest对象的比较 468
15.3.4 在DWR中操纵自定义的对象 470
15.3.5 查看DWR的输出日志 477
15.4 dwr.xml的配置进阶 477
15.4.1 dwr.xml的标准结构 478
15.4.2 init标签与DWR自带的converter和creator 479
15.4.3 allow标签 483
15.4.4 signature标签 484
15.4.5 转换器converter 485
15.5 使用DWR工具库util.js 488
15.5.1 页面中调用util.js 489
15.5.2 使用useLoadingMessage()方法显示提示图标 490
15.5.3 DWRUtil.setValue()和DWRUtil.getValue() 495
15.5.4 DWRUtil.getValues和DWRUtil.setValues 498
15.5.5 DWRUtil.addOptions和DWRUtil.removeAll-Options 503
15.5.6 DWRUtil.addRows和DWRUtil.removeAll-Rows 508
15.5.7 DWRUtil.toDescriptive-String方法 515
15.6 小结 516

第16章 搜索引擎综合实例：Web篇 517
16.1 Web配置文件 517
16.1.1 配置文件及其作用 517
16.1.2 Spring配置文件 518
16.1.3 DWR配置文件 519
16.1.4 web.xml配置文件 520
16.2 各种搜索相关Bean类 521
16.2.1 产品SearchResult结果记录类 522
16.2.2 产品SearchResults结果集合类 524
16.2.3 产品SearchRequest检索请求类 526
16.3 数据库访问SearchResultDAO类实现 527
16.3.1 数码库访问类接口定义 527
16.3.2 数码库访问类实现 528
16.4 Lucene索引检索SearchService类实现 530
16.4.1 索引检索类接口定义 530
16.4.2 索引检索类实现 531
16.5 前台Web页面设计 536
16.5.1 数码垂直搜索主页面main.jsp 536
16.5.2 数码搜索手机产品图片的显示 542
16.5.3 手机产品详细信息页面detail.jsp 543
16.6 实例中的问题与功能扩展 546
16.7 小结 548

附录 Lucene 2.4更新内容 549
F1 IndexWriter的构造函数 549
F2 IndexWriter的init方法 550
F3 IndexWriter中的flush、commit和close 552
F4 Lucene 2.4中的Segment 553
F5 IndexCommit和IndexDeletion-Policy 555
F6 IndexWriter中的add-Document 558
F7 DocumentsWriter类的add-Document方法 559
F8 DocumentsWriter的索引链 562