湖南蚁坊软件股分有限公司是一家高新技巧企业，专业从事互联网大数据剖析，专注于大数据信息的发掘和价值通报。蚁坊软件具有自立品牌的大数据办事云——蚁工场（Antfact），日处置10亿多条及时数据。怎么包管平台的功能呢？今朝的搜刮引擎存在着如何的技巧瓶颈？怎么选择 Apache Solr 和 Elasticsearch？带着这些问题，本期2KB开源访谈约请到了蚁坊软件蚁工场团队何小成，和大师一同了解一个超大范围搜刮引擎面前的故事。

【本期佳宾】

何小成，就职于湖南蚁坊软件股分有限公司蚁工场团队。首要从事超大范围分布式搜刮引擎的平台设计、开发和优化等任务。完成在高并发、日处置10亿多条及时数据的状况下，对 PB 级的数据做疾速搜刮和统计。深度分析过 Apache Solr、Elasticsearch、Lucene 等开源索引框架构造和其功能调优的任务。

【访谈实录】

1. 佳宾毛遂自荐

我是何小成，如今在蚁坊软件做蚁工场大数据办事云的开发。我的任务首要是担任大数据办事云的平台建立和功能优化。如今首要是担任优化搜刮引擎这方面的任务。由于我们平常的营业触及到很大的数据量，天天有10亿多条及时数据需求树立索引，同时建索引同时供给搜刮办事，对并发功能请求很高。因而，对功能的需求天经地义就摆在了首位。

任务中，我们运用了两个开源的搜刮引擎项目。辨别是 Apache Solr 和 Elasticsearch。这两个项目都是基于 Lucene 完成的。我们对底层的 Lucene 实行了深度的分析，包含它的数据构造、算法和它的道理等。然后在其根底上，做一些功能的优化和改良。

2. 现在为何选择SEO这个范畴？

由于刚Start就对大数据这个范畴非常感兴味，所以就选择了进入大数据这个范畴。在大数据范畴，关于数据的处置可分为两种，辨别是 OLAP 和 OLTP。我关于 OLTP 比拟感兴味，由于它是及时数据处置而不是离线的剖析。而 OLTP 需求搜刮引擎做支持，所以选择了进入搜刮引擎这个范畴。

3. 教师以为搜刮引擎今朝的技巧开展瓶颈是甚么？

今朝看来，首要有以下的一些开展瓶颈：

1. 关于中文的搜刮。由于汉语的胸无点墨，会存在非常多的语义上的歧义，因而很难完成让机械像人一样了解一句话的寄义，然后搜刮相干契合的数据并前往。如今面对的应战就是怎么精准地将信息反应给用户，这里首要的瓶颈就是对语义的了解，今朝机械还不克不及做到百分百完整了解用户的意图。

2. 另有就是语音搜刮和图片搜刮。比方说搜刮“我想吃西餐”，那末失掉的后果应当是左近西餐厅的引荐信息，而不单单是枚举一些网页的链接。不外我置信当前搜刮引擎会愈来愈智能，用户愈来愈依靠于搜刮引擎。

4. 如许看来，对开发者会有哪些应战？

关于开发者，首要有下面的应战：

1. 大数据范畴面对的最大应战就是功能。由于大数据的特色就是数据量十分大，并且可能会呈现某天数据量像洪水般上涨的状况，因而对开发者来讲，晋升搜刮引擎的功能是他们的应战之一。

2. 另有就是中文分词。由于在中文外面某个句子的断句方法分歧会发生完整纷歧样的寄义，所以中文分词也是一个很难明决的问题，具有很大的应战性。

5. 今朝你们采取如何的处理计划，或许说是如何处理这些问题的？

由于今朝有人工智能这方面的技巧，因而我们可以经过机械进修，经过剖析海量的数据，愈加精确地失掉用户想要的后果。

比方方才提到有关歧义的问题，怎么分词才干更切近用户所表达的寄义呢？今朝首要是经过剖析海量数据，基于统计几率失掉词与词之间的关系，选择一种最契合语境的分词方法。

6. 让搜刮引擎更智能、更契合运用者需求需求阅历甚么？

从搜刮引擎运转的几个阶段来看一下：

要让搜刮引擎更智能，起首需求对数据实行精密化处置。第一阶段，在构建索引的时分，需求做一系列的数据剖析。例如，我们公司的舆情监测系统会对获得到的互联网地下数据做一系列的及时流处置，在这过程当中，会做一些数据会聚、过滤、聚类的任务，让原始数占有多元化的特点。

第二阶段是在用户层发作的。它会在用户输出搜刮内容（供给多元化的特点搜刮语法）的时分实行一系列的盘算，失掉用户所表达的最精确的意思。

第三阶段是搜刮引擎依据前提前往用户需求的后果。搜刮后果的排序会依照相干性实行排序，更切近用户需求的后果排在后面。

7. 您感到下一代搜刮引擎技巧会在那些方面有所打破？

跟着搜刮引擎不时地开展，需求用到它的地方和运用的用户也愈来愈多了。这就发生了一种多元化，可能会有如许一种需求 — 去兼容每品种型的用户群体，因而它面对的开展更多的多是在人工智能这方面，更切近用户的需求、强化用户信息反应这一系列会有严重的打破。

8. 像方才提到的 Solr、Elasticsearch，您感到选择它们的时分要从哪方面实行思索？

先从 Lucene Start说吧。Lucene 比拟合适用于轻量级的搜刮，假如是不需求太庞杂的搜刮功用的场景，可以本人用 Lucene 完成本人的搜刮需求。

但假如在大数据范畴，采取上面的方法本人编写搜刮引擎就需求支出很大的精神和工夫，普通不建议这类做法。

假如是用于分布式系统的搜刮引擎，普通会选择 Apache Solr 或 Elasticsearch。那末关于这二者又该怎么选择呢？

Elasticsearch 宣布的工夫比 Apache Solr 晚，它是面向大数据的，乃至可以说为大数据而生。而 Apache Solr 面世的工夫曾经比拟久了，刚宣布的时分也没特定面向哪一个范畴。今朝非常多电商平台例如淘宝、京东都是采取 Apache Solr。这二者各有各的优势，Apache Solr 合适用于非及时写入的场景，Elasticsearch 则合适用于及时写入量比拟大的场景。

还需求留意的是，Apache Solr 支撑自定义的扩大，可以经过运用插件的方法实行扩大。 Elasticsearch 也供给插件扩大功用，但关于底层的一些内核组件则不便利扩大。

9. 今朝首要是做哪方面的扩大？

第一个是改革了 Apache Solr 外面的索引组件。Apache Solr 内置的索引有几种，一种是 RAM Directory ，一种是 File System Directory 文件系统方面的，另有一种是 HDFS Directory ，首要是这三品种型。

如今首要是对索引组件实行了扩大。假如索引数据寄存在磁盘，会存在 IO 的功能瓶颈，我们的营业及时写入量很大，并发量也很高，Apache Solr 不克不及知足我们的这类读写请求。因而我们采取了运用内存寄存数据，但 RAM Directory 的内存是在堆内的，在数据量比拟大的状况下，GC 的工夫会很长，招致功能降落。

因而，我们选择运用堆外内存，即 Native Memory。我们用物理内存，本人完成了一个内存池，到达的后果跟运用 RAM Directory 的后果一样，可是不受 GC 的影响，功能有了明显进步。

另有一个问题，假如完整运用内存寄存索引数据，会存在一个风险 — 数据轻易丧失。所以我们会同时运用  File System Directory 做数据备份，以防数据丧失。

10. 从进修者的角度来看，假如要进入这个搜刮引擎这个范畴，要具有那些技巧栈？

在这个范畴，假如从事的任务和功能优化有关，那末必不成少的就是要对 Java 的虚拟秘密十分熟习，Java 功底要扎实，更主要的是要有很强的源代码浏览才能。优化搜刮引擎必需要深化了解系统的框架构造，浏览源码则是必经之路。别的关于多线程处置、分布式盘算、天然言语处置和机械进修等技巧也要有深化了解。

关于浏览源代码，实在这是一个按部就班的进程，贵在保持，一天不克不及了解就保持天天都浏览，保持下去必定会有播种的。

另有一点，假如后人曾经做好了非常多任务，固然可以先进修他人的，然后本人再深化的研讨。如许可以少走非常多弯路。

11. 关于开源有甚么样的见解，能否有介入开源项目标方案？

关于开源的领会就是，假如本人凭空杜撰的话，一定会有非常多迂回，乃至会沿着过错的标的目的行进而不自知。但假如借助于开源，每一个人城市发扬各自的优势去保护项目，项目必定会逐步生长，不时地完美，本人也会有很大的进步。

如今曾经努力介入 Apache Lucene 的社区，把任务中碰到的一些问题和设法提交到社区，为社区奉献一点菲薄之力。

2KB项目（www.2kb.com，源码交易平台）,提供担保交易、源码交易、虚拟商品、在家创业、在线创业、任务交易、网站设计、软件设计、网络兼职、站长交易、域名交易、链接买卖、网站交易、广告买卖、站长培训、建站美工等服务