Elasticsearch Lucene 数据写入原理 | ES 核心篇

  • 时间:
  • 浏览:0
  • 来源:大发时时彩_时时彩技巧稳赚方法_大发时时彩技巧稳赚方法

前言

最近 TL 分享了下 《Elasticsearch基础整理》https://www.jianshu.com/p/e8226138485d ,蹭着或多或少意味着。写个小文巩固下,本文主要讲 ES -> Lucene

的底层社会形态,为什让完整版描述新数据写入 ES 和 Lucene 的流程和原理。这是基础理论知识,整理了一下,希望能对 Elasticsearch 感兴趣的同学有所帮助。

哪些是 Elasticsearch ?

Elasticsearch 是一一个多多多 基于 Apache Lucene(TM) 的开源搜索引擎。

那 Lucene 是哪些?

无论在开源还是专有领域,Lucene 还还还都可以 被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库,并通过简单的 RESTful API 来隐藏 Lucene 的繁杂性,从而让全文搜索变得简单。

Elasticsearch 不仅仅是 Lucene 和全文搜索,大伙儿还能从前去描述它:

  • 分布式的实时文件存储,每个字段都被索引并可被搜索
  • 分布式的实几点几分析搜索引擎
  • 还还还都可以 扩展到上百台服务器,出理 PB 级社会形态化或非社会形态化数据

就像过多业务系统是基于 Spring 实现一样,Elasticsearch 和 Lucene 的关系很简单:Elasticsearch 是基于 Lucene 实现的。ES 基于底层哪些包,为什让进行了扩展,提供了更多的更宽裕的查询一句话,为什让通过 RESTful API 还还还都可以 更方便地与底层交互。这类 ES 还有 Solr 也是基于 Lucene 实现的。

在应用开发中,用 Elasticsearch 会很简单。为什让意味着你直接用 Lucene,会有絮状的集成工作。

为什让,入门 ES 的同学,稍微了解下 Lucene 即可。意味着往高级走,还是不能 学习 Lucene 底层的原理。意味着倒排索引、打分机制、全文检索原理、分词原理等等,哪些不能 不不过时的技术。

3.1 数据模型

如图

  • 一一个多多多 ES Index (索引,比如商品搜索索引、订单搜索索引)集群下,有多个 Node (节点)组成。每个节点过多我 ES 的实例。
  • 每个节点上会有多个 shard (分片), P1 P2 是主分片 R1 R2 是副本分片
  • 每个分片上对应着过多我一一个多多多 Lucene Index(底层索引文件)
  • Lucene Index 是一一个多多多 统称。由多个 Segment (段文件,过多我倒排索引)组成。每个段文件存储着过多我 Doc 文档。

3.2 Lucene Index

lucene 中,单个倒排索引文件称为 segment。其中一一个多多多多 文件,记录了所有 segments 的信息,称为 commit point:

  • 文档 create 新写入时,会生成新的 segment。同样会记录到 commit point 底下
  • 文档查询,会查询所有的 segments
  • 当一一个多多多 段指在文档被删除,会维护该信息在 .liv 文件底下

3.3 新文档写入流程

新文档创建意味着更新时,进行如下流程:

更新不不修改从前的 segment,更新和创建操作后要生成新的一一个多多多 segment。数据哪里来呢?先会指在内存的 bugger 中,为什让持久化到 segment 。

数据持久化步骤如下:write -> refresh -> flush -> merge

3.3.1 write 过程

一一个多多多 新文档过来,会存储在 in-memory buffer 内存缓存区中,顺便会记录 Translog。

这前一天数据还没到 segment ,是搜那末或多或少新文档的。数据那末被 refresh 后,不还还还都可以 被搜索到。那末 讲下 refresh 过程

3.3.2 refresh 过程

refresh 默认 1 秒钟,执行一次上图流程。ES 是支持修改或多或少值的,通过 index.refresh_interval 设置 refresh (冲刷)间隔时间。refresh 流程大致如下:

  • in-memory buffer 中的文档写入到新的 segment 中,但 segment 是存储在文件系统的缓存中。此时文档还还还都可以 被搜索到
  • 最后清空 in-memory buffer。注意: Translog 那末被清空,为了将 segment 数据写到磁盘

文档经过 refresh 后, segment 暂时写到文件系统缓存,从前出理 了性能 IO 操作,又还还还都可以 使文档搜索到。refresh 默认 1 秒执行一次,性能损耗过多。一般建议稍微延长或多或少 refresh 时间间隔,比如 5 s。为什让,ES 其实过多我准实时,达那末真正的实时。

3.3.3 flush 过程

上个过程中 segment 在文件系统缓存中,会有意外故障文档丢失。那末,为了保证文档不不丢失,不能 将文档写入磁盘。那末文档从文件缓存写入磁盘的过程过多我 flush。写入次怕后,清空 translog。

translog 作用很大:

  • 保证文件缓存中的文档不丢失
  • 系统重启时,从 translog 中恢复
  • 新的 segment 收录到 commit point 中

具体还还还都可以 看官方文档:https://www.elastic.co/guide/en/elasticsearch/reference/7.3/indices-flush.html

3.3.4 merge 过程

底下2个步骤,可见 segment 会过多,那末搜索会那末慢?缘何出理 呢?

通过 merge 过程出理 :

  • 过多我各个小段文件,合并成一一个多多多 大段文件。段合并过程
  • 段合并结束了了英文英文,旧的小段文件会被删除
  • .liv 文件维护的删除文档,会通过或多或少过程进行清除

如或多或少图,ES 写入原理不难 ,记住关键点即可。

write -> refresh -> flush

  • write:文档数据到内存缓存,并存到 translog
  • refresh:内存缓存中的文档数据,到文件缓存中的 segment 。此时还还还都可以 被搜到
  • flush 是缓存中的 segment 文档数据写入到磁盘

写入的原理我找不到乎 们,考虑的点过多:性能、数据不丢失等等

(完)

参考资料:

Java微服务资料,加我微w信x:bysocket01 (加的人,一般很帅)

  • 《深入理解 Elasticsearch》
  • https://lucene.apache.org/core/8_2_0/core/org/apache/lucene/codecs/lucene100/package-summary.html#package.description
  • https://www.jianshu.com/p/e8226138485d