【微服务】Elasticsearch概述&环境搭建(一)

🚗Es学习·起始站~
🚩本文已收录至专栏：微服务探索之旅
👍希望您能有所收获

一.初识elasticsearch

(1) 作用

elasticsearch是一款非常强大的开源搜索引擎，具备非常多强大功能，可以帮助我们从海量数据中快速找到需要的内容

在GitHub搜索代码
在电商网站搜索商品
在百度搜索答案

在打车软件搜索附近的车

(2) ELK技术栈

elasticsearch结合kibana、Logstash、Beats，也就是elastic stack（ELK）。被广泛应用在日志数据分析、实时监控等领域：

elasticsearch是elastic stack的核心，负责存储、搜索、分析数据，而数据可视化和数据抓取都可替换成其他技术使用。

elasticsearch底层是基于lucene来实现的。Lucene是一个Java语言的搜索引擎类库，其核心技术是基于倒排索引，使得查询性能非常好。

(3) 倒排索引

倒排索引的概念是相对于MySQL这样的正向索引而得出的。

(3.1) 正向索引

那么什么是正向索引呢？例如给下表（tb_goods）中的id创建索引：

如果是根据id查询，那么直接走索引，基于B+树，查询速度非常快。这种方式的索引就是正向索引
但如果是基于title做模糊查询，只能是逐行扫描数据，流程如下：
1. 用户搜索数据，条件是title符合"%手机%"
2. 逐行获取数据，比如id为1的数据
3. 判断数据中的title是否符合用户搜索条件
4. 如果符合则放入结果集，不符合则丢弃。回到步骤1

逐行扫描，也就是扫描整个表，随着数据量增加，其查询效率也会越来越低。当数据量达到数百万时，那效率就是一场灾难。

(3.2) 倒排索引

倒排索引中有两个非常重要的概念：

文档（Document）：用来搜索的数据，其中的每一条数据就是一个文档。例如，商品表中的每一个商品，用户表中的每个用户
词条（Term）：对文档数据或用户搜索数据，利用某种算法分词，得到的具备含义的词语就是词条。例如：我是中国人，就可以分为：我、是、中国人、中国、国人这样的几个词条
创建倒排索引是对正向索引的一种特殊处理，流程如下：
1. 将每一个文档的数据利用算法分词，得到一个个词条
2. 创建表，每行数据包括词条、词条所在文档id、位置等信息
3. 因为词条唯一性，可以给词条创建索引，例如hash表结构索引

基于倒排索引的搜索流程如下（以搜索"华为手机"为例）：

用户输入条件"华为手机"进行搜索。
对用户输入内容分词，得到词条：华为、手机。
拿着词条在倒排索引中查找，可以得到包含词条的文档id：1、2、3。
拿着文档id到正向索引中查找具体文档。

虽然要先查询倒排索引，再查询文档，但是无论是词条、还是文档id都建立了索引，查询速度非常快！无需全表扫描。

(3.3) 区别

为什么一个叫做正向索引，一个叫做倒排索引呢？

正向索引是最传统的，根据id索引的方式。但根据词条查询时，必须先逐条获取每个文档，然后判断文档中是否包含所需要的词条，是根据文档找词条的过程。
而倒排索引则相反，是先找到用户要搜索的词条，根据词条得到保护词条的文档的id，然后根据id获取文档。是根据词条找文档的过程。

那么两者方式的优缺点是什么呢？

正向索引：

优点：

可以给多个字段创建索引
根据索引字段搜索、排序速度非常快

缺点：

根据非索引字段，或者索引字段中的部分词条查找时，只能全表扫描。

倒排索引：

优点：

根据词条搜索、模糊搜索时，速度非常快

例如,在浏览器中搜索网页中的部分关键字，搜索引擎

缺点：

只能给词条创建索引，而不是字段

无法根据字段做排序

二.相关概念

elasticsearch中有很多独有的概念，与mysql中略有差别，但也有相似之处。

(1) 文档和字段

elasticsearch是面向**文档（Document）**存储的，可以是数据库中的一条商品数据，一个订单信息。文档数据会被序列化为json格式后存储在elasticsearch中：

而Json文档中往往包含很多的字段（Field），类似于数据库中的列。

(2) 索引和映射

索引（Index），就是相同类型的文档的集合。

例如：

所有用户文档，就可以组织在一起，称为用户的索引；
所有商品的文档，可以组织在一起，称为商品的索引；

所有订单的文档，可以组织在一起，称为订单的索引；

因此，我们可以把索引当做是数据库中的表。

数据库的表会有约束信息，用来定义表的结构、字段的名称、类型等信息。因此，索引库中就有映射（mapping），是索引中文档的字段约束信息，类似表的结构约束。

(3) mysql对比elasticsearch

我们统一的把mysql与elasticsearch的概念做一下对比：

MySQL	Elasticsearch	说明
Table	Index	索引(index)，就是文档的集合，类似数据库的表(table)
Row	Document	文档（Document），就是一条条的数据，类似数据库中的行（Row），文档都是JSON格式
Column	Field	字段（Field），就是JSON文档中的字段，类似数据库中的列（Column）
Schema	Mapping	Mapping（映射）是索引中文档的约束，例如字段类型约束。类似数据库的表结构（Schema）
SQL	DSL	DSL是elasticsearch提供的JSON风格的请求语句，用来操作elasticsearch，实现CRUD

是不是说，我们学习了elasticsearch就不再需要mysql了呢？
并不是如此，两者各自有自己的擅长支出：
- Mysql：擅长事务类型操作，可以确保数据的安全和一致性
- Elasticsearch：擅长海量数据的搜索、分析、计算
- 因此在企业中，往往是两者结合使用：
  - 对安全性要求较高的写操作，使用mysql实现
  - 对查询性能要求较高的搜索需求，使用elasticsearch实现
  - 两者再基于某种方式，实现数据的同步，保证一致性
    
    三.部署单点elasticsearch
    
    (1 ) 创建网络
    
    因为我们还需要部署kibana容器，因此需要让es和kibana容器互联。这里先创建一个网络：
```
docker network create es-net
```
    (2) 拉取镜像
    
    这里我们采用elasticsearch的7.12.1版本的镜像，这个镜像体积非常大，接近1G。
    - 可以通过指令拉取镜像
```
docker pull elasticsearch:7.12.1
```
      - 也可以使用资料中的压缩包，将其上传到服务器后使用Docker命令加载即可。
        链接：https://pan.baidu.com/s/1eSlsQ6ypaDNkqXO75mC6IA
        提取码：3yzw
        
        # 导入数据 docker load -i es.tar
        
        (3) 运行
        
        运行docker命令，部署单点es：
        
        docker run -d \ --name es \ -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \ -e "discovery.type=single-node" \ -v es-data:/usr/share/elasticsearch/data \ -v es-plugins:/usr/share/elasticsearch/plugins \ --privileged \ --network es-net \ -p 9200:9200 \ -p 9300:9300 \ elasticsearch:7.12.1
        
        命令解释：
        
        --name：设置名称
        -e "ES_JAVA_OPTS=-Xms512m -Xmx512m"：内存大小
        -e "discovery.type=single-node"：非集群模式
        -v es-data:/usr/share/elasticsearch/data：挂载逻辑卷，绑定es的数据目录
        -v es-logs:/usr/share/elasticsearch/logs：挂载逻辑卷，绑定es的日志目录
        -v es-plugins:/usr/share/elasticsearch/plugins：挂载逻辑卷，绑定es的插件目录
        --privileged：授予逻辑卷访问权
        --network es-net ：加入一个名为es-net的网络中
        -p 9200:9200：暴露ttp协议端口映射配置
        -p 9300:9300：各个节点互连端口映射配置
        在浏览器中输入：http://192.168.150.101:9200 即可看到elasticsearch的响应结果：
        
        如此表明我们部署成功啦
        
        四.部署kibana
        
        kibana可以给我们提供一个elasticsearch的可视化界面，便于我们学习，其中Dev Tools工具可以让我们非常方便的去编写DSL语句。
        
        (1) 拉取镜像
        
        这里我们也采用kibana的7.12.1版本的镜像，需要与elasticsearch保持一致。
        
        可以通过指令拉取镜像
        docker pull kibana:7.12.1
        
        也可以使用资料中的压缩包，将其上传到服务器后使用Docker命令加载即可。
        链接：https://pan.baidu.com/s/1eSlsQ6ypaDNkqXO75mC6IA
        提取码：3yzw
        
        # 导入数据 docker load -i kibana.tar
        
        (2) 运行
        
        运行docker命令，部署kibana
        
        docker run -d \ --name kibana \ -e ELASTICSEARCH_HOSTS=http://es:9200 \ --network=es-net \ -p 5601:5601 \ kibana:7.12.1
        
        --network es-net ：加入一个名为es-net的网络中，与elasticsearch在同一个网络中
        -e ELASTICSEARCH_HOSTS=http://es:9200"：设置elasticsearch的地址，因为kibana已经与elasticsearch在一个网络，因此可以用容器名直接访问elasticsearch
        -p 5601:5601：http暴露端口映射配置
        kibana启动一般比较慢，在浏览器输入地址访问：http://192.168.150.101:5601，看到此页面即表明成功
        
        (3) DevTools
        
        kibana中提供了一个DevTools界面：
        
        可以在这个界面中编写DSL来操作elasticsearch。并且对DSL语句有自动补全功能。
        
        五.安装IK分词器
        
        (1) 分词器作用
        
        es在创建倒排索引时需要对文档进行分词；在搜索时，需要对用户输入内容分词。但默认的分词规则对中文处理并不友好，因此我们需要安装其他合适的分词器。
        
        可以看到默认分词效果并不好。处理中文分词，我们一般会使用IK分词器。
        
        (2) 在线安装ik插件（较慢）
        
        # 进入容器内部 docker exec -it elasticsearch /bin/bash # 在线下载并安装 ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elasticsearch-analysis-ik-7.12.1.zip #退出 exit #重启容器 docker restart es
        
        (3) 离线安装ik插件（推荐）
        
        (3.1) 查看数据卷目录
        
        安装插件需要知道elasticsearch的plugins目录位置，而我们用了数据卷挂载，因此需要查看elasticsearch的数据卷目录，通过下面命令查看:
        
        docker volume inspect es-plugins
        
        显示结果：
        
        说明plugins目录被挂载到了：/var/lib/docker/volumes/es-plugins/_data 这个目录中。
        
        (3.2) 切换到插件数据卷中
        
        cd /var/lib/docker/volumes/es-plugins/_data
        
        (3.3) 上传到es容器
        
        链接：https://pan.baidu.com/s/1eSlsQ6ypaDNkqXO75mC6IA
        提取码：3yzw
        
        将压缩包上传到服务器中，也可以自己去GitHub下载7.12.1版本压缩包。
        
        使用如下指令解压压缩包
        
        unzip ik.zip
        
        (3.4) 重启容器
        
        docker restart es
        
        (3.5) 测试
        
        IK分词器包含两种模式：
        
        ik_smart：最少切分，粗粒度，搜索到概率较小但比较节省内存
        ik_max_word：最细切分，细粒度，搜索到概率更大但比较占用内存
        (4) 扩展词词典
        
        随着互联网的发展，“造词运动”也越发的频繁。出现了很多新的词语，在原有的词汇列表中并不存在，会被分为单个字。比如：“奥力给”，“白嫖” 等(上述有效果是已经配置好了)。
        
        所以我们的词汇也需要不断的更新，IK分词器提供了扩展词汇的功能。
        
        打开IK分词器config目录：
        
        cd /var/lib/docker/volumes/es-plugins/_data/ik/config
        
        打开IKAnalyzer.cfg.xml配置文件并添加如下内容：
        
        # 打开文件 vim IKAnalyzer.cfg.xml # 按 i 开始编辑如下内容 # 编辑完成后按Esc 再输入:wq按回车
        
        IK Analyzer 扩展配置 ext.dic
        
        在config中新建一个 ext.dic
        
        touch ext.dic
        
        打开ext.dic文件并垂直添加扩展词语
        
        # 打开文件 vim ext.dic # 按 i 开始编辑如下内容 # 编辑完成后按Esc 再输入:wq按回车
        
        白嫖奥力给
        
        重启elasticsearch
        
        docker restart es
        
        测试效果：
        
        注意文件的编码必须是 UTF-8 格式，严禁使用Windows记事本编辑
        
        (4) 停用词词典
        
        在互联网项目中，在网络间传输的速度很快，所以很多语言是不允许在网络上传递的，如：关于宗教、政治等敏感词语,或者一些无意义的词，那么我们在搜索时也应该忽略当前词汇。
        
        IK分词器也提供了强大的停用词功能，让我们在索引时就直接忽略当前的停用词汇表中的内容。
        
        打开IK分词器config目录：
        
        cd /var/lib/docker/volumes/es-plugins/_data/ik/config
        
        打开IKAnalyzer.cfg.xml配置文件并添加如下内容：
        
        # 打开文件 vim IKAnalyzer.cfg.xml # 按 i 开始编辑如下内容 # 编辑完成后按Esc 再输入:wq按回车
        
        IK Analyzer 扩展配置 ext.dic stopword.dic
        
        在config中新建一个 stopword.dic
        
        touch stopword.dic
        
        打开 stopword.dic 文件并垂直添加停用词
        
        # 打开文件 vim stopword.dic # 按 i 开始编辑如下内容 # 编辑完成后按Esc 再输入:wq按回车
        
        麻花腾啊哦的
        
        重启elasticsearch
        
        # 重启服务 docker restart es
        
        测试效果：
        
        注意文件的编码必须是 UTF-8 格式，严禁使用Windows记事本编辑

分类:热门推荐日期:2024-02-21浏览:1评论:0

一.初识elasticsearch

(1) 作用

(2) ELK技术栈

(3) 倒排索引

(3.1) 正向索引

(3.2) 倒排索引

(3.3) 区别

二.相关概念

(1) 文档和字段

(2) 索引和映射

(3) mysql对比elasticsearch

三.部署单点elasticsearch

(1 ) 创建网络

(2) 拉取镜像

(3) 运行

四.部署kibana

(1) 拉取镜像

(2) 运行

(3) DevTools

五.安装IK分词器

(1) 分词器作用

(2) 在线安装ik插件（较慢）

(3) 离线安装ik插件（推荐）

(3.1) 查看数据卷目录

(3.2) 切换到插件数据卷中

(3.3) 上传到es容器

(3.4) 重启容器

(3.5) 测试

(4) 扩展词词典

(4) 停用词词典

索引 图片

相关推荐