ElasticSearch-使用IK分词器进行分词

使用KIbana测试IK分词器

打开开发工具台

ik_smart 最少分词器

分词结果比较少

GET _analyze

{

  "analyzer": "ik_smart",

  "text": "中国共产党"

}

ik_max_word 颗粒度最细分词器

分词结果比较多,组成各种结果,穷尽词库的可能!

GET _analyze

{

  "analyzer": "ik_max_word",

  "text": "中国共产党"

}

再看个例子,把我们的句子换成 超级喜欢魏一鹤学习Java

首先看最少分词

然后是最细颗粒度分词

问题来了 我们输入超级喜欢魏一鹤学习Java,发现魏一鹤被拆开了,这种需要自己加入到分词器字典中的词如何处理呢?

IK分词器自定义词汇

找到并且打开IKAnalyzer.cfg分词器配置文件

自己自定义新建一个dic文件,一个dic就算一个字典,ik自带的字典是远远不够用的,我们需要手动去创建字典

新增字典项内容并且保存

然后把我们自定义配置的字典加入到配置文件让字典生效

配置完之后保存,然后重启es,注意观察,在重启es的时候会发现黑窗口已经加载我们自定义的字典weiyihe.dic

重启kibana,再次测试使用过自定义字典之后魏一鹤是否被分割

不管是哪种分词,魏一鹤都没被分割!说明我们自定义字典配置成功!

以后需要什么词汇,直接在我们的weiyihe.dic字典中去定义即可使用文章来源地址https://uudwc.com/A/rXzNE

原文地址:https://blog.csdn.net/weixin_46713508/article/details/131366881

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请联系站长进行投诉反馈,一经查实,立即删除!

上一篇 2023年06月25日 06:11
Golang学习日志 ━━ 通过将gin-vue-admin项目上传到自己的仓库并且与原版保持更新来学习github操作
下一篇 2023年06月25日 06:11