不知道现在自定义字典那里。是否能自定义词性呢? 比如,现在我们的搜索, 先判断。如果搜的词 词性属于 产品类。那么我就让他跑产品库去搜索。 比如我定义 电脑 dn dn 就是我自定义的词性。这样我在scws 分词...
我想在$prefix/etc/dict_user.txt内添加一些自定义词汇,有几个问题: 1、添加完是否需要重启xunsearch主进程?(实验结果是,求确认) 2、只监视dict_user.txt,还是会扫描、装载etc目录下所有的txt? 3、自定义词库后,系统内置词库...
1. 需要重启 xs-searchd 2. 只读取 dict_user.txt 3. 系统的同时生效,但 dict_user.txt 优先级更高 4. 词性完全可以自定义,但最多 2个字节
通常英文是不需要分词的,但很多时候词性是需要的,比如nike,dior这类品牌英文。 目前默认词性都是en,有什么办法可否自定义词典来改变他的词性。 还有个问题,就是纯数字的词性为什么是en呢,不是m? 望赐教。
可以的啊,用SCWS_XDB工具导出成TXT格式就可以编辑了. 但要注意词性最多2个字符,不可以是#和@和!,这三个有特殊函义
自定义了dict_user.txt 出现奇怪现象,所有词性都变成了string(3),而且还出现了乱码: array(3) { ["off"]=> int(0) ["attr"]=> string(3) "@�" ["word"]=> string(15) "重庆鸡公煲" } array(3) { ["off"]=> int(0) ["attr"]=> string(3) "ns�" ["word"]=> string(6) "重庆" ...
自定义 SCWS 词库 如之前所说,我们所有的索引分词器默认为 scws,这也是我们开发的开源分词系统, 内置的词库基本上能满足绝大多数应用。但总有例外,这也就是即将说的如何自定义词库。 全局自定义词库 -----...
我刚才用统一的词性生成了一个词典,但同一个文件, 生成的大小怎么不同呢, 第一次: 积分 20.0 20.0 @ 中间我是用一个空格格开的,生成后有4M, 第二次: 积分 20.0 20.0 @ 用的是原dict.xdb导出txt后的格式,生成后有10M, ...
那个属性对分词效果有一定影响的,TF主要用于词的切分,IDF用于统计,词性就用在取TOP时过滤或标注上。 最好是基于现有的词典去补充,你重建一个的话数据又都没有效果可能会比较差。SCWS主页上有一个TF/IDF计算器,你可...