需要增加一个新词“中国梦”。 使用的php XDB工具,增加词库后导入生成xdb文件。 重新生成coreseek的索引 索引的时候还是搜不出来这个词。 我确认使用的是utf-8 no-bom头的格式。 请问如何解决。谢谢
...开发 基于libevent进行http封装,请求更简单 功能: 1.词库为文本文件方式,增加、删除更方便 2.支持gbk与utf-8(基于scws功能) 3.运行中可修改词库,不停服务只需一个命令即可使新词库生效 4.最大150K文本提交 5.可分词、提取...
...在postgresql整合了scws,效果很棒,现在我们自己增加了一些词库,不知道xdb与txt相比,那个效率更高 另外,scws对于中英文分词效果不是很好,即文中的中文分得还可以,但对于页面中的英文部分,包括email,url,host这类处理效果...
经过开发给不断的努力和测试,以及吸收了大量网友的反馈意见,很高兴于今天发布 Xunsearch 1.2.0 正式版。 这次修订主要是开发了一些新功能,同时修正了一些 BUG,强烈各位用户建议升级到该最新稳定版本。新增的主要功能...
有个问题想请教下hightman大大,似乎0.0.1-pre版本的词库增加了词性标注,这对我很有帮助。想请教一下如何把0.0.1-pre版本的dict.xdb转换成txt呢?我找到了您发布的scws-v23里面的mk_txt.php,但是好像和新版本的xdb词库不兼容,能否麻...
看了论坛很多帖子,其中不少都是词库没有加载上,却没有加以判断,结果发现分词结果不准确。 其实在scws文档中有这么一句话: [i][b]注:xdict_t 和 rule_t 分别是词典和规则集的指针,可判断其是否为 NULL 来判断加载的成...
...词,这样它会被当作一个整词。 通常 un 是指不存在于词库中的字词,对于你这个情况,你可以修改 libscws/scws.c 第 680 行把 attr_un 改为 attr_en 即可,如果需要严格一点可以先判断一下 ch 是否为字母, 如以下: ...
...不足的是: 25吨,16千克 不能分成整体的词,如果把25吨放入词库确实也能解决问题,只是现实中可能有5~1000吨,总不能一个一个都放进去,所以还是建议在算法上增加此功能比较理想
还有就是内存的问题,因为我希望在服务器端有个自动生成词库的功能,命令行方式不是很方便。 主要是用机器先自动分词,人工发现不合理,再把新词增加进去。