因为我的项目是电商网站,所以我自定义了一个词库,把我自己的品牌、商品类目名字给加进去了。 我希望是这样的搜索结果,比如搜索“迪卡侬蓝色货品”: 现在是这样的: [code]Xapian::Query(((迪卡侬:(pos=1) SYNONYM (迪卡:(po...
...用的那种 于是就这样我用小工具创建的XDB比官方下载的分词速度慢 演示版的那个分词 0.06s 用我创建的XDB就到 0.09-0.1s了 我觉得比较奇怪~~ 一切都是按说明操作的 还有xdb没有增加新的词语和减少词语用的官方XDB导出的TXT
[quote='benq81' pid='1380' dateline='1351136388'] 我看楼主现在的搜索挺准确的啊,是自己加了分词吗?还是别的办法~ [/quote] 当时给他建议后添加了自定义词汇,药到病除。。。
...33cc]0. 概述[/color][/size][/b] Libscws 代码是当前 SCWS(简易中文分词) 算法使用C语言编写的链接库,目前仅基于 Unix 族的操作系统,可能必须适当修改才能运行在 Windows 平台中。这套 scws 库没有外部扩展依赖,代码力争简洁高效,针对...
@FIXME: 先记录一下,这是因为你既是自定义分词器又指定了 non_bool 参与权重计算。 那么 SDK 端先按自定义分词器拆分重新组合成查询语句,发送到 xapian 解析器时由于不是 boolean prefix,因此它又会调用内部切词法再次切割。 简...
...专名自动识别,也支持UTF-8/GBK等不同字符集。经评估测试分词准确率在 95% 左右,召回率有 92% 以上。 这套程序的开发其实很早就开始做基础工作了,持续时间和耗费精力都相当大。开始全部采用纯 php 代码编写,功能基本实...