我现在总结一下我目前还存在的问题 首先,步骤我都是按官方的说明来做的,然后下载官方我的演示程序(源代码另存为)。 UTF-8版本的一直不成功,分词结果就如我最开始的截图; GBK版本的在保存文件的时候选择文件编码为...
...上可以很方便在的各类 Unix-Like OS 系统下顺利编译执行。目前测试过的有 RedHat Linux (as3,as4) FreeBSD 4.x 5.x 6.x。目前只支持 GBK 编码。 这个小程序的基本工作方式如下:运行后在本地绑定一个端口(缺省是 4700)监听处理分词服...
...对设置之后的 setQuery 起作用, 由于 query 设计的方式问题, 目前无法支持搜索语句单字切分, 但您可以在模糊检索时设为 0 来关闭复合分词
...能 2.是否可以对scws自定义中文词典,方便扩展 [/quote] 目前没有直接支持自定义词典,而是直接读取 dict.utf8.xdb 你自己改词也必须转换成这个词典文件才能用。 词典转换关于SCWS的网站上有。
...的英文部分,包括email,url,host这类处理效果比较差,我们目前采用两个分析器配合使用来达到最好的效果,要是scws能处理得了像email,host,url和tag之类的分类,那效率应该是更棒了 谢谢你们的无私开源这么好的作品
...); 这句话出了问题, 也就是可能词典不正确. 但这个词典目前测试在64位系统下也是可以正常工作的, 检查一下词典的字节数是不是没有下载完整. [/quote] 谢谢您的回复,词典是用README中提供的命令生成的 /usr/local/scws/bin/gen_scws...
...要以类似于'20111025'这样的字符串形式插入? 2. 我的日期目前是以时间戳的形式储存的,而且确实有区间检索和排序的需求,那么我的日期是以numeric类型存储还是以date类型存储好?二者有什么区别? PS. 非常喜欢你们的这个...
...工具,已經完成 UTF8 chs + cht 的合併,也自己加了一些詞, 目前使用中,感覺很好。 想回應的是自己在合併過程中,碰到的情況。 在個別將 dict_chs(t).utf8.xdb 導出,倒入資料庫處理時發現,有重複的字詞,這部份不多: chs ...
我目前使用自定义词库实现分词,但是通过scws_get_top5()方法获取数据的时候(字母+数字大于等于3个的时候也会返回)。求过滤方案。 $sh = scws_open(); scws_set_charset($sh, 'utf8'); scws_set_dict($sh, './dict.txt', SCWS_XDICT_TXT); scws_set_rule($sh, './r...