建议支持词库里的词可以是纯英文单词,虽然在分词时英文单词可以自动识别切分开,但在关键词提取和非法词过滤时却无法提取出或过滤掉纯英文单词。 比如:我要从一些商品名中提取一些品牌:adidas nike。。。对商品名分词...
我目前使用自定义词库实现分词,但是通过scws_get_top5()方法获取数据的时候(字母+数字大于等于3个的时候也会返回)。求过滤方案。 $sh = scws_open(); scws_set_charset($sh, 'utf8'); scws_set_dict($sh, './dict.txt', SCWS_XDICT_TXT); scws_set_rule($sh, './r...
是判断指定词性 我自定义词库格式如下: 销售什么 1.0 1.0 * 出售什么 1.0 1.0 * 出售各式 1.0 1.0 * 某词 1.0 1.0 * scws_t s=scws_new(); 用下面这个函数可以分出“某词”, scws_get_tops(s,1000,N...
1. 需要重启 xs-searchd 2. 只读取 dict_user.txt 3. 系统的同时生效,但 dict_user.txt 优先级更高 4. 词性完全可以自定义,但最多 2个字节
原先有计划要移到google code上,可是发现 scws 这名字被人给注册了。。。:(
2010年,scws 加上了翘首以盼的删减词库功能,该功能通过变通的办法解决,并非直接修改核心词库。下面详细介绍一下 scws-1.1.x 的更新日志及用法举例(示例以PHP扩展语言为例)。 最新版下载地址:[url]http://www.xunsearch.com/scws/do...
问题是系统在使用自定义词库的时候,添加的词能不能算是基词?是否使用同义词的时候可以进行关联? 就目前的情况是添加了自定义词之后,如果这个词不算是基词,关联的同义词就无效、、、、