呃确实存在,这都跟这个词库有关系,是互联网上整理的词库,像“法上”居然是专有名词而且权重很高。。。 可以考虑删除“法上”这个错误的词,外挂一个文本词典把“法上”标记为删除或设成更低权重及词性
...getTops(string $text, string $limit=10, $xattr='') $text string 待分词的文本 $limit string 在返回结果的词性过滤, 多个词性之间用逗号分隔, 以~开头取反 如: 设为 n,v 表示只返回名词和动词; 设为 ~n,v 则表示返回名词和动词以外的其...
多谢,此问题源于 rules.ini 中的词性修正。当初把单个字的动词+名词重点提升了权重。 参见这贴子:http://www.hightman.cn/bbs/showthread.php?tid=575&page=1&highlight=hightman#pid3092 当初解决”结合成分子时“ ”学人家人肉“ 。。 之类,所...
...纯单词进行检索效果相当好。长句略慢。。。。[/quote] 分词结果: [quote]1 . 全文检索 , 此次 全文 搭配 数据库 进行 。 测试 中 大概 有 45 万 篇文章 , 约 900 万个词 ( 是 分 好 的 词 不是 字 ) 。 检索 效果 还 不错 , 如...
...下:运行后在本地绑定一个端口(缺省是 4700)监听处理分词服务,无其它功能。针对输入的文字进行分词后然后原样输出,注意每次输入均以 "\n" 作为处理标记,即一行处理一次并返回。这样作的目的在于提高分词的效率和通...
...实上应该针对地名名词(含缩写,别名)建立词库, 然后将其分词, 提取关键字进行比较, 如果相同即可视为相同. 比如同样是 xx市, 有些人可能只写 xx 而没写市
...本 1.0.0 源代码 sdk/php/lib/XSTokenizer.class.php SCWS - 分词器(与搜索服务端通讯) Public 方法 隐去继承来的方法 名称描述定义于 __construct() 构造函数 XSTokenizerScws addDict() 添加分词词典, 支持 TXT/XDB 格式 ...
...使用开源协议 New BSD License 发布新版本 2) 深度优化复合分词中的 SCWS_MULTISHORT 选项,更为合理有效,符合全文检索的需求 3) 测试脚本自动加载当前目录下的 dict_user.txt 文本词典 4) 修正 scws.c 中 __PARSE_XATTR__ 宏的 BUG 导致 scws_get_t...