我用的是scws[PHP-5.4.x (40KB,VC9,NTS)] 分词模块。其中的代码我都没改。我对“调用 segment 方法执行词汇切割”进行分词，分词结果为“Array ( [0] => 璋 [1] => 冪 [2] => 敤 [3] => segment [4] => 鏂 [5] => 规 [6] => 硶 [7] => 鎵 [8] => ц [9] => [10]...
...专名自动识别，也支持UTF-8/GBK等不同字符集。经评估测试分词准确率在 95% 左右，召回率有 92% 以上。 这套程序的开发其实很早就开始做基础工作了，持续时间和耗费精力都相当大。开始全部采用纯 php 代码编写，功能基本实...
...本 1.0.0 源代码 sdk/php/lib/XSTokenizer.class.php SCWS - 分词器(与搜索服务端通讯) Public 方法 隐去继承来的方法 名称描述定义于 __construct() 构造函数 XSTokenizerScws addDict() 添加分词词典, 支持 TXT/XDB 格式 ...
...ieldMeta hasCustomTokenizer() 判断当前字段是否采用自定义分词器 XSFieldMeta hasIndex() 判断当前字段是否需要索引 XSFieldMeta hasIndexMixed() 判断当前字段是否需要在混合区索引 XSFieldMeta hasIndexSelf() 判断当前字段是否需...
...使用开源协议 New BSD License 发布新版本 2) 深度优化复合分词中的 SCWS_MULTISHORT 选项，更为合理有效，符合全文检索的需求 3) 测试脚本自动加载当前目录下的 dict_user.txt 文本词典 4) 修正 scws.c 中 __PARSE_XATTR__ 宏的 BUG 导致 scws_get_t...