在linux下装了scws1.1.2，并且装了php5的扩展，但是发现在分词时对于较长的字符串会自动截取前多少个字符进行切分，不知这是不是一个BUG？
...个比方，我要切分一段有200个汉字的字符串，但是返回的分词数组只包含了前100个汉字的词。[hr] 我还是把代码贴出来吧。 从返回的分词数组可以看出来，语句的后半句“从下油到火候，从调料到配菜，她都另有一功，炒...
请仔细看说明，$so->get_result() 并不是一次调用，需要多次调用直到返回FALSE 例子1. 使用类方法分词
... header("Content-type: text/html; charset=utf-8"); var_dump(SCWS('中文分词解析,我的个神啊')); //中文分词解析 function SCWS($title) { set_time_limit(0); $data = array("data"=>$title,"respond"=>"json","ignore"=>'yes', "multi"=>3); $data = http_build_query($data); $re = w...
...都失败了 1. 利用xs自带的scws，这个英文明显是根据空格分词的，所以达不到效果 2. 自己写的一元/二元分词器，某些情况下可以正常工作，不过有时会返回一些意想不到的结果，而且相关度看起来并不高，所以很困惑，最下方...
tokenizer 分词器 默认为 default 采用内置的功能强大的 scws 分词，适合绝大多数字符串字段。也可以指定自定义分词器，格式为 name 或 name(arg) 两种形式，其中 name 是分词器名称，arg 则是传递给分词器构造函数的参数。自定义分词...
...， 请将关联记录转换为搜索项目的新字段并设置对应的分词规则。字段设计很重要， 请仔细根据需求创建，字段名建议和您的实际数据库字段一致。 1. ### 定义字段 每个字段用一个区段配置来表示，中括号内的名字即为字...
...相等的数据，然后根据hash_196字段按匹配度排序 我对xlen分词器不是很了解 这个排序mysql可以实现 但是mysql分割后的位置不是固定的 project.name = hash project.default_charset = UTF-8 server.index = /dev/shm/xs-indexd.sock server.search = /dev/shm/xs-se...
...在源码里处理的？ 如果要修改，使其支持更大长度的分词，该从哪里入手呢？ 麻烦了！
在 scws.c 中，由于取词时使用一个 unsigned char 来记录分词的长度，存在特殊情况即通过 rules.ini 自动识别出来的词有可能超过 255 字，如全部连续的双字节数字或字母．超过 255 字后 这里的 j 将变得不正确可能导致 item-> 指向 NULL ,...