... scws 的版本为 1.0.0 Release , 该版本稳定可用,而且包含两个文本词典,和转化为 xdb 的工具, 词典编码为 gbk, 将 gbk 转换成 utf8 应该非常简单了, 这里不再细述, 详细情请下载整个软件包以后阅读其中的 README 文件. 最新下载地址: [url...
...有一个问题想要请教哥们： 现在需要对一批中文的文本文件建立检索功能 现在的初步想法是 使用util/Indexer.php一行一行的将所有文本信息全部导入xs-searchd的一个project实例中 （我对php不是特别熟悉 又需要尽快的实...
... 获取分词结果 调用 [XSTokenizerScws::getResult] 对参数指定的文本字符串执行分词， 并返回词汇数组，每个词汇包含 3 个元素，其中： - *off* 表示这个词汇在源参数文本 _$text_ 中的起始偏移位置 - *attr* 这个词汇的词性，使用北...
...(string $field) $field string 字段名称 {return} string 文本内容, 若无则返回 null 源码: sdk/php/lib/XSDocument.class.php#L221 (显示) public function getAddIndex($field){ $field = strval($field); if ($this->_texts === null || !isset($this->_texts[$field])) {...
...bool hasWord(string $text, string $xattr) $text string 要判断的文本 $xattr string 要判断的词性, 参见 getTops 的说明 {return} bool 文本中是否包含指定词性的词汇 源码: sdk/php/lib/XSTokenizer.class.php#L382 (显示) public function hasWord($...
... public array getResult(string $text) $text string 待分词的文本 {return} array 返回词汇数组, 每个词汇是包含 [off:词在文本中的位置,attr:词性,word:词] 源码: sdk/php/lib/XSTokenizer.class.php#L339 (显示) public function getResult($text){ $wo...
...][/size][/b] SCWS 是一个简易的分词引擎，它可以将输入的文本字符串根据设定好的选项切割后以数组形式返回每一个词汇。它为中文而编写，支持 gbk 和 utf-8 字符集，适当的修改词典后也可以支持非中文的多字节语言切词（如日...
...T_MEM, SCWS_XDICT_TXT, TXT意未着 fpath 指向的词库文件为纯文本文件, 可以通过按位与(|)与另2项链接表示是否强制将词库加载到内存. 除TXT外只支持XDB格式的词库了。 2个函数的返回值均为 int，成功为1 失败是0。此外，...
...T_MEM, SCWS_XDICT_TXT, TXT意未着 fpath 指向的词库文件为纯文本文件, 可以通过按位与(|)与另2项链接表示是否强制将词库加载到内存. 除TXT外只支持XDB格式的词库了。 2个函数的返回值均为 int，成功为1 失败是0。此外，...
... 基于libevent进行http封装，请求更简单 功能： 1.词库为文本文件方式，增加、删除更方便 2.支持gbk与utf-8(基于scws功能) 3.运行中可修改词库，不停服务只需一个命令即可使新词库生效 4.最大150K文本提交 5.可分词、提取高频...