最新文章专题视频专题问答1问答10问答100问答1000问答2000关键字专题1关键字专题50关键字专题500关键字专题1500TAG最新视频文章推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37视频文章20视频文章30视频文章40视频文章50视频文章60 视频文章70视频文章80视频文章90视频文章100视频文章120视频文章140 视频2关键字专题关键字专题tag2tag3文章专题文章专题2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章专题3
当前位置: 首页 - 科技 - 知识百科 - 正文

MongoDB中文分字搜索

来源:懂视网 责编:小采 时间:2020-11-09 13:13:38
文档

MongoDB中文分字搜索

MongoDB中文分字搜索:为工作室开发的 iDocument 文档分享平台,因为后端数据库是 MongoDB 所以没有做站内搜索,只是放了个百度站内搜索的工具。不过后来发现BAKA百度根本不收录站内链接,所以主席强烈要求做站内搜索 (:з」∠) MongoDB 的分词搜索不支持中文,而精确匹配的话基本
推荐度:
导读MongoDB中文分字搜索:为工作室开发的 iDocument 文档分享平台,因为后端数据库是 MongoDB 所以没有做站内搜索,只是放了个百度站内搜索的工具。不过后来发现BAKA百度根本不收录站内链接,所以主席强烈要求做站内搜索 (:з」∠) MongoDB 的分词搜索不支持中文,而精确匹配的话基本

为工作室开发的 iDocument 文档分享平台,因为后端数据库是 MongoDB 所以没有做站内搜索,只是放了个百度站内搜索的工具。不过后来发现BAKA百度根本不收录站内链接,所以主席强烈要求做站内搜索 (:з」∠) MongoDB 的分词搜索不支持中文,而精确匹配的话基本

为工作室开发的 iDocument 文档分享平台,因为后端数据库是 MongoDB 所以没有做站内搜索,只是放了个百度站内搜索的工具。不过后来发现BAKA百度根本不收录站内链接,所以主席强烈要求做站内搜索(:з」∠)

MongoDB 的分词搜索不支持中文,而精确匹配的话基本上就没啥意义了。所以考虑一下几种方法。

  • 同义词匹配,高端的玩不转,初步想法是为每个文档对象添加一个 tag 来做搜索关键字,例如「高等数学」的文档可以有「高数」这个tag,搜索「高等数学」和「高数」都能得到这个文档。
  • 分字匹配,可能会有少许误差,但是对于程序开发和网站运营人员来说都能减轻负担,因为不需要手动维护tag了。
  • 考虑到数据库中已经有之前的一些数据 (以及主席表示上传文档实在太累了所以强烈要求我保留原数据) 所以这里选择了分字搜索方式。

    按照喵菊给的方法,基本的步骤如下

    1. 分字函数名称为 split(),文档标题为 title,搜索字段为 querytext
    2. 存入新的文档对象时,包含一个 attribute 名为 searchIndex,值为 split(title)。也就是将 title 分字后得到的数组。
    3. searchIndex 编入索引。ensureIndex({searchIndex: 1}),顺序的话,喵菊之前提到过,但是这里暂不考虑。
    4. 搜索时把 split(querytext) 交给数据库来 find()

    由于 Javascript 自带一个超级好用的 String.prototype.split() 方法,所以分字就是 title.split('')

    以及,喵菊说如果用数组的话就不能用 /variable/i 这样的正则来忽略大小写了。所以存进去新index的时候要全部转换成小写,搜索的时候也要转换成小写来实现 Case-insensitive search.

    修改路由函数,添加一个新的属性 searchIndex

    var newdoc = { title: req.body.title, updateTime: Math.round((new Date()).getTime() / 1000), fileType: req.body.fileType, belongs: req.body.belongs, course: req.body.courseId, type: req.body.type, link: req.body.link, downloads: 0, searchIndex: req.body.title.toLowerCase().split('').clean(" ") // Remove space element after split to single text.};Array.prototype.clean = function (deleteValue) { for (var i = 0; i < this.length; i++) { if (this[i] == deleteValue) { this.splice(i, 1); i--; } } return this;};

    修改文档模型函数,添加时将 searchIndex 编入索引:

    exports.addnew = function(newdoc, callback) { collection.insert(newdoc, {safe: true}, function(err) { if (err) { return callback(err); } collection.ensureIndex({ searchIndex: 1 }, function(err) { if (err) { return callback(err); } callback(null); }); });}

    新建文档搜索函数。 坑:如果直接把分好字的数组交给数据库来 find 那么一样是精确匹配的效果。这里应该是我对 MongoDB 还不够熟悉才掉坑里…

    正确的匹配方法是 db.documents.find({ searchIndex: {$all: splittedTextArray} })

    exports.searchdoc = function(splittedTextArray, callback) { collection.find({ searchIndex: {$all: splittedTextArray} }) .sort({ downloads: -1 }) .toArray(function(err, docs) { if (err) { return callback(err, null); } callback(null, docs); });}

    然后按照主席的要求,写了个脚本来更新之前的数据。方法是将原来的数据全部取出,然后遍历写回的同时添加 searchIndex。看了下原来有的数据大约就100多条,所以直接全部取了没考虑分段的问题嗯。

    据喵菊说,数组处理是 MongoDB 的强项所以非常快~

    整个项目的源码在这里

    修改完毕,测试效果非常赞w 不过就是BAKA的blueed还没写搜索列表页的样式就是了… 据说前端苦逼

    文档

    MongoDB中文分字搜索

    MongoDB中文分字搜索:为工作室开发的 iDocument 文档分享平台,因为后端数据库是 MongoDB 所以没有做站内搜索,只是放了个百度站内搜索的工具。不过后来发现BAKA百度根本不收录站内链接,所以主席强烈要求做站内搜索 (:з」∠) MongoDB 的分词搜索不支持中文,而精确匹配的话基本
    推荐度:
    标签: 搜索 查找 中文
    • 热门焦点

    最新推荐

    猜你喜欢

    热门推荐

    专题
    Top