Python公开课 - 全文检索模块Whoosh详解(1)

前言

Whoosh是一封装好的第三方库,可以用来全文检索。非常方便的对自己的网站搭建搜索引擎。

例如,如果您正在开发一个博客网站,则可以使用Whoosh添加搜索功能以允许用户搜索博客内容。

一个示例代码

from whoosh.index import create_in
from whoosh.fields import *
schema = Schema(title=TEXT(stored=True), path=ID(stored=True), content=TEXT)
ix = create_in("indexdir", schema)
writer = ix.writer()
writer.add_document(title=u"First document", path=u"/a", content=u"This is the first document we've added!")
writer.add_document(title=u"Second document", path=u"/b", content=u"The second one is even more interesting!")
writer.commit()


from whoosh.qparser import QueryParser
with ix.searcher() as searcher:
    query = QueryParser("content", ix.schema).parse("first")
    results = searcher.search(query)
    print(results[0])

输出:

>>>{"title": u"First document", "path": u"/a"}

Index与Schema

如果使用Whoosh,首先需要一个Index对象,而创建Index时,必须先定义Schema。在Schema中定义了了Index所包含的Field。

Field可以被索引(意味着它可以被搜索)和/或存储(意味着被索引的值与结果一起返回)。

当创建Index时,仅仅只用创建一次Schema

Field类型说明

whoosh.fields.ID

该类型将字段的整个值索引(并可选地存储)为一个单元(也就是说,它不会进行分词处理)。这对于文件路径,URL,日期,类别等字段很有用。

whoosh.fields.STORED

该字段与文档一起存储,但不编入索引。主要用在搜索结果中向用户显示的文档信息。

whoosh.fields.KEYWORD

该类型设计用于以空格或逗号分隔的关键字。此类型被索引并可搜索(并可选择存储)。

whoosh.fields.TEXT

该类型用于正文。它被索引(并可选地存储)文本并存储分词位置以允许分词搜索。

whoosh.fields.NUMERIC

该类型适用于数字。可以存储整数或浮点数。

whoosh.fields.BOOLEAN

该类型用于布尔值(true / false)。

whoosh.fields.DATETIME

该类型适用于datetime对象。

whoosh.fields.NGRAM 与 whoosh.fields.NGRAMWORDS

该类型将字段文本或短语分解为N-gram。

IndexWriter说明

当创建好Index对象,就可以开始添加文档了。该对象的 writer()方法Index返回一个IndexWriter对象。然后通过IndexWriter的add_document()commit()方法将文档添加到索引库

writer = ix.writer()
writer.add_document(title=u"My document", content=u"This is my document!",
                    path=u"/a", tags=u"first short", icon=u"/icons/star.png")
writer.add_document(title=u"Second try", content=u"This is the second example.",
                    path=u"/b", tags=u"second short", icon=u"/icons/sheep.png")
writer.add_document(title=u"Third time's the charm", content=u"Examples are many.",
                    path=u"/c", tags=u"short", icon=u"/icons/book.png")
writer.commit()

Searcher说明

当需要检索的时候,就需要Searcher对象了。

语法如下:

searcher = ix.searcher()

with ix.searcher() as searcher:
    ...

通过QueryParser来解析查询字符串

# Parse a query string

from whoosh.qparser import QueryParser
parser = QueryParser("content", ix.schema)
myquery = parser.parse(querystring)

其他

Whoosh对于检索结果还有额外的功能,包括:

  • 按索引字段的值排序结果,而不是按照相关性排序。
  • 在原始文档的摘录中突出显示搜索词。
  • 根据找到的前几个文档扩展查询字词。
  • 分析结果(例如“显示结果1-20,第1页,共4页”)。

相关阅读


相关主题:
相关推荐
  1. 警方通报:武汉男子持刀至五死一伤,嫌犯已跳桥
  2. 防微杜渐
  3. 宋玉进谗
  4. 割错了马尾巴
  5. 上海市浦发中学
  6. 通才鼯鼠
  7. 武汉动物园火烈鸟孔雀排队打疫苗
  8. 百名网媒总编辑登上知音号欣赏武汉夜色
  9. 武汉市第四十五中学
  10. 重庆合川大石中学
  11. 盐城市建军路小学盐湾校区
  12. 按图索骥
  13. Django的Cache框架(下)
  14. 易中天给英雄武汉的一首诗 - 武汉新鲜事
  15. 央媒聚焦!国庆假期173.78万人次打卡大美黄陂
  16. Google Adsense禁止将ads投放到弹出式窗口
  17. 上海市静安大宁国际小学
  18. 脱单!武汉的相亲角在哪你知道吗?
  19. 平谷博苑幼儿园 - 北京幼儿园黄页
  20. 小刺猬进城
  21. 宁波市江北区慈城中心小学
  22. 吉林市桦甸市明钰幼儿园 - 吉林市幼儿园黄页
  23. 圆球公主
  24. 婴儿鼻塞吃奶少了一直睡觉怎么回事 - 育儿经验
  25. 临沂市第九中学
  26. 吉林市丰满区俏娃娃双语幼儿园 - 吉林市幼儿园黄页
  27. iconv - Mac OS 文本格式转换工具
  28. 南安市国光中学
  29. Ubuntu16.04部署phantomjs出现QXcbConnection问题
  30. 戴斗笠的地藏菩萨
  31. ImageMagick将图像转换为300dpi的两种方式
  32. 太原市小店区嘉华宝国际幼儿园 - 太原幼儿园黄页
  33. 鞍山市立山区红花艺术幼儿园 - 鞍山幼儿园黄页
  34. 城角幼儿园 - 石家庄幼儿园黄页
  35. 江门市崖门镇田边小学
  36. 云师大实验中学昆明湖校区
  37. 快睡吧,小田鼠
  38. 金溪县对桥中学
  39. 大名中学
  40. 湖北将发放消费券 - 武汉新鲜事
  41. Python公开课 - 爬虫介绍
  42. 长沙长郡中学
  43. 合肥市育英中学
  44. 重庆市北碚区小小幼儿园 - 重庆幼儿园黄页
  45. 上海市长宁区北新泾第三小学
  46. 古韵南京 - 二日游
  47. Python公开课 - 新项目选择Python2还是Python3
  48. 济南市天桥区泺口李庄小学
  49. 详解Tesseract之安装及基本使用
  50. Python的起源 - 二十年前的故事
  51. 武汉00后大二学妹拍视频月入七十万
  52. 武汉一女子七天被骗220万
  53. 北京市东城区新怡小学
  54. 宜春市第六小学
  55. 40天婴儿感冒鼻塞怎么办 - 育儿经验
  56. 武汉推出越王勾践剑交通卡
  57.  白痴皇帝
  58. 苏州市吴中区临湖第一中心小学(临湖一中心)
  59. 华中科技大学同济医学院附属小学(同济附小)
  60. 太原市小店区蓓蕾幼儿园 - 太原幼儿园黄页