Python公开课 - 全文检索模块Whoosh详解(2)

前言

在上一章中,我们对Whoosh做了一些基本的介绍和主要数据类型的说明。

接下来我们将阐述如何使用Whoosh对文档进行索引。

1. 创建索引对象

如果索引不存在,我们需要通过create_in()方法来进行创建

import os, os.path
from whoosh import index

if not os.path.exists("indexdir"):
    os.mkdir("indexdir")

ix = index.create_in("indexdir", schema)

对于已经存在的索引,则可以通过open_dir()方法打开并使用:

import whoosh.index as index

ix = index.open_dir("indexdir")

当然,同一目录中,可以存在多种不同索引,通过indexname参数来区别:

# Using the Storage object
ix = storage.create_index(schema, indexname="usages")
ix = storage.open_index(indexname="usages"

2. 删除索引对象

如果你想要删除某个索引,有两种方法:

  • 再次调用create_in(),传入相同的目录名和indexname参数,将会删除原有的索引
  • 如果索引中只有一条记录,则可以直接删除整个索引目录

如果需要确认某个某个索引是否存在,则可以使用index.exists_in()方法

exists = index.exists_in("indexdir")
usages_exists = index.exists_in("indexdir", indexname="usages")

3. 给文档索引

当创建好索引对象后,便可以使用索引对象中的IndexWriter来对需要索引的文档建立索引了。

writer = ix.writer()
writer.add_document(title=u"My document", content=u"This is my document!",
                    path=u"/a", tags=u"first short", icon=u"/icons/star.png")
writer.add_document(title=u"Second try", content=u"This is the second example.",
                    path=u"/b", tags=u"second short", icon=u"/icons/sheep.png")
writer.add_document(title=u"Third time's the charm", content=u"Examples are many.",
                    path=u"/c", tags=u"short", icon=u"/icons/book.png")
writer.commit()

注意:

  • 如果多线程同时使用IndexWriter对象,则会抛出whoosh.store.LockError异常
  • 如果不想提交创建的索引,则可以调用writer.cancle()来取消操作
  • 当你操作完成,记得一定要使用writer.cancle()或者writer.commit()来关闭writer

4. 删除已索引文档

可以使用IndexWriter的四个方法来删除已经索引的文档

delete_document(docnum)

通过内部文档编号删除文档

is_deleted(docnum)

如果已经删除具有给定内部编号的文档,则返回True

delete_by_term(fieldname, termtext)

删除给定(索引)字段包含给定关键词的任何文档。比较适合id和keyword

delete_by_query(query)

删除与给定查询匹配的所有文档

5. 更新已索引文档

直接给代码示例

from whoosh.fields import Schema, ID, TEXT

schema = Schema(path = ID(unique=True), content=TEXT)

ix = index.create_in("index")
writer = ix.writer()
writer.add_document(path=u"/a", content=u"The first document")
writer.add_document(path=u"/b", content=u"The second document")
writer.commit()

writer = ix.writer()
# Because "path" is marked as unique, calling update_document with path="/a"
# will delete any existing documents where the "path" field contains "/a".
writer.update_document(path=u"/a", content="Replacement for the first document")
writer.commit()

可以看到,通过update_document()可以对已索引的文档进行更新操作。如果文档不存在,则会add_document()效果一致。

相关阅读


相关主题:
相关推荐
  1. 警方通报:武汉男子持刀至五死一伤,嫌犯已跳桥
  2. 防微杜渐
  3. 宋玉进谗
  4. 割错了马尾巴
  5. 上海市浦发中学
  6. 通才鼯鼠
  7. 武汉动物园火烈鸟孔雀排队打疫苗
  8. 百名网媒总编辑登上知音号欣赏武汉夜色
  9. 武汉市第四十五中学
  10. 重庆合川大石中学
  11. 盐城市建军路小学盐湾校区
  12. 按图索骥
  13. Django的Cache框架(下)
  14. 易中天给英雄武汉的一首诗 - 武汉新鲜事
  15. 央媒聚焦!国庆假期173.78万人次打卡大美黄陂
  16. Google Adsense禁止将ads投放到弹出式窗口
  17. 上海市静安大宁国际小学
  18. 脱单!武汉的相亲角在哪你知道吗?
  19. 平谷博苑幼儿园 - 北京幼儿园黄页
  20. 小刺猬进城
  21. 宁波市江北区慈城中心小学
  22. 吉林市桦甸市明钰幼儿园 - 吉林市幼儿园黄页
  23. 圆球公主
  24. 婴儿鼻塞吃奶少了一直睡觉怎么回事 - 育儿经验
  25. 临沂市第九中学
  26. 吉林市丰满区俏娃娃双语幼儿园 - 吉林市幼儿园黄页
  27. iconv - Mac OS 文本格式转换工具
  28. 南安市国光中学
  29. Ubuntu16.04部署phantomjs出现QXcbConnection问题
  30. 戴斗笠的地藏菩萨
  31. ImageMagick将图像转换为300dpi的两种方式
  32. 太原市小店区嘉华宝国际幼儿园 - 太原幼儿园黄页
  33. 鞍山市立山区红花艺术幼儿园 - 鞍山幼儿园黄页
  34. 城角幼儿园 - 石家庄幼儿园黄页
  35. 江门市崖门镇田边小学
  36. 云师大实验中学昆明湖校区
  37. 快睡吧,小田鼠
  38. 金溪县对桥中学
  39. 大名中学
  40. 湖北将发放消费券 - 武汉新鲜事
  41. Python公开课 - 爬虫介绍
  42. 长沙长郡中学
  43. 合肥市育英中学
  44. 重庆市北碚区小小幼儿园 - 重庆幼儿园黄页
  45. 上海市长宁区北新泾第三小学
  46. 古韵南京 - 二日游
  47. Python公开课 - 新项目选择Python2还是Python3
  48. 济南市天桥区泺口李庄小学
  49. 详解Tesseract之安装及基本使用
  50. Python的起源 - 二十年前的故事
  51. 武汉00后大二学妹拍视频月入七十万
  52. 武汉一女子七天被骗220万
  53. 北京市东城区新怡小学
  54. 宜春市第六小学
  55. 40天婴儿感冒鼻塞怎么办 - 育儿经验
  56. 武汉推出越王勾践剑交通卡
  57.  白痴皇帝
  58. 苏州市吴中区临湖第一中心小学(临湖一中心)
  59. 华中科技大学同济医学院附属小学(同济附小)
  60. 太原市小店区蓓蕾幼儿园 - 太原幼儿园黄页