基于mapreduce的中文倒排索引简单实现
基于mapreduce的中文倒排索引简单实现
我使用的Go版本是go1.13.5
我使用了go mod来管理依赖
1.启动主服务,提供web搜索监听和索引写入监听
执行>go run server.go
2.做分词并生成倒排索引并写入db
执行>go run iich.go master sequential pg-ch01.txt pg-ch02.txt
将lvevldb换为boltdb
iich.go 负责读取文章,分词,并利用mapreduce建立倒排索引。然后将索引存入leveldb
httpserver.go 负责提供搜索服务,查询leveldb