solrcloud.docx
- 文档编号:1462128
- 上传时间:2022-10-22
- 格式:DOCX
- 页数:13
- 大小:443.94KB
solrcloud.docx
《solrcloud.docx》由会员分享,可在线阅读,更多相关《solrcloud.docx(13页珍藏版)》请在冰豆网上搜索。
solrcloud
solrcloud集群搭建
1什么是SolrCloud
1.1什么是SolrCloud
SolrCloud(solr云)是Solr提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用SolrCloud。
当一个系统的索引数据量少的时候是不需要使用SolrCloud的,当索引量很大,搜索请求并发很高,这时需要使用SolrCloud来满足这些需求。
1.2SolrCloud结构
SolrCloud为了降低单机的处理压力,需要由多台服务器共同来完成索引和搜索任务。
实现的思路是将索引数据进行Shard(分片)拆分,每个分片由多台的服务器共同完成,当一个索引或搜索请求过来时会分别从不同的Shard的服务器中操作索引。
SolrCloud需要Solr基于Zookeeper部署,Zookeeper是一个集群管理软件,由于SolrCloud需要由多台服务器组成,由zookeeper来进行协调管理。
下图是一个SolrCloud应用的例子:
对上图进行图解,如下:
1.2.1物理结构
三个Solr实例(每个实例包括两个Core),组成一个SolrCloud。
1.2.2逻辑结构
索引集合包括两个Shard(shard1和shard2),shard1和shard2分别由三个Core组成,其中一个Leader两个Replication,Leader是由zookeeper选举产生,zookeeper控制每个shard上三个Core的索引数据一致,解决高可用问题。
用户发起索引请求分别从shard1和shard2上获取,解决高并发问题。
1.2.2.1collection
Collection在SolrCloud集群中是一个逻辑意义上的完整的索引结构。
它常常被划分为一个或多个Shard(分片),它们使用相同的配置信息。
比如:
针对商品信息搜索可以创建一个collection。
collection=shard1+shard2+....+shardX
1.2.2.2Core
每个Core是Solr中一个独立运行单位,提供索引和搜索服务。
一个shard需要由一个Core或多个Core组成。
由于collection由多个shard组成所以collection一般由多个core组成。
1.2.2.3Master或Slave
Master是master-slave结构中的主结点(通常说主服务器),Slave是master-slave结构中的从结点(通常说从服务器或备服务器)。
同一个Shard下master和slave存储的数据是一致的,这是为了达到高可用目的。
1.2.2.4Shard
Collection的逻辑分片。
每个Shard被化成一个或者多个replication,通过选举确定哪个是Leader。
2SolrCloud搭建
SolrCloud结构图如下:
2.1环境准备
CentOS-6.5-i386-bin-DVD1.iso
jdk-7u72-linux-i586.tar.gz
apache-tomcat-7.0.57.tar.gz
zookeeper-3.4.6.tar.gz
solr-4.10.3.tgz
服务器7台:
zookeeper三台:
192.168.0.5,192.168.0.6,192.168.0.7
Solr四台:
192.168.0.1,192.168.0.2,192.168.0.3,192.168.0.4
2.2环境安装
2.3CentOs6.5安装
略
2.4jdk7安装
略
2.5zookeeper集群安装
2.5.1解压zookeeper安装包
tar-zxvfzookeeper-3.4.6.tar.gz
将zookeeper-3.4.6拷贝到/usr/local下并将目录名改为zookeeper
至此zookeeper的安装目录为/usr/local/zookeeper
2.5.2进入zookeeper文件夹,创建data和logs
创建目录并赋于写权限
指定zookeeper的数据存放目录和日志目录
2.5.3拷贝zookeeper配制文件zoo_sample.cfg
拷贝zookeeper配制文件zoo_sample.cfg并重命名zoo.cfg
cp/usr/local/zookeeper/conf/zoo_sample.cfg/usr/local/zookeeper/conf/zoo.cfg
2.5.4修改zoo.cfg
加入dataDir=/usr/local/zookeeper/data
dataLogDir=/usr/local/zookeeper/logss
server.1=192.168.0.5:
2888:
3888
server.2=192.168.0.6:
2888:
3888
server.3=192.168.0.7:
2888:
3888
zoo.cfg配制完后如下:
#Thenumberofmillisecondsofeachtick
tickTime=2000
#Thenumberofticksthattheinitial
#synchronizationphasecantake
initLimit=10
#Thenumberofticksthatcanpassbetween
#sendingarequestandgettinganacknowledgement
syncLimit=5
#thedirectorywherethesnapshotisstored.
#donotuse/tmpforstorage,/tmphereisjust
#examplesakes.
dataDir=/usr/local/zookeeper/data
#theportatwhichtheclientswillconnect
clientPort=2181
#themaximumnumberofclientconnections.
#increasethisifyouneedtohandlemoreclients
#maxClientCnxns=60
#
#Besuretoreadthemaintenancesectionofthe
#administratorguidebeforeturningonautopurge.
#
#http:
//zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
#ThenumberofsnapshotstoretainindataDir
#autopurge.snapRetainCount=3
#Purgetaskintervalinhours
#Setto"0"todisableautopurgefeature
#autopurge.purgeInterval=1
#dataLogDir=/usr/local/zookeeper/logs
server.1=192.168.0.5:
2888:
3888
server.2=192.168.0.6:
2888:
3888
server.3=192.168.0.7:
2888:
3888
2.5.5进入data文件夹建立对应的myid文件
例如server.1为192.168.0.5则data文件夹下的myid文件内容为1
echo"1">>myid
server.2为192.168.0.6则data文件夹下的myid文件内容为2
依此类推
2.5.6拷贝zookeeper文件夹到其他机器(192.168.0.6和192.168.0.7)
2.5.7开启zookeeper的端口
/sbin/iptables-IINPUT-ptcp--dport2181-jACCEPT
/sbin/iptables-IINPUT-ptcp--dport2888-jACCEPT
/sbin/iptables-IINPUT-ptcp--dport3888-jACCEPT
/sbin/iptables-IINPUT-ptcp--dport8080-jACCEPT
--这里开启tomcat8080端口
/etc/rc.d/init.d/iptablessave#将更改进行保存
/etc/init.d/iptablesrestart#重启防火墙以便改动生效
2.5.8启动三台服务器的zookeeper
进入/usr/local/zookeeper/bin
./zkServer.shstart
查看集群状态
./zkServer.shstatus
刚启动可能会有错误,集群中其他节点一并起来后就正常了
2.6tomcat安装
将apache-tomcat-7.0.57.tar.gz拷贝到/usr/local下并解压
cd/usr/local
tar-zxvfapache-tomcat-7.0.57.tar.gz
2.7solr单机部署
2.7.1解压solr.4.10.3.tgz
在其中一台服务器上解压solr.4.10.3.tgz,将solr.4.10.3.tgz拷贝到/usr/local下,解压缩:
tar-zxvfsolr-4.10.3.tgz
压缩后在/usr/local下有solr-4.10.3目录。
2.7.2solrhome
在/home下创建solr作为solrhome并赋于读写权限
2.7.3部署solr.war
参考solr单机部署方法。
启动tomcat访问http:
//192.168.0.1:
8080/solr如图,至此单机版solr配制完成
2.8solrCloud部署
2.8.1启动zookeeper
solrCloud部署依赖zookeeper,需要先启动每一台zookeeper服务器。
2.8.2zookeeper管理配置文件
由于zookeeper统一管理solr的配置文件(主要是schema.xml、solrconfig.xml),solrCloud各各节点使用zookeeper管理的配置文件。
将上边部署的solr单机的conf拷贝到/home/solr下。
执行下边的命令将/home/solr/conf下的配置文件上传到zookeeper(此命令为单条命令,虽然很长o(╯□╰)o):
sh/usr/local/solr-4.10.3/example/scripts/cloud-scripts/zkcli.sh-zkhost192.168.0.5:
2181,192.168.0.6:
2181,192.168.0.7:
2181-cmdupconfig-confdir/usr/local/solr-4.10.3/example/solr/collection1/conf-confnamemyconf
登陆zookeeper服务器查询配置文件:
cd/usr/local/zookeeper/bin/
./zkCli.sh
2.8.3修改SolrCloud监控端口为8080:
修改每个solr的/home/solr/so
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- solrcloud