腾讯蓝鲸论坛-专业的技术交流论坛

 找回密码
 立即加入蓝鲸智云论坛
忘了密码?
搜索
热搜: 用户手册 FAQ
查看: 3768|回复: 11

[经验分享] 蓝鲸部署心得整理

[复制链接]

19

主题

0

好友

2815

积分

管理员

Rank: 48Rank: 48Rank: 48

发表于 2017-9-13 19:42:03 |显示全部楼层
本帖最后由 蓝鲸助手3 于 2017-9-14 10:25 编辑

蓝鲸部署心得整理   
                                                                           作者:儒雅的残烛

由于是第一批3.1的内测用户,所以拿到3.1版本相对来说也早一些,新版本熟悉部署测试也多尝试了几次,下面我简单分享一下关于蓝鲸3.1版本升级安装的一些心得体会。

前提:通看手册、多看日志、尝试进行简单排错,telnetping等,日志路径统一在/data/bkce/logs下面

环境部署:

1. 中控机
关于中控机,中控机是根据自己所选服务器来自定义的,比如我的环境
172.16.158.18        中控机
172.16.158.136
172.16.158.137
这里的158.18就是我的中控机,所以所有的安装及升级都是在中控机完成的。关于配置一定要按照官方推荐的来,不然可能有些服务会因为资源问题启动不了



2. 配置文件准备
所有的配置文件准备都是在install的目录里面完成的,下载专区的V3.1.5 install_ce-1.0.11

- install.config
172.16.158.18nginx,appt,rabbitmq,kafka,zk,es,bkdata,consul,fta
172.16.158.136license,appo,kafka,zk,es,mysql,beanstalk,consul
172.16.158.137paas,cmdb,job,gse,kafka,zk,es,consul,plugin,redis
这里是做环境安装分配的,可以任意拆分,如果你有3台以上的服务器;如果就选择3台那么只需要更改IP地址,其它不需要任何操作
下面的注意事项一定要看清官方的Note,这里就容易导致一些坑
1.png



- globals.env 该配置文件没有特别需要注意的地方,只需要将所有密码相关的地方改掉即可

- ports.env
这个文件需要特别注意,我遇到一些问题就是因为这个文件里面的有些端口和本地冲突导致,如:10050zabbix的监控端口),218128883888,当然这些可能是由于我的环境还有别的小服务导致的。一旦有端口冲突的地方,要么是更改ports.env里面的端口,要么是更改自身本地的服务端口。


3. 配置域名解析
需要在所有环境的服务器hosts中解析域名,如
# 172.16.158.18 172.16.158.136172.16.158.137
172.16.158.18        job.blueking.com    paas.blueking.com cmdb.blueking.com  (当前解析为Nginx的地址)



4.pip源及yum
看到大家很多环境都是在内网下安装的,这样的情况需要自己准备内网pypi源和yum源,如果没有就需要按照手册下载所需的软件包
我这里配置的是阿里云的pypi源和yum
# cat /data/bk3.1.5/src/.pip/pip.conf
[global]
index-url =http://mirrors.aliyun.com/pypi/simple/
trusted-host = mirrors.aliyun.com


5. 免密
这个应该大家都会哈,在中控机做好三台服务器之间的信任关系,这样接下来的所有操作都是可以在中控控制了。

如:
QQ图片20170913200041.png


19

主题

0

好友

2815

积分

管理员

Rank: 48Rank: 48Rank: 48

发表于 2017-9-13 19:42:26 |显示全部楼层
本帖最后由 huang'q 于 2017-9-15 09:46 编辑

安装:
本次的新版本,蓝鲸推出了集成式安装和单步安装,我觉得这个很不错,省时省心而且让我们更加了解各个模块了。

上面不管是新安装还是升级的同学都可以注意一下哈

接下来说说我遇到的一些问题:
1. 环境不干净,由于是升级安装,没有将服务器上所有bk的老进程给清理掉,导致新环境启动遇到问题,这里也提醒大家在做升级的时候,除了按照手册来执行升级外,还得注意手册里面提到的

2. resolv.conf 关于这个文件,在安装蓝鲸的时候会自动增加namserver 127.0.0.1的解析记录,这个记录是用来解析本地consul相关域名的,不能删除而且必须在第一行,否则不能解析es.service.consul、zk.service.consul类似的域名
而且还要注意这个文件里面不能有option的相关配置
QQ图片20170913194257.png



3. databus_es的进程不断的自动重启,由于ports.env里面的端口和本地zabbix的端口冲突导致


4. 跨云部署proxy的时候,遇到proxy安装失败,需要如下解决
2.png

配置的时候:nginx填写nginx所在的外网iptaskserver填写gse所在的外网ipzk填写有外网填写所有zk外网,没有外网填写所有zk的内网,我看到的情况好像是zk对于跨云安装agent好像没有实际的意义,我这里虽然都配置了zkip,但是都不通也可以的。


nginx需要绑定公网IP
cd bkce/etc/nginx
vi miniweb.conf
server_name 加上 nginx 机器的外网IP
退出到中控机,重启nginx ./bkcec stop nginx  ./bkcecstart nginx

gse需要开放端口
gse所在的服务器需要做端口映射将48533的端口开放出来,可以用iptables,也可以用rinetd(端口映射)推荐哈,小巧实用

我在proxy安装完成后proxyagent一直提示异常(如下图,显示已安装,但是提示Agent异常),后续蓝鲸同学协助排查发现是由于gse服务异常导致,在中控bkcec stop gse,然后到gse所在的服务器ps aux|grep gse|grep -v grep|awk '{print "kill -9 "$2}' |bashkill掉残留的进程,然后在中控bkcec start gseproxy显示正常。

3.png



19

主题

0

好友

2815

积分

管理员

Rank: 48Rank: 48Rank: 48

发表于 2017-9-13 19:47:04 |显示全部楼层
本帖最后由 蓝鲸助手3 于 2017-9-14 10:24 编辑

总结:
全新安装按照手册一步一步配置完成后,集成单步安装都可以任选其一。
升级安装需要事先按照要求做好相应数据的备份、清理所有环境的历史进程(检查确保没有遗留的历史进程存在),然后按照升级步骤升级安装。

最后迫不及待的开始体验新版本带来的诸多功能呀......多谢蓝鲸同学们的辛苦付出。

最后附上我这边真实环境的部分截图
4.png

5.png


感谢 儒雅的残烛 用户的分享









1

主题

0

好友

110

积分

预备会员

Rank: 1

发表于 2017-9-26 09:45:54 |显示全部楼层
你好 , 3.1 社区版可以通过虚拟机部署吗

20

主题

0

好友

7276

积分

超级版主

Rank: 32Rank: 32

发表于 2017-10-8 15:07:07 |显示全部楼层
shadow 发表于 2017-9-26 09:45
你好 , 3.1 社区版可以通过虚拟机部署吗

可以的,需要最少3台或3台以上的配置
3台的配置需求:4核 12G
系统需求:CentOS7以上版本

3

主题

1

好友

340

积分

预备会员

Rank: 1

发表于 2017-10-12 16:31:06 |显示全部楼层
小编你能不能发一个配置本地pypi源的流程方法啊,按照安装文档说的先下好python包再放到pkgs目录下,安装bkdata等服务时还是有报错(No matchhing distribution found for stevedore(from virtualenvwrapper)),导致initdata bkdata失败,

4

主题

1

好友

1415

积分

进阶会员

Rank: 4

发表于 2017-10-16 15:07:04 |显示全部楼层
wkdyyf 发表于 2017-10-12 16:31
小编你能不能发一个配置本地pypi源的流程方法啊,按照安装文档说的先下好python包再放到pkgs目录下,安装bk ...

团队在日常开发和生产部署中,经常会用到PyPi的仓库,但是由于国内网络原因,经常出现丢包、超时等情况。可以在生产服务器上定期同步一个。

# pip install bandersnatch
# mkdir -p /opt/python/pypi
# bandersnatch mirror
2014-09-24 11:51:14,481 WARNING: Config file ‘/etc/bandersnatch.conf’ missing, creating default config.
2014-09-24 11:51:14,481 WARNING: Please review the config file, then run ‘bandersnatch’ again.

# vim /etc/bandersnatch.conf
master = https://pypi.python.org #Pypi源
workers = 10 #根据服务器情况,可以开多个线程。
directory = /opt/python/pypi #设置仓库存放目录

开始同步镜像
#bandersnatch mirror
# ln -s /opt/python/pypi/web/ /var/www/html/pypi

安装Apache并启动 【这里也可以nginx,看自己环境而定】
#yum install httpd && service httpd start

使用自定义的Pypi源
方法一:
在用户家目录下
mkdir $HOME/.pip
vi $HOME/.pip/pip.conf
输入下面内容
[global]
index-url = http://x.x.x.x/pypi/simple

方法二:
pip install pypyodbc -i http://x.x.x.x/pypi/simple/
pip install fake-factory -i http://x.x.x.x/pypi/simple/ --upgrade --trusted-host x.x.x.x

x.x.x.x 为自己pypi源服务器的地址

3

主题

1

好友

340

积分

预备会员

Rank: 1

发表于 2017-10-18 14:11:41 |显示全部楼层
儒雅的残烛 发表于 2017-10-16 15:07
团队在日常开发和生产部署中,经常会用到PyPi的仓库,但是由于国内网络原因,经常出现丢包、超时等情况。 ...

自建完 pip源后测试好使了,但是只要执行./bkcec install gse或 paas 等安装命令时都会把我配置好的pip源的配置文件中的地址改成mirror.tentyun的镜像地址,导致pip源不可用怎么办

4

主题

1

好友

1415

积分

进阶会员

Rank: 4

发表于 2017-10-23 15:53:26 |显示全部楼层
wkdyyf 发表于 2017-10-18 14:11
自建完 pip源后测试好使了,但是只要执行./bkcec install gse或 paas 等安装命令时都会把我配置好的pip源 ...

如果还没有解决的话,可以尝试在中控机,软件包目录下的src/.pip/pip.conf 这个文件调整为新的pip源,然后再重试安装

0

主题

0

好友

35

积分

预备会员

Rank: 1

发表于 2018-1-5 18:44:50 |显示全部楼层
您好:我现在直接部署蓝鲸3.1可以吗?

蓝鲸官网

GMT+8, 2018-6-20 10:05

Powered by Discuz! X2.5

© 2001-2012 Comsenz Inc.

回顶部