腾讯蓝鲸论坛-专业的技术交流论坛

 找回密码
 立即注册
忘了密码?
搜索
热搜: 用户手册 FAQ
查看: 14065|回复: 17

[官方文档] 蓝鲸智云社区版V3.1用户手册

 关闭 [复制链接]

43

主题

0

好友

10万

积分

管理员

Rank: 48Rank: 48Rank: 48

发表于 2017-9-8 14:33:27 |显示全部楼层

43

主题

0

好友

10万

积分

管理员

Rank: 48Rank: 48Rank: 48

发表于 2017-9-8 14:57:29 |显示全部楼层
版本日志

新增SaaS:故障自愈

它是一款实现服务器故障自动处理的解决方案,提升企业服务可用性和降低故障处理的人力投入。通过自动化处理来节省人力投入,通过预定的恢复流程让恢复过程更可靠,通过并行分析达到更快的故障定位和恢复,最终减少业务损失的风险。一句话概括:实时发现告警,预诊断分析,自动恢复故障,并打通周边系统实现整个流程的闭环。


蓝鲸管控平台

  • 【新增】zookeeper 增加 ACL 认证,更安全
  • 【优化】针对用户多 IP 环境支持 Agent 手动配置方案
  • 【优化】Linux 环境下解决偶现中文乱码问题
  • 【优化】Windows2003 中文乱码问题

蓝鲸配置平台

  • 【新增】增加故障机模块,以支持故障自愈场景
  • 【新增】可在线修改主机自定义属性的值
  • 【新增】新加集群新增、修改、删除、修改自定义属性的 API
  • 【新增】增加更多的业务人员角色
  • 【优化】主机、模块等相关 API
  • 【优化】动态分组预览功能及相关 API
  • 【优化】可以根据用户身份获取业务列表信息
  • 【优化】标记为停运状态的业务将在业务列表相关 API 中隐藏
  • 【优化】资源池管理页面分配的逻辑
  • 【修复】快速搜索结果出现多条记录时的异常情况
  • 【修复】在平台注销后打开配置平台需重复登录
  • 【修复】部分页面显示的样式问题

蓝鲸作业平台

  • 【新增】默认业务/默认执行账户设置
  • 【优化】全新样式,提升交互体验
  • 【优化】本地文件上传限制从 500MB 调整为 2GB
  • 【优化】执行类 API 调用限制从 3000 上调至 5000
  • 【优化】安全特性,管理员账号不再拥有操作所有业务的权限
  • 【优化】作业平台不再使用操作系统时区,强制为东八区
  • 【修复】执行账户名支持连接符
  • 【修复】复制IP组件替换,不再使用 Flash 插件(修复 Chrome 禁用 Flash 后导致该功能失效)
  • 【修复】脚本超时时间最长为 20小时
  • 【修复】全局变量的值支持 $ 符号
  • 【修复】防 CSRF 跨站攻击导致偶现需重新登陆会话

蓝鲸集成平台

  • 【新增】“工作台”展示 APP 简介
  • 【新增】footer 添加“青藤云安全”标识
  • 【新增】用户弱密码识别
  • 【新增】用户管理角色为:普通用户、开发者、管理员
  • 【新增】组件通知接口添加短信(腾讯云)接入方案
  • 【新增】组件通知接口添加微信公众号接入方案
  • 【新增】ESB 新增 cc add_app 等组件
  • 【新增】ESB 新增 send_weixin 组件
  • 【新增】ESB 新增 data 系统部分组件配置
  • 【新增】添加 esb_costom_comps_upgrade.sh
  • 【优化】按照应用来源,将“内置应用”更名为“S-mart”应用
  • 【优化】“S-mart应用”内 yml 文件的内容优化
  • 【优化】进一步做了安全认证
  • 【修复】文档描述信息
  • 【修复】ESB 支持系统下存在通道时,更新系统部分配置
  • 【修复】ESB 通道管理中,改变所属组件系统时,对应组件代号联动错误
  • 【修复】ESB 针对测试的缺陷修复


故障自愈

  • 【新增】HTTP回调套餐
  • 【新增】clean脚本
  • 【新增】安装依赖的包到pkgs
  • 【新增】自检接口
  • 【优化】兼容zabbix 3.2 版本,添加 trigger.status 验证
  • 【修复】邮件拉取允许不设置密钥


蓝鲸监控

  • 【新增】主机详情页的指标时间段展示支持跨多天查询
  • 【新增】IP 填写框新增支持逗号、分号和换行
  • 【新增】新增SELF_CONTAINED_PIP_PKG文件 安装组件由项目自身提供
  • 【优化】优化缓存更新机制提升页面加载性能
  • 【优化】优化避免脏数据导致监控图表展示异常的问题
  • 【优化】“近24小时”的时间范围展示周期粒度为 5分钟
  • 【优化】取消网卡设备名的 eth 开头设定,只保留屏蔽本地回环
  • 【优化】多网卡性能指标在同一图表里呈现
  • 【优化】修改pip pkgs安装包目录 和其他项目保持一致
  • 【优化】增加未通知状态 因告警不在通知时间段内而不发出的状态记录为未通知状态
  • 【修复】采集主机数据异常时导致前台加载出错的问题
  • 【修复】由于 CSRF 导致权限拉取错误的问题
  • 【修复】自定义监控的统计方式展示问题
  • 【修复】自动处理的参数问题导致多节点作业执行失败的问题
  • 【修复】首页关注图表拉取告警失败的问题
  • 【修复】调整日志输出的配置
  • 【修复】删除调试配置
  • 【修复】告警类型优先级
  • 【修复】取消监控内部运营数据写入缓存队列
  • 【修复】简单环比和高级环比告警内容为空的问题
  • 【修复】因时间字段重名导致部分情况下无法取出数据的问题
  • 【修复】维度分割符不合理导致的告警无法发出问题

日志检索

  • 【新增】根据用户身份进行业务权限限制
  • 【优化】Elasticsearch 2.x 到 5.x 整体升级
  • 【优化】cgi 权限限制
  • 【修复】优化日志下载功能

Agent安装

  • 【新增】非 root 用户安装 Agent 支持(非 root 账户需要 sudo 权限)
  • 【优化】监控未安装 Agent 点击直接跳转【Agent安装】 App(IP 传参)


蓝鲸包管理

  • 【修复】部署机器为windows时,默认用户为root的问题
  • 【优化】可选的部署路径



开发样例

  • 【新增】功能开关样例,便于开发者对功能做限制

43

主题

0

好友

10万

积分

管理员

Rank: 48Rank: 48Rank: 48

发表于 2017-9-8 15:04:26 |显示全部楼层
主机硬件要求
Server 服务器最低配置
蓝鲸可以部署在 3 - 19台不同数量机器上,可以根据实际情况,自行选择:
机器数量建议硬件最低配置更优配置
34核 12G24核 64G
44核 10G24核 64G
54核 8G12核 32G
………………
19 2核 4G4核 8G



Agent 服务器最低配置

Agent 服务器最低配置1核1G

43

主题

0

好友

10万

积分

管理员

Rank: 48Rank: 48Rank: 48

发表于 2017-9-8 15:08:28 |显示全部楼层
主机环境要求

  • 所有机器之间保证内网络可以 SSH 免密登陆
  • 关闭 SELinux,保证机器相互之间的互通 (可以在安装完成后再根据服务所需策略添加防火墙规则)
  • 安装过程中, 需要保证所有机器可以使用 http、https 连接到 Internet,若无法做到,可以自建一个 yum 源以及 pip 源
  • 若 pip 源无法自建, 可以参考 安装步骤——准备工作——3准备配置文件 中的方法解决
  • 操作系统使用 CentOS 7.0~ CentOS 7.3,并可以使用 yum 进行安装服务。 配置好可用的 yum 源,建议使用网易、搜狐等镜像源
  • 若添加了自定义的 yum 源, 需要保证 /etc/yum.conf.d/Base.repo 中的 yum 源指定的操作系统版本号与 CentOS 发行版的大版本号一致.
  • 使用 CentOS 6.X 安装会出现 rabbitmq 安装或启动失败,若无法升级 CentOS7,也可以在安装使用部署脚本安装 rabbitmq 启动失败后,手动安装rabbitmq,并替换 rabbitmq,erlang 相关的程序文件
  • 操作系统上必须先安装好开发工具套件, 可以使用如下命令安装:
    1. # yum -y groupinstall "Development Tools"
    复制代码



Agent支持的操作系统
Agent操作系统支持版本
CentOS主流版本
RedHat主流版本
Ubuntu主流版本
SUSE主流版本
Debian主流版本
Windows2008/2012

43

主题

0

好友

10万

积分

管理员

Rank: 48Rank: 48Rank: 48

发表于 2017-9-8 16:02:31 |显示全部楼层
安装步骤

1. 配置域名解析

job,paas,cmdb 域名配置 DNS 解析,域名解析对应的 A 记录要求填写 nginx 所在机器的 ip 地址,配置 DNS 时要使浏览器能访问,同时部署的服务器上也能访问对应的域名。
若通过配置 hosts 访问,则需要在所有主机上的hosts文件中增加三个域名的映射关系,这点跟社区版3.0不一致,需要手动添加。



2.下载安装包
下载安装包(一个 src 包,一个 install 包)到任意一台机器/data/目录, 该机器做为中控机. 把两个安装包分别解压, 并 cd 到解压后的 install 目录中, 开始安装步骤( 非正规私有网地址(10/172/192)可参考下链接):
  • 官网下载证书,假设保存到 /root/ 目录下。
1.证书下载地址: http://bk.tencent.com/download/#ssl
2.下载证书时, 需要同时填写部署 gse, license 的机器 MAC 地址,中间可用英文分号(;)隔开。
  1. $ cd /data
  2. $ tar xf bkce_src-3.1.6.tgz
  3. $ tar xf install_ce-1.0.14.tgz
  4. $ cd src/cert; tar xf /root/ssl_certificates.tar.gz
  5. $ cd ../../install   # 回到操作目录
复制代码
  1. $ vi install.config
  2. 10.0.0.1 nginx,appt,rabbitmq,kafka,zk,es,bkdata,consul,fta
  3. 10.0.0.2 license,appo,kafka,zk,es,mysql,beanstalk,consul
  4. 10.0.0.3 paas,cmdb,job,gse,kafka,zk,es,consul,redis,bkarchiva
复制代码
Note:
1. zk 表示 zookeeper, es 表示 elasticsearch
2. 该配置文件,要保证逗号前后没有空白字符,行末没有空白字符, ip 后面使用空格与服务名称隔开(不能使用 tab )
3. 含有多个内网 ip 的机器,install。config 中使用 /sbin/ifconfig 输出中的第一个内网ip
4. 在 ip 后面写上该机器要安装的服务列表即可。
5. nginx 与 cmdb 不能部署在同一台机器
6. gse 与redis 需要部署在同一台机器上
7. 安装 zk 的机器, 不能有外网IP, 或者必须通过防火墙策略限制zk端口的访问
8. gse 若需要跨云支持, gse 所在机器必须有外网 IP
9. 增加机器数量时, 可以将以上配置中的服务挪到新的机器上。 要保证: kafka, es, zk 的每个组件的总数量为3
10. 设置的mysql密码不能有 #以及 /  .

  • 根据实际情况修改 globals.env, ports.env
    • ports.env 中可以配置各项服务的端口信息

globals.env 配置文件中,设定域名,账号密码等信息, 强烈建议修改掉默认值 globals.env 中配置的域名,必须保证可以在服务器上被解析到,建议使用 DNS 进行配置,域名解析对应的 A 记录要求填写 nginx 所在机器的 ip 地址。        
若无 DNS 服务,则需要在安装蓝鲸服务的
所有机器上都配置 hosts, 把 paas, jobs, cmdb 的域名都指向 nginx 所在 ip, 示例如下:
  1. 10.0.0.1   paas.blueking.com
  2. 10.0.0.1   jobs.blueking.com
  3. 10.0.0.1   cmdb.blueking.com
复制代码

  • 修改 pip 源
    • vi src/.pip/pip.conf
    • 设置为能连上的 pip 源。默认的 pip 配置通常是无法使用的。
    • 若无法链接外网,公司内部也没有可用的 pip 源。可用通过以下方法解决
      1. 1. 解压下载好的 bkce_src 压缩包,
      2. 2. 分别在 fta/fta,bkdata/monitor,bkdata/dataapi,open_paas/paas,open_paas/esb,
      3.    open_paas/login,open_paas/appengine,paas_agent/paas_agent/ 目录下创建文件:
      4.    SELF_CONTAINED_PIP_PKG, 并找到 requirements。txt,将其中的 python 包下载好,
      5.    放在对应模块的 support-files/pkgs 目录下
      6. 3. 按照安装步骤执行安装
      复制代码

  • 配置代理
    • 如有不是所有服务器都可以连接都外网的,可以根据主机环境要求中的第4点进行操作,也可以通过配置代理的方式来访问)
    • 在所有机器的 .bashrc 中添加

4. 配置服务器代理

  • 任选一台机器,ssh 登陆后执行以下操作(如果服务器可以连上外网则不用配置):
    1. export http_proxy=http://x.y.z:pp
    2. export https_proxy=https://x.y.z:ppp;
    复制代码

5. 配置免密登录
  • 任选一台机器,ssh 登陆后执行以下操作:
    1. $ ssh-keygen -t rsa -b 2048 #有确认提示,一直按回车即可

    2. $ cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys
    3. $ chmod 600 ~/.ssh/authorized_keys
    4. $ for ip in $(awk '{print $1}' install.config );do rsync -a ~/.ssh/authorized_keys root@$ip:/root/ .ssh ;done
    复制代码

43

主题

0

好友

10万

积分

管理员

Rank: 48Rank: 48Rank: 48

发表于 2017-9-8 22:14:25 |显示全部楼层
安装步骤

5. 开始安装

安装过程的输出说明:

白色: 普通输出
蓝色: 步骤说明
黄色: 警告消息,可忽略
红色: 失败提示,或者错误提示


Note:
安装过程中会出现少量的非脚本输出日志(无 ip 和日期前缀的输出行)。也会出现红色的 警告 消息,请忽略。

集成安装方式与单步安装方式任选一种。

A. 集成安装方式

以下步骤若有报错/失败,需要根据提示修复错误后,重新执行。
  1. $ ./bk_install base_service  # 安装基础环境
  2. $ ./bk_install bk_products  # 安装蓝鲸主要产品,并初始化数据
  3. # 该步骤安装完成后,可以通过浏览器打开蓝鲸了。cmdb,job 都应该能访问才算是正常
  4. $ ./bk_install app_mgr        # 安装 开发者中心的 App 管理器
  5. # 该步骤安装完成后, 可以在开发者中心的 服务器信息 和 第三方服务信息 中看到已经成功激活的服务器
  6. $ ./bk_install gse_agent    # 在所有机器上安装 gse_agent
  7. # 该步骤安装完成后,可以在 CC 的资源池中看到安装蓝鲸的服务器 ip 列表
复制代码
B. 单步安装方式

选择任意一台机器。 把安装包解压,并 cd 到解压后的 install 目录中

前置命令:
  1. $ ./bkcec sync all        # 分发安装脚本及代码到所有目标机器
复制代码
  • 全局服务依赖安装
    consul 安装并启动
    1. $ ./bkcec install consul
    2. $ ./bkcec start consul
    复制代码
  • 基础服务
    1. $ ./bkcec install mysql
    2. $ ./bkcec install zk
    3. $ ./bkcec install kafka
    4. $ ./bkcec install es
    5. $ ./bkcec install nginx
    6. $ ./bkcec install redis
    7. $ ./bkcec install beanstalk
    复制代码
    1. $ ./bkcec start mysql
    2. $ ./bkcec initdata mysql
    3. $ ./bkcec start zk
    4. $ ./bkcec start kafka
    5. $ ./bkcec start es
    6. $ ./bkcec start nginx
    7. $ ./bkcec start redis
    8. $ ./bkcec start beanstalk
    复制代码
  • 各产品安装
    1. $ ./bkcec install cmdb
    2. $ ./bkcec install job
    3. $ ./bkcec install paas
    4. $ ./bkcec install bkdata
    5. $ ./bkcec install fta
    6. $ ./bkcec install gse
    7. $ ./bkcec install license
    8. $ ./bkcec install bkarchiva
    复制代码
  • 基础数据初始化
    1. $ ./bkcec initdata gse
    2. $ ./bkcec initdata paas
    3. $ ./bkcec initdata cmdb
    4. $ ./bkcec initdata job
    5. $ ./bkcec initdata fta
    复制代码
  • 启动以上服务和产品进程
    1. $ ./bkcec start license
    2. $ ./bkcec start gse
    3. $ ./bkcec start cmdb
    4. $ ./bkcec start job
    5. $ ./bkcec start paas
    6. $ ./bkcec initdata bkdata
    7. $ ./bkcec start bkdata
    8. $ ./bkcec start fta
    9. $ ./bkcec start bkarchiva
    复制代码
  • 正式环境/测试环境
    1. $ ./bkcec install rabbitmq
    2. $ ./bkcec start rabbitmq
    3. $ ./bkcec initdata rabbitmq
    4. $ ./bkcec install appo
    5. $ ./bkcec initdata appo
    6. $ ./bkcec start appo
    7. $ ./bkcec activate appo
    8. $ ./bkcec install appt
    9. $ ./bkcec initdata appt
    10. $ ./bkcec start appt
    11. $ ./bkcec activate appt
    复制代码
  • 安装 gse_agent
    1. $ ./bkcec install gse_agent
    复制代码

43

主题

0

好友

10万

积分

管理员

Rank: 48Rank: 48Rank: 48

发表于 2017-9-8 22:40:31 |显示全部楼层
维护方案

更新域名

  • 修改 globals.env 中的域名配置信息
  • 顺序执行以下命令:
    1. $ ./bkcec stop paas
    2. $ ./bkcec stop bkdata
    3. $ ./bkcec stop fta
    4. $ ./bkcec stop job
    5. $ ./bkcec stop cmdb
    6. $ ./bkcec stop nginx
    7. $ ./bkcec render nginx 1
    8. $ ./bkcec render paas 1
    9. $ ./bkcec render job 1
    10. $ ./bkcec render cmdb 1
    11. $ ./bkcec render fta 1
    12. $ ./bkcec render bkdata 1
    13. $ ./bkcec start nginx
    14. $ ./bkcec start paas
    15. $ ./bkcec start job
    16. $ ./bkcec start cmdb
    17. $ ./bkcec start bkdata
    18. $ ./bkcec start fta
    复制代码

43

主题

0

好友

10万

积分

管理员

Rank: 48Rank: 48Rank: 48

发表于 2017-9-8 22:41:42 |显示全部楼层
维护方案

快速上手

  • 从中控机快速登录指定服务所在的机器
    1. $ cd install; source utils.fc
    2. $ ssh $BKDATA_IP # 表示登陆到 bkdata 所在机器
    3. $ ssh  $APPO_IP # 表示登陆到 app 正式环境

    4. # 其他的服务器的登陆方式类似,就是 install.config 中的名字大写+下划线+IP作为变量名
    复制代码

43

主题

0

好友

10万

积分

管理员

Rank: 48Rank: 48Rank: 48

发表于 2017-9-8 22:44:52 |显示全部楼层
维护方案

更新端口信息


  • 更新 bkdata 端口
    • 修改 ports.env
    • bkdata 的 DATABUS_API_PORT 会被 open_paas 的 esb 使用,所以需要更新 paas 和 bkdata。
      1. $ cd install; source utils.fc
      2. $ ssh $BKDATA_IP # 表示登陆到 bkdata 所在机器
      3. $ ssh  $APPO_IP # 表示登陆到 app 正式环境

      4. # 其他的服务器的登陆方式类似,就是 install.config 中的名字大写+下划线+IP作为变量名
      复制代码


  • 更新 cmdb API 端口
    • 执行以下操作
      1. $ ./bkcec stop cmdb
      2. $ ./bkcec stop paas
      3. $ ./bkcec stop job
      4. $ ./bkcec stop nginx
      5. $ ./bkcec render cmdb 1
      6. $ ./bkcec render paas 1
      7. $ ./bkcec render job 1
      8. $ ./bkcec render nginx 1
      9. $ ./bkcec start cmdb
      10. $ ./bkcec start job
      11. $ ./bkcec start paas
      12. $ ./bkcec start nginx
      复制代码


  • 更新 cmdb 非 API 端口

    • 执行以下操作
      1. $ ./bkcec stop cmdb
      2. $ ./bkcec stop nginx
      3. $ ./bkcec render cmdb 1
      4. $ ./bkcec render nginx 1
      5. $ ./bkcec start cmdb
      6. $ ./bkcec start nginx
      复制代码

  • 更新 ports.env 中的 DEFAULT_HTTP_PORT

    • 先停止并重新生成一下服务的配置:cmdb,paas, job,bkdata, nginx,gse
      1. $ ./bkcec stop cmdb
      2. $ ./bkcec stop paas
      3. $ ./bkcec stop job
      4. $ ./bkcec stop bkdata
      5. $ ./bkcec stop nginx
      6. $ ./bkcec stop gse
      7. $ ./bkcec sync all
      8. $ ./bkcec render  nginx
      9. $ ./bkcec render gse
      10. $ ./bkcec render bkdata
      11. $ ./bkcec render paas
      12. $ ./bkcec render  job
      13. $ ./bkcec render cmdb
      复制代码
    • 登陆安装 plugin 所在的机器, 修改 paas_plugins/log_alert/conf/settings_production.py 中的 PAAS_DOMAIN 中的端口信息
    • 依次启动服务
      1. $ ./bkcec start nginx
      2. $ ./bkcec start gse
      3. $ ./bkcec start cmdb
      4. $ ./bkcec start job
      5. $ ./bkcec start paas
      6. $ ./bkcec start bkdata
      复制代码

43

主题

0

好友

10万

积分

管理员

Rank: 48Rank: 48Rank: 48

发表于 2017-9-9 11:34:50 |显示全部楼层
维护方案

迁移服务

  • 更换 CMDB 机器
    1. $ vi install。config
    2. $ ./bkcec stop consul
    3. $ ./bkcec stop cmdb        
    4. $ ./bkcec install consul 1
    5. $ ./bkcec install cmdb 1
    6. $ ./bkcec render job 1
    7. $ ./bkcec render paas 1
    8. $ ./bkcec render nginx 1
    9. $ ./bkcec render bkdata 1
    10. $ ./bkcec stop job ;  ./bkcec start job
    11. $ ./bkcec stop cmdb; ./bkcec start  cmdb
    12. $ ./bkcec stop paas ; ./bkcec start paas
    13. $ ./bkcec stop bkdata; ./bkcec start  bkdata
    14. $ ./bkcec stop nginx ; ./bkcec start nginx
    复制代码

您需要登录后才可以回帖 登录 | 立即注册

蓝鲸官网

GMT+8, 2018-1-21 12:44

Powered by Discuz! X2.5

© 2001-2012 Comsenz Inc.

回顶部