写点什么

快速部署 DBus 体验实时数据流计算

  • 2020-02-09
  • 本文字数:1342 字

    阅读完需:约 4 分钟

快速部署DBus体验实时数据流计算

一、环境说明

说明 all in one 是一个单机版本 dbus 环境,是给用户快速体验 dbus 的功能,只是一个简单体验版,不能用于其它环境或者用途,具体包括如下:


1)基础组建:


  • zookeeper 3.4.6

  • kafka 0.10.0.0

  • storm 1.0.1

  • granfana 4.2.0

  • logstash 5.6.1

  • influxdb (需要单独安装, 参考如下步骤 3)

  • mysql (需要单独安装,参考如下步骤 2)


2)dbus 相关包:


  • dbus-keeper 0.5.0

  • dbus-stream-main 0.5.0

  • dbus-router 0.5.0

  • dbus-heartbeat 0.5.0

  • dbus-log-processor 0.5.0


3)mysql 数据源所需:


  • canal

1.1 环境依赖

安装 dbus-allinone 环境的建议配置如下


  • JDK 1.8.181 或 以上

  • CPU 2 核 或以上

  • 内存 16GB 或以上

  • 磁盘 20GB 或以上


注:一台 Linux centos 服务器, 该服务器最好是空机器,上面不要安装 dbus 所依赖的 zk,kafka,storm 等

1.2 修改域名

注:ip 是您的具体 ip,这里用 192.168.0.1 为例子


修改服务器/etc/hosts 文件设置相应的域名信息如下:


192.168.0.1 dbus-n1  
复制代码


修改服务器 hostname 命令如下:


hostname dbus-n1  
复制代码


配置好后,服务器 IP 和域名信息如下:


1563345290303052283.png

1.3 创建 app 用户及配置 SSH 免密登录

由于 dbus 启动拓扑采用的 ssh 调用 storm 命令,all in one 包中默认的调用 ssh 使用 app 用户和 22 端口,因此要正常体验 all in one 需要创建 app 账户和配置 ssh 免密登录,免密登录配置的从 dbus-n1 到 dbus-n1 的免密登录


配置完成后执行如下命令看时候配置成功


[app@dbus-n1 ~]$ ssh -p 22 app@dbus-n1  Last login: Fri Aug 10 15:54:45 2018 from 10.10.169.53  [app@dbus-n1 ~]$  
复制代码

二、前期准备

2.1 安装 Mysql

2.1.1 下载

推荐下载 Mysql 版本:5.7.19 地址:https://dev.mysql.com/downloads/mysql/

2.1.2 安装

解压 mysql-5.7.19-1.el6.x86_64.rpm-bundle.tar 包后,执行以下命令安装:


rpm -ivh mysql-community-server-5.7.19-1.el6.x86_64.rpm --nodeps  rpm -ivh mysql-community-client-5.7.19-1.el6.x86_64.rpm --nodeps  rpm -ivh mysql-community-libs-5.7.19-1.el6.x86_64.rpm --nodeps  rpm -ivh mysql-community-common-5.7.19-1.el6.x86_64.rpm --nodeps  rpm -ivh mysql-community-libs-compat-5.7.19-1.el6.x86_64.rpm --nodeps  
复制代码

2.1.3 配置

在/etc/my.cnf 配置文件中,只是增加 bin-log 相关配置,其他不用修改,关注以下汉字注释部分


[mysqld]  \# dbus相关配置开始  log-bin=mysql-bin  binlog-format=ROW  server_id=1  \# dbus相关配置结束  
复制代码

2.1.4 启动

执行以下命令启动 mysql:


service mysqld start  
复制代码

2.2. 安装 InfluxDB

2.2.1 下载

推荐下载 InfluxDB 版本:influxdb-1.1.0.x86_64 地址:https://portal.influxdata.com/downloads

2.2.2 安装

在 dbus-n1 上切换到 root 用户,在 influxdb-1.1.0.x86_64.rpm 的存放目录下执行如下命令:


rpm -ivh influxdb-1.1.0.x86_64.rpm  
复制代码

2.2.3 启动

在 dbus-n1 上执行如下命令:


service influxdb start  
复制代码

2.2.4 初始化配置

在 dbus-n1 上执行如下命令:


\#登录influx  influx  
\#执行初始化脚本 create database dbus_stat_db use dbus_stat_db CREATE USER "dbus" WITH PASSWORD 'dbus!@#123' ALTER RETENTION POLICY autogen ON dbus_stat_db DURATION 15d
复制代码


本文转载自宜信技术学院网站。


原文链接:http://college.creditease.cn/detail/274


2020-02-09 15:10878

评论

发布
暂无评论
发现更多内容

预计OpenAI在新一轮融资后估值可达1500亿美元!Hugging Face平台托管模型数量破100万|AI日报

可信AI进展

华为云LTS日志上报至观测云最佳实践

观测云

华为云 LTS

企业级移动应用管理平台哪个好?

BeeWorks

Redis: 探索性能最快的内存数据库及其基础操作指南

测吧(北京)科技有限公司

测试

即时通讯软件:推动企业沟通变革的数字化利器

BeeWorks

企业级移动门户的多样化选择:为数字化转型赋能

BeeWorks

携手长江存储,构建高性能分布式存储

XSKY星辰天合

助力数智化升级,XSKY 受邀出席武汉制造业论坛

XSKY星辰天合

智能制造 软件定义存储

TDengine 流计算与窗口机制的深度解析:揭示计数窗口的关键作用

TDengine

数据库 tdengine 时序数据库

MySQL 高级管理实战指南:性能调优与数据备份的最佳实践

测吧(北京)科技有限公司

测试

深入解析 SQL 优化策略:提高查询效率的关键技术

测吧(北京)科技有限公司

测试

基于服务网格的集群访问控制

inBuilder低代码平台

云原生 集群 服务网格 容器化部署

Redis 内存数据存储解析:性能优势与核心使用技巧

测吧(北京)科技有限公司

测试

深入理解Python类型注解:基本使用与核心概念解析

测吧(北京)科技有限公司

测试

HuggingChat macOS版正式发布!文章内附体验地址!我国打造糖尿病专用AI模型|AI日报

可信AI进展

Star 3w+,向更安全、更泛化、更云原生的 Nacos3.0 演进

阿里巴巴云原生

阿里云 云原生 nacos

电商发展新趋势:阿里巴巴商品详情API返回值的深度利用

技术冰糖葫芦

API Gateway API 接口 API 测试 API 优先

XSKY 受邀华为全联接大会,共创鲲鹏原生全闪存储

XSKY星辰天合

鲲鹏;全闪 星飞

从基础到进阶:掌握 SQL 索引、事务与锁机制的应用技巧

测吧(北京)科技有限公司

测试

为什么IT外包成为企业成功的关键之一?

Ogcloud

IT外包 IT外包公司 IT外包服务 IT外包企业 IT外包服务商

远程工作与IT外包:未来工作模式的新趋势

Ogcloud

远程工作 IT外包 IT外包公司 IT外包服务 IT外包企业

快速部署DBus体验实时数据流计算_数据库_DBus_InfoQ精选文章