10 月 23 - 25 日,QCon 上海站即将召开,现在大会已开始正式报名,可以享受 8 折优惠 了解详情
写点什么

快速部署 DBus 体验实时数据流计算

  • 2020-02-09
  • 本文字数:1342 字

    阅读完需:约 4 分钟

快速部署DBus体验实时数据流计算

一、环境说明

说明 all in one 是一个单机版本 dbus 环境,是给用户快速体验 dbus 的功能,只是一个简单体验版,不能用于其它环境或者用途,具体包括如下:


1)基础组建:


  • zookeeper 3.4.6

  • kafka 0.10.0.0

  • storm 1.0.1

  • granfana 4.2.0

  • logstash 5.6.1

  • influxdb (需要单独安装, 参考如下步骤 3)

  • mysql (需要单独安装,参考如下步骤 2)


2)dbus 相关包:


  • dbus-keeper 0.5.0

  • dbus-stream-main 0.5.0

  • dbus-router 0.5.0

  • dbus-heartbeat 0.5.0

  • dbus-log-processor 0.5.0


3)mysql 数据源所需:


  • canal

1.1 环境依赖

安装 dbus-allinone 环境的建议配置如下


  • JDK 1.8.181 或 以上

  • CPU 2 核 或以上

  • 内存 16GB 或以上

  • 磁盘 20GB 或以上


注:一台 Linux centos 服务器, 该服务器最好是空机器,上面不要安装 dbus 所依赖的 zk,kafka,storm 等

1.2 修改域名

注:ip 是您的具体 ip,这里用 192.168.0.1 为例子


修改服务器/etc/hosts 文件设置相应的域名信息如下:


192.168.0.1 dbus-n1  
复制代码


修改服务器 hostname 命令如下:


hostname dbus-n1  
复制代码


配置好后,服务器 IP 和域名信息如下:


1563345290303052283.png

1.3 创建 app 用户及配置 SSH 免密登录

由于 dbus 启动拓扑采用的 ssh 调用 storm 命令,all in one 包中默认的调用 ssh 使用 app 用户和 22 端口,因此要正常体验 all in one 需要创建 app 账户和配置 ssh 免密登录,免密登录配置的从 dbus-n1 到 dbus-n1 的免密登录


配置完成后执行如下命令看时候配置成功


[app@dbus-n1 ~]$ ssh -p 22 app@dbus-n1  Last login: Fri Aug 10 15:54:45 2018 from 10.10.169.53  [app@dbus-n1 ~]$  
复制代码

二、前期准备

2.1 安装 Mysql

2.1.1 下载

推荐下载 Mysql 版本:5.7.19 地址:https://dev.mysql.com/downloads/mysql/

2.1.2 安装

解压 mysql-5.7.19-1.el6.x86_64.rpm-bundle.tar 包后,执行以下命令安装:


rpm -ivh mysql-community-server-5.7.19-1.el6.x86_64.rpm --nodeps  rpm -ivh mysql-community-client-5.7.19-1.el6.x86_64.rpm --nodeps  rpm -ivh mysql-community-libs-5.7.19-1.el6.x86_64.rpm --nodeps  rpm -ivh mysql-community-common-5.7.19-1.el6.x86_64.rpm --nodeps  rpm -ivh mysql-community-libs-compat-5.7.19-1.el6.x86_64.rpm --nodeps  
复制代码

2.1.3 配置

在/etc/my.cnf 配置文件中,只是增加 bin-log 相关配置,其他不用修改,关注以下汉字注释部分


[mysqld]  \# dbus相关配置开始  log-bin=mysql-bin  binlog-format=ROW  server_id=1  \# dbus相关配置结束  
复制代码

2.1.4 启动

执行以下命令启动 mysql:


service mysqld start  
复制代码

2.2. 安装 InfluxDB

2.2.1 下载

推荐下载 InfluxDB 版本:influxdb-1.1.0.x86_64 地址:https://portal.influxdata.com/downloads

2.2.2 安装

在 dbus-n1 上切换到 root 用户,在 influxdb-1.1.0.x86_64.rpm 的存放目录下执行如下命令:


rpm -ivh influxdb-1.1.0.x86_64.rpm  
复制代码

2.2.3 启动

在 dbus-n1 上执行如下命令:


service influxdb start  
复制代码

2.2.4 初始化配置

在 dbus-n1 上执行如下命令:


\#登录influx  influx  
\#执行初始化脚本 create database dbus_stat_db use dbus_stat_db CREATE USER "dbus" WITH PASSWORD 'dbus!@#123' ALTER RETENTION POLICY autogen ON dbus_stat_db DURATION 15d
复制代码


本文转载自宜信技术学院网站。


原文链接:http://college.creditease.cn/detail/274


2020-02-09 15:10860

评论

发布
暂无评论
发现更多内容

架构师训练营第 1 期 第 7 周作业

李循律

极客大学架构师训练营

《迅雷链精品课》第一课:认识区块链

迅雷链

区块链

“开源软件供应链点亮计划-暑期2020”公布结果 基于ChubaoFS开发的项目获得最佳质量奖

京东科技开发者

大数据 开源 云原生

第三届进博会恒大农牧开馆迎客,旗下进口食品受热捧!

最新动态

大厂程序员必备的一套浏览器书签,我帮你整理好了。[下载导入浏览器]

小傅哥

Java 程序员 小傅哥 资料整理 浏览器书签

【涂鸦物联网足迹】API及SDK介绍

IoT云工坊

软件开发 物联网 API sdk 云平台

阿里云官方推出操作系统“等保合规”镜像 -- Alibaba Cloud Linux 等保2.0三级版

阿里云基础软件团队

内核

嗯,查询滑动窗口最大值的这4种方法不错...

王磊

Java 数据结构和算法

第7周 性能优化(一)作业

蓝黑

极客大学架构师训练营

2020LF AI&DATA DAY(AI开源日):中国开源社区迈入全球化新征程

架构师训练营第 1 期第 7 周作业

owl

极客大学架构师训练营

tomcat打包成rpm包

lee

tomcat rpm

第 7 周 性能优化(一)总结

蓝黑

极客大学架构师训练营

分库分表的 9种分布式主键ID 生成方案,挺全乎的

程序员小富

分库分表 Java 分布式

Reactor:深入理解reactor core

程序那些事

响应式编程 reactor 程序那些事 响应式系统 reactivex

第七周总结

架构师训练营第 1 期第 8 周作业

业哥

会展云技术解读 | 面对突发事故,APP如何做好崩溃分析与性能监控?

京东科技开发者

云计算 云服务

第七周作业

全面解析ArrayList,超详细!

程序员的时光

面试 ArrayList JAVA集合

数据结构与算法系列之栈&队列(GO)

书旅

数据结构与算法 Go 语言

数据结构与算法系列之链表操作全集(三)(GO)

书旅

数据结构 Go 语言

接口测试如何在post请求中传递文件

测试人生路

接口测试

天啦撸!打印日志竟然只晓得 Log4j?

沉默王二

Java 日志 log4j

go-zero如何追踪你的请求链路

万俊峰Kevin

Trace microservice Go 语言

简析低代码开发与传统开发的区别与优势

Marilyn

敏捷开发 低代码

mongodb 源码实现系列 - 网络传输层模块实现三

杨亚洲(专注MongoDB及高性能中间件)

MySQL mongodb 分布式 高性能 分布式数据库mongodb

训练营第三周作业

爱码士

训练营

训练营第三周学习总结

爱码士

训练营

架构师训练营第八周作业

邓昀垚

极客大学架构师训练营

架构师训练营第八周总结

邓昀垚

快速部署DBus体验实时数据流计算_数据库_DBus_InfoQ精选文章