写点什么

快速部署 DBus 体验实时数据流计算

  • 2020-02-09
  • 本文字数:1342 字

    阅读完需:约 4 分钟

快速部署DBus体验实时数据流计算

一、环境说明

说明 all in one 是一个单机版本 dbus 环境,是给用户快速体验 dbus 的功能,只是一个简单体验版,不能用于其它环境或者用途,具体包括如下:


1)基础组建:


  • zookeeper 3.4.6

  • kafka 0.10.0.0

  • storm 1.0.1

  • granfana 4.2.0

  • logstash 5.6.1

  • influxdb (需要单独安装, 参考如下步骤 3)

  • mysql (需要单独安装,参考如下步骤 2)


2)dbus 相关包:


  • dbus-keeper 0.5.0

  • dbus-stream-main 0.5.0

  • dbus-router 0.5.0

  • dbus-heartbeat 0.5.0

  • dbus-log-processor 0.5.0


3)mysql 数据源所需:


  • canal

1.1 环境依赖

安装 dbus-allinone 环境的建议配置如下


  • JDK 1.8.181 或 以上

  • CPU 2 核 或以上

  • 内存 16GB 或以上

  • 磁盘 20GB 或以上


注:一台 Linux centos 服务器, 该服务器最好是空机器,上面不要安装 dbus 所依赖的 zk,kafka,storm 等

1.2 修改域名

注:ip 是您的具体 ip,这里用 192.168.0.1 为例子


修改服务器/etc/hosts 文件设置相应的域名信息如下:


192.168.0.1 dbus-n1  
复制代码


修改服务器 hostname 命令如下:


hostname dbus-n1  
复制代码


配置好后,服务器 IP 和域名信息如下:


1563345290303052283.png

1.3 创建 app 用户及配置 SSH 免密登录

由于 dbus 启动拓扑采用的 ssh 调用 storm 命令,all in one 包中默认的调用 ssh 使用 app 用户和 22 端口,因此要正常体验 all in one 需要创建 app 账户和配置 ssh 免密登录,免密登录配置的从 dbus-n1 到 dbus-n1 的免密登录


配置完成后执行如下命令看时候配置成功


[app@dbus-n1 ~]$ ssh -p 22 app@dbus-n1  Last login: Fri Aug 10 15:54:45 2018 from 10.10.169.53  [app@dbus-n1 ~]$  
复制代码

二、前期准备

2.1 安装 Mysql

2.1.1 下载

推荐下载 Mysql 版本:5.7.19 地址:https://dev.mysql.com/downloads/mysql/

2.1.2 安装

解压 mysql-5.7.19-1.el6.x86_64.rpm-bundle.tar 包后,执行以下命令安装:


rpm -ivh mysql-community-server-5.7.19-1.el6.x86_64.rpm --nodeps  rpm -ivh mysql-community-client-5.7.19-1.el6.x86_64.rpm --nodeps  rpm -ivh mysql-community-libs-5.7.19-1.el6.x86_64.rpm --nodeps  rpm -ivh mysql-community-common-5.7.19-1.el6.x86_64.rpm --nodeps  rpm -ivh mysql-community-libs-compat-5.7.19-1.el6.x86_64.rpm --nodeps  
复制代码

2.1.3 配置

在/etc/my.cnf 配置文件中,只是增加 bin-log 相关配置,其他不用修改,关注以下汉字注释部分


[mysqld]  \# dbus相关配置开始  log-bin=mysql-bin  binlog-format=ROW  server_id=1  \# dbus相关配置结束  
复制代码

2.1.4 启动

执行以下命令启动 mysql:


service mysqld start  
复制代码

2.2. 安装 InfluxDB

2.2.1 下载

推荐下载 InfluxDB 版本:influxdb-1.1.0.x86_64 地址:https://portal.influxdata.com/downloads

2.2.2 安装

在 dbus-n1 上切换到 root 用户,在 influxdb-1.1.0.x86_64.rpm 的存放目录下执行如下命令:


rpm -ivh influxdb-1.1.0.x86_64.rpm  
复制代码

2.2.3 启动

在 dbus-n1 上执行如下命令:


service influxdb start  
复制代码

2.2.4 初始化配置

在 dbus-n1 上执行如下命令:


\#登录influx  influx  
\#执行初始化脚本 create database dbus_stat_db use dbus_stat_db CREATE USER "dbus" WITH PASSWORD 'dbus!@#123' ALTER RETENTION POLICY autogen ON dbus_stat_db DURATION 15d
复制代码


本文转载自宜信技术学院网站。


原文链接:http://college.creditease.cn/detail/274


2020-02-09 15:10809

评论

发布
暂无评论
发现更多内容

视读——沟通的艺术,看入人里,看出人外(第四章)

废材姑娘

Spring 事务,你真的用对了吗(上篇)?

废材姑娘

Spring MVC

week04总结

龙卷风

架构师一期

架构师训练营-week04-作业1

lucian

极客大学架构师训练营

架构师作业 - 第四周 - 一个典型的大型互联网应用系统使用了哪些技术方案和手段

袭望

理解分布式一致性:Paxos协议之Basic Paxos

程序那些事

raft PAXOS raft协议 paxos协议 Basic paxos

会用Docker的人都别装了,这多简单呐

MySQL从删库到跑路

MySQL Docker Linux yum redhat

WEEK4 学习总结

陈勇

极客大学架构师训练营

WEEK4 一个典型的大型互联网应用系统使用了哪些技术方案和手段,主要解决什么问题?请列举描述

陈勇

Paxos 的变种(一):Multi-Paxos 是如何劝退大家去选择 Raft 的

多颗糖

分布式 架构师 分布式架构 分布式一致性

架构师训练营 1 期 -- 第四周作业

曾彪彪

极客大学架构师训练营

为什么说 Python 内置函数并不是万能的?

Python猫

Python

区块链行业发展的“忧与愁”

CECBC

区块链 互联网

LeetCode题解:22. 括号生成,递归生成同时过滤,JavaScript,详细注释

Lee Chen

大前端 LeetCode

互联网架构演化

张荣召

用Python绘制地理图

计算机与AI

Python 绘图

week04作业

龙卷风

架构师一期

系统架构:系统技术挑战与方案

张荣召

聊聊「测试分工和测试时间」

清菡软件测试

测试

架构师训练营 1 期 -- 第四周总结

曾彪彪

极客大学架构师训练营

架构师训练营第 1 期 - 第四周总结

Todd-Lee

极客大学架构师训练营

架构师训练营第 1 期 - 第四周作业提交

Todd-Lee

极客大学架构师训练营

训练营第四周作业 2

仲夏

极客大学架构师训练营

大型互联网应用面对的挑战及应对方案和手段

张荣召

区块链助力政府建设高效政务能力

CECBC

区块链 政务

架构模式

张荣召

B站真题:如何判断括号是否有效?

王磊

Java 数据结构 算法

极客时间架构师培训 1 期 - 第 4 周作业

Kaven

训练营第四周作业 1

仲夏

极客大学架构师训练营

理解分布式一致性:Raft协议

程序那些事

分布式 raft 分布式一致性 raft协议

DDIA读书笔记(1)可靠性,可扩展性,可维护性

莫黎

读书笔记

快速部署DBus体验实时数据流计算_数据库_DBus_InfoQ精选文章