写点什么

快速部署 DBus 体验实时数据流计算

  • 2020-02-09
  • 本文字数:1342 字

    阅读完需:约 4 分钟

快速部署DBus体验实时数据流计算

一、环境说明

说明 all in one 是一个单机版本 dbus 环境,是给用户快速体验 dbus 的功能,只是一个简单体验版,不能用于其它环境或者用途,具体包括如下:


1)基础组建:


  • zookeeper 3.4.6

  • kafka 0.10.0.0

  • storm 1.0.1

  • granfana 4.2.0

  • logstash 5.6.1

  • influxdb (需要单独安装, 参考如下步骤 3)

  • mysql (需要单独安装,参考如下步骤 2)


2)dbus 相关包:


  • dbus-keeper 0.5.0

  • dbus-stream-main 0.5.0

  • dbus-router 0.5.0

  • dbus-heartbeat 0.5.0

  • dbus-log-processor 0.5.0


3)mysql 数据源所需:


  • canal

1.1 环境依赖

安装 dbus-allinone 环境的建议配置如下


  • JDK 1.8.181 或 以上

  • CPU 2 核 或以上

  • 内存 16GB 或以上

  • 磁盘 20GB 或以上


注:一台 Linux centos 服务器, 该服务器最好是空机器,上面不要安装 dbus 所依赖的 zk,kafka,storm 等

1.2 修改域名

注:ip 是您的具体 ip,这里用 192.168.0.1 为例子


修改服务器/etc/hosts 文件设置相应的域名信息如下:


192.168.0.1 dbus-n1  
复制代码


修改服务器 hostname 命令如下:


hostname dbus-n1  
复制代码


配置好后,服务器 IP 和域名信息如下:


1563345290303052283.png

1.3 创建 app 用户及配置 SSH 免密登录

由于 dbus 启动拓扑采用的 ssh 调用 storm 命令,all in one 包中默认的调用 ssh 使用 app 用户和 22 端口,因此要正常体验 all in one 需要创建 app 账户和配置 ssh 免密登录,免密登录配置的从 dbus-n1 到 dbus-n1 的免密登录


配置完成后执行如下命令看时候配置成功


[app@dbus-n1 ~]$ ssh -p 22 app@dbus-n1  Last login: Fri Aug 10 15:54:45 2018 from 10.10.169.53  [app@dbus-n1 ~]$  
复制代码

二、前期准备

2.1 安装 Mysql

2.1.1 下载

推荐下载 Mysql 版本:5.7.19 地址:https://dev.mysql.com/downloads/mysql/

2.1.2 安装

解压 mysql-5.7.19-1.el6.x86_64.rpm-bundle.tar 包后,执行以下命令安装:


rpm -ivh mysql-community-server-5.7.19-1.el6.x86_64.rpm --nodeps  rpm -ivh mysql-community-client-5.7.19-1.el6.x86_64.rpm --nodeps  rpm -ivh mysql-community-libs-5.7.19-1.el6.x86_64.rpm --nodeps  rpm -ivh mysql-community-common-5.7.19-1.el6.x86_64.rpm --nodeps  rpm -ivh mysql-community-libs-compat-5.7.19-1.el6.x86_64.rpm --nodeps  
复制代码

2.1.3 配置

在/etc/my.cnf 配置文件中,只是增加 bin-log 相关配置,其他不用修改,关注以下汉字注释部分


[mysqld]  \# dbus相关配置开始  log-bin=mysql-bin  binlog-format=ROW  server_id=1  \# dbus相关配置结束  
复制代码

2.1.4 启动

执行以下命令启动 mysql:


service mysqld start  
复制代码

2.2. 安装 InfluxDB

2.2.1 下载

推荐下载 InfluxDB 版本:influxdb-1.1.0.x86_64 地址:https://portal.influxdata.com/downloads

2.2.2 安装

在 dbus-n1 上切换到 root 用户,在 influxdb-1.1.0.x86_64.rpm 的存放目录下执行如下命令:


rpm -ivh influxdb-1.1.0.x86_64.rpm  
复制代码

2.2.3 启动

在 dbus-n1 上执行如下命令:


service influxdb start  
复制代码

2.2.4 初始化配置

在 dbus-n1 上执行如下命令:


\#登录influx  influx  
\#执行初始化脚本 create database dbus_stat_db use dbus_stat_db CREATE USER "dbus" WITH PASSWORD 'dbus!@#123' ALTER RETENTION POLICY autogen ON dbus_stat_db DURATION 15d
复制代码


本文转载自宜信技术学院网站。


原文链接:http://college.creditease.cn/detail/274


2020-02-09 15:10818

评论

发布
暂无评论
发现更多内容

软件测试学习笔记丨Flask操作数据库-数据库和表的管理

测试人

软件测试

TiDB Vector 本地部署体验

TiDB 社区干货传送门

8.x 实践 TiDB Cloud TiDB Vector

PME算法基础及其Python实现

代码忍者

“观测先锋 · 2024 可观测平台创新应用案例大赛“评审团亮相,奖项权益再升级!

博睿数据

博睿数据获评2024中国智能运维领域“最具商业合作价值企业”

博睿数据

TiDB 集群组件间开启 TLS(双向认证

TiDB 社区干货传送门

7.x 实践

管理者应该具备的几点认知

老张

团队管理 技术管理 职场晋升

ORN Ventures获得5,000万美元A轮融资

财见

Merge-region 原理及常见问题

TiDB 社区干货传送门

故障排查/诊断

Java如何实现企业微信审批流程

威哥爱编程

Java 微信 企业微信开发

探讨Java深搜算法的学习笔记

威哥爱编程

Java 算法 DFS

冲一下深信服,好像有点简单?

王中阳Go

Go 面试

企业数字化转型:你的企业处于哪个发展阶段?

积木链小链

数字化转型 数字化 数字化平台

TiDB数据库出现性能问题,如何利用数据库性能诊断工具DBdoctor一分钟诊断!

TiDB 社区干货传送门

性能调优 实践案例 管理与运维 安装 & 部署 应用适配

TiKV Raft Store 内存管理的原理与实现丨TiKV 源码解读(二十三)

TiDB 社区干货传送门

知乎 PB 级数据:超大规模TiDB集群管控实践

TiDB 社区干货传送门

实践案例 集群管理 数据库架构设计 HTAP 场景实践

YMatrix 6.0 正式发布: 下一代实时分析数仓

YMatrix 超融合数据库

数据库 数据仓库 流计算 YMatrix 实时分析

为什么要开发海外电商代购系统?

科普小能手

系统开发 电商系统 海外代购系统 代购系统 代购商城系统

华测检测拟投资常州红海公司,布局电动自行车检测热门增长赛道

财见

e&宣布2024年Q3收益,合并收入增长10%,达到144亿迪拉姆

财见

上海HR+AI智慧人才港启动,中国人力资本发展大会点亮数字化转型之路

财见

Pandabuy案例分享:微店商品详情数据接口对接反向海淘的成功实践

tbapi

淘宝代购集运系统 Pandabuy 反向海淘系统

资源利用率提高30%,揭秘华为云Serverless高效、高密度调度优化原理

华为云开发者联盟

资源调度 #Serverless #云原生 华为云FunctionGraph

TiDB br日志备份PermissionDenied

TiDB 社区干货传送门

实践案例 备份 & 恢复

Rust 在 Android 的编程实践——技术驱动的车云一体化解决方案探索

Greptime 格睿科技

android rust 时序数据库 车云

HarmonyOS 5.0应用开发——用户文件操作

高心星

鸿蒙 HarmonyOS 鸿蒙5.0 HarmonyOS NEXT

快速部署DBus体验实时数据流计算_数据库_DBus_InfoQ精选文章