写点什么

快速部署 DBus 体验实时数据流计算(中)

  • 2020-02-09
  • 本文字数:6523 字

    阅读完需:约 21 分钟

快速部署DBus体验实时数据流计算(中)

##接上文

三、安装 Dbus-allinone 包

3.1 下载

在百度网盘提供 dbus-allinone.tar.gz 包,访问 release 页面下载最新包:https://github.com/BriData/DBus/releases

3.2 安装

将下载的 dbus-allinone 包上传到服务器 /app 目录下,且必须在此目录下



\# 如果没有app目录,要先创建app目录 mkdir /app cd /app tar -zxvf dbus-allinone.tar.gz
复制代码

3.3 初始化数据库

以 root 身份登录 mysql 客户端,执行以下命令进行数据库初始化,会创建 dbmgr 库以及用户、canal 用户、dbus 库以及用户、testschema 库以及用户:



source /app/dbus-allinone/sql/init.sql
复制代码

3.4 启动

执行 start.sh 一键启动 dbus 所有服务,启动项比较多。



cd /app/dbus-allinone ./start.sh
复制代码


请耐心等待(大概需要 5 分钟左右时间),正确的启动日志如下:

<br >
Start grafana…<br >
Grafana started. pid: 23760</br ></br >

Start zookeeper…zookeeper pid 23818Zookeeper started.

Start kafka…No kafka server to stopkafka pid 24055kafka started.

Start Canal …canal started.

Start logstash…No logstash to stopnohup: appending output to `nohup.out’logstash pid 24151logstash started.

Start storm nimbus…No storm nimbus to stopStorm nimbus pid 24215Storm nimbus started.

Start storm supervisor…No storm supervisor to stopStorm supervisor pid 24674Storm supervisor started.

Start storm ui…No storm ui to stopStorm ui pid 24939Storm ui started. ui port: 6672

Stop storm topology.Storm topology stoped.

Start storm topology…Storm topology started.

Start Dbus Heartbeat…No Dbus Heartbeat to stopDbus Heartbeat pid 26854Dbus Heartbeat started.

Start Dbus keeper…=========================stop===========================keeper-proxy process not existgateway process not existkeeper-mgr process not existkeeper-service process not existregister-server process not exist

=========================start===========================register-server started. pid: 27077keeper-proxy  started. pid: 27172gateway started. pid: 27267keeper-mgr started. pid: 27504keeper-service started. pid: 27645Dbus keeper prot: 6090Dbus keeper started.

3.5 生成检查报告看是否启动正常

进入目录/app/dbus-allinone/allinone-auto-check-0.5.0,执行自动检测脚本 auto-check.sh,稍等待一会儿



cd /app/dbus-allinone/allinone-auto-check-0.5.0 ./auto-check.sh
复制代码


会在目录/app/dbus-allinone/allinone-auto-check-0.5.0/reports 下生产对应时间的检查报告,如下所示



[app@dbus-n1 reports]$ tree . └── 20180824111905 └── check_report.txt
复制代码


打开 check_report.txt 文件查看相应的检查报告,如下所示


(注意以 #开头为解释说明信息,报告中不会生成 )

<br >
# 出现以下信息说明dbusmgr库正常<br >
check db&user dbusmgr start:</br ></br >

table t_avro_schema data count: 0table t_data_schema data count: 4table t_data_tables data count: 4table t_dbus_datasource data count: 2table t_ddl_event data count: 0table t_encode_columns data count: 0table t_encode_plugins data count: 1table t_fullpull_history data count: 0table t_meta_version data count: 5table t_plain_log_rule_group data count: 1table t_plain_log_rule_group_version data count: 1table t_plain_log_rule_type data count: 0table t_plain_log_rules data count: 5table t_plain_log_rules_version data count: 5table t_project data count: 1table t_project_encode_hint data count: 1table t_project_resource data count: 1table t_project_sink data count: 1table t_project_topo data count: 1table t_project_topo_table data count: 1table t_project_topo_table_encode_output_columns data count: 1table t_project_topo_table_meta_version data count: 0table t_project_user data count: 1table t_query_rule_group data count: 0table t_sink data count: 1table t_storm_topology data count: 0table t_table_action data count: 0table t_table_meta data count: 7table t_user data count: 2

# 出现以下信息说明 dbus 库正常 check db&user dbus start:

table db_heartbeat_monitor data count: 15table test_table data count: 0table db_full_pull_requests data count: 0

# 出现以下信息说明 canal 用户正常 check db&user canal start:

master status File:mysql-bin.000002, Position:12047338table db_heartbeat_monitor data count: 15table test_table data count: 0table db_full_pull_requests data count: 0

# 出现以下信息说明 testschema 库正常 check db&user testschema start:

table test_table data count: 0

# 出现以下信息说明 zk 启动正常 check base component zookeeper start:

23818 org.apache.zookeeper.server.quorum.QuorumPeerMain

# 出现以下信息说明 kafka 启动正常 check base component kafka start:

24055 kafka.Kafka

# 出现以下信息说明 storm nimbus、supervisor、ui 启动正常 check base component storm start:

26500 org.apache.storm.daemon.worker25929 org.apache.storm.daemon.worker27596 org.apache.storm.LogWriter26258 org.apache.storm.LogWriter24215 org.apache.storm.daemon.nimbus27035 org.apache.storm.LogWriter27611 org.apache.storm.daemon.worker26272 org.apache.storm.daemon.worker24674 org.apache.storm.daemon.supervisor24939 org.apache.storm.ui.core26486 org.apache.storm.LogWriter27064 org.apache.storm.daemon.worker25915 org.apache.storm.LogWriter

# 出现以下信息说明 influxdb 启动正常 check base component influxdb start:

influxdb 10265     1  0 Aug08 ?        02:28:06 /usr/bin/influxd -pidfile /var/run/influxdb/influxd.pid -config /etc/influxdb/influxdb.confapp      28823 28746  0 11:19 pts/3    00:00:00 /bin/sh -c ps -ef | grep influxdbapp      28827 28823  0 11:19 pts/3    00:00:00 grep influxdb

# 出现以下信息说明 grafana 启动正常 check base component grafana start:

app      23760     1  0 11:09 pts/3    00:00:00 ./grafana-serverapp      28828 28746  0 11:19 pts/3    00:00:00 /bin/sh -c ps -ef | grep grafanaapp      28832 28828  0 11:19 pts/3    00:00:00 grep grafana

# 出现以下信息说明心跳 heartbeat 启动正常 check base component heartbeat start:

26854 com.creditease.dbus.heartbeat.start.Start

# 出现以下信息说明 logstash 启动正常 check base component logstash start:

24151 org.jruby.Main

# 出现以下信息说明 canal 启动正常 check canal start:

zk path [/DBus/Canal/otter-testdb] exists.24105 com.alibaba.otter.canal.deployer.CanalLauncher

# 出现以下信息说明 dispatcher-appender、mysql-extractor、splitter-puller、router 启动正常 check topology start:

api: [](http://dbus-n1:6672/api/v1/topology/summary)topology testlog-log-processor status is ACTIVEtopology testdb-mysql-extractor status is ACTIVEtopology testdb-splitter-puller status is ACTIVEtopology testdb-dispatcher-appender status is ACTIVEtopology tr-router status is ACTIVE

# 出现以下信息说明从数据库->extractor-dispatcher->appender 线路正常 check flow line start:

first step insert heart beat success.data arrive at topic: testdbdata arrive at topic: testdb.testschemadata arrive at topic: testdb.testschema.result

四、验证 all in one 包是否安装成功

4.1 登录 grafana 前提

需要在通过浏览器登录 grafana 的机器配置 host 文件,如果已经配置过请跳过此前提


如果验证机器是 windows 系统,修改 C:\Windows\System32\drivers\etc\hosts 文件设置相应的域名信息如下:



\# 192.168.0.1 替换成部署allinone包的服务器ip地址 192.168.0.1 dbus-n1
复制代码


如果验证机器是 linux 系统,修改/etc/hosts 文件设置相应的域名信息如下:



\# 192.168.0.1 替换成部署allinone包的服务器ip地址 192.168.0.1 dbus-n1
复制代码

4.2 登录 grafana

登录 grafana url 地址: http://dbus-n1:3000/login


1563345309714066583.png

4.3 mysql 插入数据验证


\#登录测试用户 mysql -utestschema -p #testschema账户密码:j0<c6cqcqr:testschema \#执行测试脚本 use testschema; INSERT INTO test_table (NAME, BIRTHDAY) VALUES ('testdataname', '2018-08-10 18:00:00'); INSERT INTO test_table (NAME, BIRTHDAY) VALUES ('testdataname', '2018-08-10 18:00:00'); INSERT INTO test_table (NAME, BIRTHDAY) VALUES ('testdataname', '2018-08-10 18:00:00'); INSERT INTO test_table (NAME, BIRTHDAY) VALUES ('testdataname', '2018-08-10 18:00:00'); INSERT INTO test_table (NAME, BIRTHDAY) VALUES ('testdataname', '2018-08-10 18:00:00'); </c6cqcqr:testschema
复制代码


1563345319357002768.png

4.4 查看 DBus 是否实时获取到数据

1563345328297060949.png


1563345334957076894.png


1563345341017091754.png


本文转载自宜信技术学院。


原文链接:http://college.creditease.cn/detail/274


2020-02-09 15:09979

评论

发布
暂无评论
发现更多内容

基于Java+SpringBoot+Vue前后端分离餐饮管理系统设计和实现

hunter_coder

后端开发

“分离”“聚合”两手抓,天翼云聚合计算赋能多元化应用场景!

天翼云开发者社区

云计算 天翼云

KaiwuDB CTO 魏可伟:差异化创新,面向行业的多模架构

KaiwuDB

多模数据库 KaiwuDB 新版本发布

热度继续!从零到一,和亚马逊云科技一起快速启动属于你的大模型

科技热闻

亚信安慧正式加入多样性算力产业及标准推进委员会

亚信AntDB数据库

客户在哪儿AI生产的企业全历史行为数据是ToB大客户营销的最佳抓手

客户在哪儿AI

ToB营销 ToB获客 ToB增长 大客户营销

基于Java+SpringBoot+Vue前后端分离餐厅管理系统设计和实现

hunter_coder

后端开发

Tele-FLM系列再升级!52B对话模型发布、全球首个万亿单体稠密模型开源

智源研究院

快手可灵视频生成大模型全方位测评

快手技术

音视频技术 #大模型

基于Java+SpringBoot+Vue前后端分离宠物商城网站设计和实现

hunter_coder

后端开发

基于Java+SpringBoot+Vue前后端分离常规应急物资管理系统设计和实现

hunter_coder

后端开发

告别手动做PPT!这5款AI一键生成PPT软件,你都知道吗?

彭宏豪95

人工智能 效率工具 PPT AIGC AI生成PPT

【YashanDB知识库】YashanDB的JDBC/OCI驱动如何设置字符编码

YashanDB

yashandb 崖山数据库 崖山DB

亚信安慧AntDB亮相PostgreSQL中国技术大会,获“数据库最佳应用奖”并分享数据库应用实践

亚信AntDB数据库

开个技术外挂|用技术轻松实现GPU显卡冷却风扇噪声控制

Altair RapidMiner

gpu 仿真 显卡 GPU实例 altair

基于Java+SpringBoot+Vue前后端分离成绩管理系统设计和实现

hunter_coder

后端开发

基于Java+SpringBoot+Vue前后端分离车辆管理系统设计和实现

hunter_coder

后端开发

“夺金”2024中国互联网大会!天翼云斩获三项大奖!

天翼云开发者社区

云计算 互联网大会

促进云边协同发展,我们一直在努力!

天翼云开发者社区

云计算 算力

如何根据淘宝买家秀API返回值优化商品详情页

技术冰糖葫芦

API Explorer api 货币化 API 文档

基于Java+SpringBoot+vue前后端分离厨艺交流平台设计实现

hunter_coder

后端开发

最佳产品奖,TeleDB拿下!

天翼云开发者社区

数据库 云计算

全面解析淘宝商品详情API的SKU信息

技术冰糖葫芦

API Explorer API 编排 api 货币化 API 文档 pinduoduo API

华为云Serverless可观测性解决方案打造高效、可靠的云原生应用

Serverless 华为云

面试官:聊聊你对分库分表的理解?

王磊

Java

赋能未来教育,3DCAT实时云渲染助力深圳鹏程技师学院打造5G+XR实训室

3DCAT实时渲染

实时云渲染 虚拟仿真云教学 虚拟仿真实训教学

中国人民大学商学院校友IT互联网+俱乐部会长董哲一行到访亚信科技,共探企业创新之路

亚信AntDB数据库

DataCanvas Alaya九章元识大模型通过北京市生成式人工智能服务备案

九章云极DataCanvas

盘点那些国际知名的黑客(下)

网络安全服务

技术 黑客 计算机 黑客攻击 女性

如何搭建设备巡检二维码?看看这篇教程

草料二维码

快速部署DBus体验实时数据流计算(中)_大数据_DBus_InfoQ精选文章