NVIDIA 初创加速计划,免费加速您的创业启动 了解详情
写点什么

Knative 实战:基于 Kafka 实现消息推送

  • 2019-11-11
  • 本文字数:1582 字

    阅读完需:约 5 分钟

Knative 实战:基于 Kafka 实现消息推送

背景

消息队列 for Apache Kafka 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。消息队列 for Apache Kafka 广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域,已成为大数据生态中不可或缺的部分。


结合 Knative 中提供了 KafkaSource 事件源的支持, 可以方便的对接 Kafka 消息服务。


另外也可以安装社区 Kafka 2.0.0 及以上版本使用。

在阿里云上创建 Kafka 实例

创建 Kafka 实例

登录消息队列 Kafka 控制台, 选择【购买实例】。由于当前 Knative 中 Kafka 事件源支持 2.0.0 及以上版本,在阿里云上创建 Kafka 实例需要选择包年包月、专业版本进行购买,购买之后升级到 2.0.0 即可。


部署实例并绑定 VPC

购买完成之后,进行部署,部署时设置 Knative 集群所在的 VPC 即可:


创建 Topic 和 Consumer Group

接下来我们创建 Topic 和消费组。


进入【Topic 管理】,点击 创建 Topic, 这里我们创建名称为 demo 的 topic:



进入【Consumer Group 管理】,点击 创建 Consumer Group, 这里我们创建名称为 demo-consumer 的消费组:


部署 Kafka 数据源

部署 Kafka addon 组件

登录容器服务控制台,进入【Knative 组件管理】,部署 Kafka addon 组件。


创建 KafkaSource 实例

首先创建用于接收事件的服务 event-display:


apiVersion: serving.knative.dev/v1kind: Servicemetadata:  name: event-displayspec:  template:    spec:      containers:      - image: registry.cn-hangzhou.aliyuncs.com/knative-sample/eventing-sources-cmd-event_display:bf45b3eb1e7fc4cb63d6a5a6416cf696295484a7662e0cf9ccdf5c080542c21d
复制代码


接下来创建 KafkaSource:


apiVersion: sources.eventing.knative.dev/v1alpha1kind: KafkaSourcemetadata:  name: alikafka-sourcespec:  consumerGroup: demo-consumer  # Broker URL. Replace this with the URLs for your kafka cluster,  # which is in the format of my-cluster-kafka-bootstrap.my-kafka-namespace:9092.  bootstrapServers: 192.168.0.6x:9092,192.168.0.7x:9092,192.168.0.8x:9092  topics: demo  sink:    apiVersion: serving.knative.dev/v1alpha1    kind: Service    name: event-display
复制代码


说明:


  • bootstrapServers: Kafka VPC 访问地址

  • consumerGroup: 设置消费组

  • topics:设置 Topic


创建完成之后,我们可以查看对应的实例已经运行:


[root@iZ2zeae8wzyq0ypgjowzq2Z ~]# kubectl get podsNAME                                    READY   STATUS    RESTARTS   AGEalikafka-source-k22vz-db44cc7f8-879pj   1/1     Running   0          8h
复制代码

验证

在 Kafka 控制台,选择 topic 发送消息,注意这里的消息格式必须是 json 格式:



我们可以看到已经接收到了发送过来的 Kafka 消息:


[root@iZ2zeae8wzyq0ypgjowzq2Z ~]# kubectl logs event-display-zl6m5-deployment-6bf9596b4f-8psx4 user-container
☁️ CloudEvent: valid ✅Context Attributes, SpecVersion: 0.2 Type: dev.knative.kafka.event Source: /apis/v1/namespaces/default/kafkasources/alikafka-source#demo ID: partition:7/offset:1 Time: 2019-10-18T08:50:32.492Z ContentType: application/json Extensions: key: demoTransport Context, URI: / Host: event-display.default.svc.cluster.local Method: POSTData, { "key": "test" }
复制代码

小结

结合阿里云 Kafka 产品,通过事件驱动触发服务(函数)执行,是不是简单又高效?


这样我们利用 Knative 得以把云原生的能力充分释放出来,带给我们更多的想象空间。欢迎对 Knative 感兴趣的一起交流。


实操视频演示


00:00 / 00:00
    1.0x
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.75x
    • 0.5x
    网页全屏
    全屏
    00:00


    作者介绍


    元毅,阿里云容器平台高级开发工程师,负责阿里云容器平台 Knative 相关工作。


    本文转载自公众号阿里巴巴云原生(ID:Alicloudnative)


    原文链接


    https://mp.weixin.qq.com/s/YRpxBNcKlWXdRuMrYaAzig


    2019-11-11 08:002417

    评论

    发布
    暂无评论
    发现更多内容

    数据中心的组织架构是怎样的?

    Taylor

    大数据 数据中心 数字化 组织架构

    配置ssh免密码登录

    一个大红包

    8月日更

    【Vue2.x 源码学习】第二十六篇 - 数组依赖收集的实现

    Brave

    源码 vue2 8月日更

    电商秒杀系统架构设计

    华仔架构训练营

    架构实战营 模块四 作业

    一雄

    作业 架构实战营 模块四

    前端之数据结构(二)

    Augus

    数据结构 8月日更

    Java并发--synchronized原子性的底层机制剖析

    JVM 并发 线程安全

    15 道超经典大厂 Java 面试题!重中之重

    程序员鱼皮

    Java c++ 面试 后端 Go 语言

    圆梦腾讯之后,我收集整理了这份“2021春招常见面试真题汇总”

    Java~~~

    Java 面试 微服务 多线程 架构师

    Java程序员3个月从月薪6k涨到15k,你知道我是怎么过来的吗?

    Java~~~

    Java 面试 多线程 高并发 架构师

    我从外包辞职了,10000小时后,走进字节跳动拿了offer

    Java~~~

    Java 面试 微服务 JVM 架构师

    毕业设计

    方堃

    🏆(不要错过!)【CI/CD技术专题】「Jenkins实战系列」(3)Jenkinsfile+DockerFile实现自动部署

    洛神灬殇

    Docker Dockerfile jenkins 8月日更

    Linux之lsof命令

    入门小站

    Linux

    16条代码规范建议,快看看自己做到没,Java从基础到高级知识点汇总

    欢喜学安卓

    Java 程序员 面试 后端

    它来了!靶机渗透题目的一次实战记录

    网络安全学海

    网络安全 信息安全 实战 渗透测试 安全漏洞

    前方高能预警!阿里大佬出品“Spring实战学习笔记”震撼来袭

    Java~~~

    Java spring 面试 微服务 架构师

    Java程序员3个月从月薪6k涨到15k,你知道我是怎么过来的吗?

    Java~~~

    Java 面试 微服务 JVM 架构师

    涨薪50%,从小厂逆袭,坐上美团L8技术专家(面经+心得)

    Java~~~

    Java 面试 微服务 JVM 架构师

    就这?腾讯云高工熬夜手写'Java微服务学习笔记'也就让我月薪涨3k

    Java~~~

    Java spring 面试 微服务 架构师

    脚本测试服务器处理URL非法传参

    liuzhen007

    8月日更

    秒杀系统架构设计,教你画好架构图!

    九灵

    Java 架构 面试 服务端

    15-Java枚举类详解【干货笔记,2021年Java高级面试题

    欢喜学安卓

    Java 程序员 面试 后端

    深入学习 CSS 中的伪元素 ::before 和 ::after

    devpoint

    CSS css3 CSS语法 8月日更

    Docker可视化管理工具对比(DockerUI、Shipyard、Rancher、Portainer)

    xcbeyond

    Docker Portainer shipyard rancher 8月日更

    KIE(Knowledge Is Everything)

    LeifChen

    drools 8月日更 KIE 知识库

    架构实战营 - 第四模块作业

    李东旭

    「架构实战营」

    手把手教你,从零开始搭建Spring Cloud Alibaba!这份笔记太牛了

    Java~~~

    Java 面试 微服务 Spring Cloud 架构师

    【前端 · 面试 】HTTP 总结(五)—— GET 和 POST

    编程三昧

    面试 大前端 HTTP 8月日更 get和post

    网络攻防学习笔记 Day96

    穿过生命散发芬芳

    态势感知 网络攻防 8月日更

    15道常考SpringBoot面试题整理,字节跳动Java金三银四解析

    欢喜学安卓

    Java 程序员 面试 后端

    Knative 实战:基于 Kafka 实现消息推送_语言 & 开发_阿里云容器平台_InfoQ精选文章