收录了 业务代码 频道下的 50 篇内容
不管是开发、测试、运维,每个技术人员心理多多少少都有一个成为技术大牛的梦,毕竟“梦想总是要有的,万一实现了呢”!正是对技术梦的追求,促使我们不断地努力和提升自己。然而……
QClub是由InfoQ中文站定期组织的一个线下技术交流活动,目的是让中高端技术人员有一个相对自由的交流思想和交友的平台。每次QClub只关注一个主题,邀请国内外在该主题领域有研究的技术专家分享其经验,但QClub更注重讨论,因为它认为讨论才是真理,从讨论中才能激发参与者的智慧和火花。我们的口号是"影响有影响力的人"!
近日,滴滴在 GitHub 上开源后端研发、调试、测试的实用工具 Rdebug,全称 Real Debugger,中文名 真・Debugger。使用真实的线上流量进行线下回放测试,提升研发效率、保障代码质量,进而减少线上事故。
字节跳动质量效能专家赵亮在不久前举办的QCon 全球软件开发大会(上海站)上作了“基于 LLM 的单元测试用例自动生成”的精彩演讲,针对字节研发内部需求,基于大模型技术结合深度程序分析,实现存量及增量单元测试的自动生成。
作为工程师,我们需要适应 AI 带来的新工具和新方法,以便在未来的研发工作中保持竞争力。
DIM层业务代码与第一个业务处理Kafka topic “KAFKA-DIM-TOPIC” 数据到HBase代码完全一直,所以这里直接复用第一个业务中的DIM层业务代码“DimDataToHBase.scala”即可。
# 业务代码必须要做的事情
Flink读取Kafka topic “KAFKA-ODS-TOPIC” 数据写入Iceberg-DWD层也是复用第一个业务代码,这里只需要在代码中加入写入Iceberg-DWD层代码即可,代码如下:
由于本业务涉及到MySQL业务数据和用户日志数据,两类数据是分别采集存储在不同的Kafka Topic中的,所以这里写入ODS层代码由两个代码组成。
摘要:在云服务业务开发中,善于使用代码新特性,往往能让开发效率大大提升,这里简单介绍下lambad表达式及函数式接口特性。
对业务源码的debug和openjdk的debug进行串联,能为研发人员提供对业务和jvm之间更加细粒度的观察。本文尝试将IDEA的远程debug和clion的debug相互连接,实现对一个简单springboot项目,从业务源码到jdk源码的debug,并观察其类加载、对象TLAB内存分配过程。
DM层主要是报表数据,针对实时业务将DM层设置在Clickhouse中,在此业务中DM层主要存储的是通过Flink读取Kafka “KAFKA-DWS-BROWSE-LOG-WIDE-TOPIC” topic中的数据进行设置窗口分析,每隔10s设置滚动窗口统计该窗口内访问商品及商品一级、二级分类分析结果,
DWD层数据主要存储干净的明细数据,这里针对ODS层“KAFKA-ODS-TOPIC”数据编写代码进行清洗写入对应的Kafka topic和Iceberg-DWD层中。代码功能中有以下几点重要方面:
去哪儿网前端技术总监姚佳梅围绕去哪儿网三大业务场景的前端代码生成的方案,涵盖了代码生成中的难点和解决思路、AI 的应用和业务的应用提效等,希望能给大家带来一些帮助和思考。
ODS层在湖仓一体架构中主要是存储原始数据,这里主要是读取Kafka “KAFKA-DB-BUSSINESS-DATA”topic中的数据实现如下两个方面功能:
编写代码读取Kafka “KAFKA-DIM-TOPIC” topic维度数据通过Phoenix写入到HBase中,我们可以通过topic中每条数据获取该条数据对应的phoenix表名及字段名动态创建phoenix表以及插入数据,这里所有在mysql“lakehousedb.dim_tbl_config_info”中配置的维度表都会
在之前的章节中,只是简单的构建了一个可运行的框架,并没有设置实际的运行代码,而在本节中,我们就要开始编写一个简单的业务系统,包括页面展示,数据持久化等。
年度最敢说最真诚的一次圆桌。
DWS层主要是存放大宽表数据,此业务中主要是针对Kafka topic “KAFKA-DWD-BROWSE-LOG-TOPIC”中用户浏览商品日志数据关联HBase中“ODS_PRODUCT_CATEGORY”商品分类表与“ODS_PRODUCT_INFO”商品表维度数据获取浏览商品主题大宽表。
DM层主要是报表数据,针对实时业务将DM层设置在Clickhouse中,在此业务中DM层主要存储的是通过Flink读取Kafka “KAFKA-DWS-BROWSE-LOG-WIDE-TOPIC” topic中的数据进行设置窗口分析,每隔10s设置滚动窗口统计该窗口内访问商品及商品一级、二级分类分析结果,