坨坨的大数据

CDC 变更数据捕获技术可以将源数据库的增量变动记录，同步到一个或多个数据目的。本文基于腾讯云 Oceanus 提供的 Flink CDC 引擎，着重介绍 Flink 在变更...

Kent_Yao

What is Hudi? Hudi是Hadoop Upserts anD Incrementals的缩写，用于管理HDFS上的大型分析数据集存储。 Hudi的主要目的是高效...

Eqo

kafka集群 Kafka的设计都是为了实现kafak消息队列消费数据的语义Kafka消息队列中数据消费的三种语义： at-most-once:至多一次会出现数据丢失的问题 ...

Eqo

kafka集群 写 生产者和kafka集群之间的流程 1.生产者将数据封装到ProducerRecord中,将ProducerRecord放到一个 中,当该batch达到一定...

Eqo

概念 基于发布/订阅模式的分布式消息队列 分布式 基于发布和订阅模式的消息队列本身最新定位：分布式流式事件处理平台除了缓存存储数据 还支持了数据流式计算能力 不用 发布/订...

Eqo

MapRduce是hadoop中的一个分布式计算工具,分为map阶段和reduce阶段其采用了一个分而治之的思想 以下一个例子作为演示,假设有一个涉及300M的文件(1.tx...

Eqo

客户端提交MR程序,请求yarn的主角色 resource manage分配资源,运行App master RM收到请求后,返回一个配置文件存储路径,任务id 客户端将jo...

LittleMagic

引子 表值函数（table-valued function, TVF），顾名思义就是指返回值是一张表的函数，在Oracle、SQL Server等数据库中屡见不鲜。而在Fli...