如何在spark-streaming中获取通过kafka传递的flume信息header

2025-04-23 04:19:32
推荐回答(1个)
回答1:

spark streaming从1.2开始提供了数据的零丢失,想享受这个特性,需要满足如下条件: 1.数据输入需要可靠的sources和可靠的receivers 2.应用metadata必须通过应用driver checkpoint 3.WAL(write ahead log)