网站介绍：文章浏览阅读653次。当处理实时数据是聚合类的运算是,可以写入到mysql中,因为数据量不大,但如果是非聚合类的数据,mysql中存放不下,此时可以使用支持覆盖写入或事务的大型数据库,例如:hbase,ES,clickhousehbase在写入数据时如果行键相同的数据写进来就会覆盖原始数据,所以当我们在运算时将每条数据赋予唯一的行键(例如:订单号,或者设备号加时间戳),即使一批数据写入到一半时中断了,重新写入时会覆盖之前的值,保证了数据的幂等性在写入数据时,记偏移量,可以将偏移量和数据记在同一行不同的列族中(hbase支持行_sparkstreaming写入hbase
- 链接地址：https://blog.csdn.net/WuBoooo/article/details/109457108
- 链接标题：spark-streaming_实时写入hbase_sparkstreaming写入hbase-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：4337
- 网站标签：sparkstreaming写入hbase
