基于腾讯云的ckafka消费实践

对于KA,特别是零售商,实时流量、订单统计是主要需求。腾讯数平有各种实时计算工具可用,由于法律约束,KA数据一般不会落地到腾讯内部,那么腾讯云的ckafka即为必选方案。

kafka作为消息中间件,由linkedin发起并开源,有比较成熟的语言和api支持,同时跟hadoop生态系统也有比较好的集成。腾讯云的ckafka无缝兼容kafka,也即kafka的“云化”版本。但是ckafka使用局限于腾讯云CVM主机,无法直接访问,需要架设一个中间层,作为数据转发和适配。ckafka支持分区扩容(1~8个分区),告警管理,可以比较快速的搭建一个消息系统。

有了实时数据,还需要实时统计,可以采用spark streaming+kafka的方案,由于统计逻辑复杂,可能需要redis作为配置缓冲。当然,最终还需要mysql落地。

最近腾讯云推出 流计算服务,目前内测中,可以通过sql的方式进行实时消费,极大的降低开发成本,值得一试。

基于腾讯云的ckafka消费实践

一个有关“基于腾讯云的ckafka消费实践”的想法

评论功能被关闭。