JStorm模型设计

浏览数：26 / 时间：2015年06月09日

问题描述

1、在流式计算中经常需要对一批的数据进行汇总计算，类似SQL中的GROUP BY。在用JStorm来实现这一条简单的SQL时，面对的是一条一条的数据库变化的消息（这里需要保证有序消费），其实相当于在一堆的消息上面做了一个嵌套的SQL查询，用一张图表示如下：

技术分享

2、业务DB中的表基本上不会有大宽表，也就是说获取数据时需要从把不同的表进行JOIN才能拿到结果，那么现在的问题是在JOIN的多个表中，任意一个表的数据出现变化都可能影响到最终的结果。也就是说在JStorm中需要针对每个表的变化想好应对的方法：

技术分享

 

 

 

 

模型设计

最近看JStorm的接口，在分发消息的部分做了很多策略，我们设计模型的时候可以充分的利用这些策略来规避分布式情况下一些问题：

  1. 分布式锁
  2. 频繁访问持久化存储（这个操作一般比较慢）

 

 

 

 

----- updating -----

 

郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。

标签： style com log src http 问题 数据 it 方法 style com log src http 问题 数据 it 方法

相关文章

随机文章

您可能还喜欢

您可能还喜欢