美团点评基于Flink的实时数仓建设实践


美团点评基于 Flink 的实时数仓建设实践


美团点评基于 Flink 的实时数仓建设实践

美团点评基于 Flink 的实时数仓建设实践

美团点评基于 Flink 的实时数仓建设实践

美团点评基于 Flink 的实时数仓建设实践

 

该方案由以下四层构成:

美团点评基于 Flink 的实时数仓建设实践

美团点评基于 Flink 的实时数仓建设实践


  1.  对于维度数据部分场景下关联的频率可达 10万多TPS,我们选择 Cellar() 作为存储,封装维度服务为实时数仓提供维度数据。

  2.  对于通用的汇总指标,需要进行历史数据关联的数据,采用和维度数据一样的方案通过 Cellar 作为存储,用服务的方式进行关联操作。

  3.  应用层设计相对复杂,再对比了几种不同存储方案后。我们制定了以数据读写频率 1000 QPS 为分界的判断依据。对于读写平均频率高于 1000 QPS 但查询不太复杂的实时应用,比如商户实时的经营数据。采用 Cellar 为存储,提供实时数据服务。对于一些查询复杂的和需要明细列表的应用,使用 Elasticsearch 作为存储则更为合适。而一些查询频率低,比如一些内部运营的数据。 Druid 通过实时处理消息构建索引,并通过预聚合可以快速的提供实时数据 OLAP 分析功能。对于一些历史版本的数据产品进行实时化改造时,也可以使用 MySQL 存储便于产品迭代。

美团点评基于 Flink 的实时数仓建设实践

美团点评基于 Flink 的实时数仓建设实践

美团点评基于 Flink 的实时数仓建设实践

美团点评基于 Flink 的实时数仓建设实践

美团点评基于Flink的实时数仓建设实践