随着大数据技术在各行各业的广泛应用,要求能对海量数据进行实时处理的需求越来越多,同时数据处理的业务逻辑也越来越复杂,传统的批处理方式和早期的流式处理框架也越来越难以在延迟性,吞吐量,容错能力以及使用便捷性等方面满足业务日益苛刻的要求。
在这种形势下,新型流式处理框架Flink通过创造性地把现代大规模并行处理技术应用到流式处理中来,极大地改善了以前的流式处理框架所存在的问题。飞马网于3月13日晚,邀请到大数据技术高级架构师——旷东林,在线上直播中,旷老师向我们分享了Flink在诸多方面的创新以及它本身所具有的独特能力。
”状态管理”,我们在实时变换的过程中,要有与外部的交互,如* * *检测,以此来保护环境和数据的安全。
“容错能力”和“容错负荷”要求当流式处理在正常进行中,即使有某些机器挂掉,系统仍能正常运行,整个流式处理框架不受影响。
“流控”,也就是流量控制,我们在数据传输的过程中,可能会数据突然增多,为了保证系统不至于负荷过重而崩溃,这时候就需要控制数据密度。
"编程复杂性”,相对而言,API设计地越高级,编程负担越低。
,
4。流式处理的背景——选型
了解流式处理框架的考核标准之后,那么我们为什么选择Flink ? Flink有哪些优势呢?
