Flink面试常见问题(实战)
发布网友
发布时间：2024-10-23 21:20
共1个回答
热心网友
时间：2024-11-09 10:03
在Flink生产环境中，反压问题的排查和处理至关重要。反压通常发生在流量激增的促销或热门活动期间，其特点是数据生产速度超过消费速度，可能导致数据堆积和处理缓慢，进而影响checkpoint的执行，最终影响数据一致性。
定位反压问题可以通过Flink Web UI和Metric。Web UI会显示TaskManager每隔50ms的监测结果，将反压比例分为良好、观察和需要处理三个级别。Metric则能帮助我们检查数据倾斜、代码问题和垃圾回收等可能的原因。
处理数据倾斜，首先，注意任务节点的反压和内存溢出迹象，这可能是由于业务热点或不当的分组操作导致的。解决方案包括优化业务设计以减少热点，调整技术方案以分散数据，利用Flink的功能如两阶段聚合和数据重分配。对于维度表关联，有实时查询、预加载全量数据、LRU缓存和数据广播等方法。
海量数据去重可以采用状态后端、HyperLogLog、布隆过滤器、BitMap和外部数据库等策略，根据数据量和实时性需求选择合适的方法。对于延迟高的任务，首先要定位问题算子和task，然后进行资源和作业参数的调优，如调整并行度、内存设置和checkpoint策略。
