Olap 引擎或者数据湖基本都借鉴了 LSM 的思想来平衡读写性能,以及处理 update/delete
Iceberg 是数据湖三剑客之一,以下简要分析 Iceberg 的元数据、存储结构及读写流程
Flink 中内存管理与类型系统
Flink 中精准一次的容错机制
Flink 通过 Window、Time、Watermark 完成乱序事件处理,定义窗口以及维护和更新用户定义状态等
Flink JM 将解析后的 StreamGraph 交由 TM 调度执行。从数据源读取数据开始,上游的数据处理完毕后 push 到下游继续处理,直到数据输出到外部存储中。
Flink 中高效而丰富的算子状态管理机制
Flink 相对于 Spark Streaming 的微批处理架构,是真正意义上的流式处理架构。具备批流一体,高吞吐低延迟,状态机制,可靠的容错机制等优势。
全人类加起来,我们每年浪费了数以百万年计的人类意识,这么大的能量本来可以用来完成更复杂的目标,带动乐趣横生的成长,现在却浪费在模拟现实的刺激追求上。
虽然只有 0.0005% 的脑细胞可以产生多巴胺,但这些细胞却能对行为产生巨大的影响。多巴胺是“快乐分子”,大脑中产生多巴胺的途径为“奖赏回路”。当人们产生多巴胺时,他们能体验到快乐的感觉,因此会不遗余力地激活这些稀有的细胞,这是一种是无法抗拒的诱惑。