WZX's Blog

  1. Spark源码阅读(十八)：调度系统之map输出跟踪器

    MapOutputTracker用于跟踪map任务的输出状态，此状态便于reduce任务定位map输出结果所在的节点地址，进而获取中间输出结果

    2020/09/22 Spark

  2. Spark源码阅读(十七)：调度系统之task调度

    介绍Spark中的TaskSchedulerImpl及其依赖的组件

    2020/09/15 Spark

  3. Spark源码阅读(十六)：调度系统之调度池

    介绍Spark中的调度池包括TaskSetManager

    2020/09/15 Spark

  4. Spark源码阅读(十五)：调度系统之stage调度

    介绍Spark中的stage切分和调度

    2020/09/14 Spark

  5. Spark源码阅读(十四)：调度系统之RDD

    介绍Spark中的RDD

    2020/09/14 Spark

  6. Spark源码阅读(十三)：调度系统总览

    介绍Spark中的调度系统

    2020/09/14 Spark

  7. Spark源码阅读(十二)：存储体系之Broadcast

    介绍Spark中的广播实现方式

    2020/09/13 Spark

  8. Spark源码阅读(十一)：存储体系之block传输

    介绍Spark中的block传输

    2020/09/11 Spark

  9. Spark源码阅读(十)：存储体系之block管理与调度

    介绍Spark中的BlockManager和BlockManagerMaster

    2020/09/09 Spark

  10. Spark源码阅读(九)：存储体系之内存存储

    介绍Spark中的block内存存储。Hadoop只将内存作为计算资源，Spark除将内存作为计算资源外，还将内存的一部分纳入到存储体系中。

    2020/09/09 Spark

Search

    Categories Cloud

    hudi Scala Flink 大数据理论与架构 Spark Java BookReview MachineLearning VTK Others 算法和数据结构

    My Popular Repositories

    wxRebot

    微信自动回复机器人

    12 2

    animal_system

    基于web的动物识别专家系统

    7 4

    LabelLogAnalysis

    基于标签的用户行为日志大数据分析系统

    6 4

    welding_prediction

    CNN for predicting the quality of the welding

    5 1

    Demo_vtk

    a vtk-qt demo

    2 0