1. Spark源码阅读(七):存储体系之block信息管理

    介绍用于block的标识信息,数据信息,元数据和锁管理

    2020/09/08 Spark

  2. Spark源码阅读(六):存储体系总览

    介绍Spark中的存储体系

    2020/09/07 Spark

  3. 大数据日知录学习(五):常用压缩和哈希算法

    介绍大数据中的常用压缩和哈希算法

    2020/09/06 大数据理论与架构

  4. 大数据日知录学习(四):常用数据结构

    简要介绍大数据常用的数据结构

    2020/09/05 大数据理论与架构

  5. 大数据日知录学习(三):一致性协议

    简要介绍常用一致性协议。

    2020/09/05 大数据理论与架构

  6. 大数据日知录学习(二):一致性分类

    大数据系统中,一般采用同一数据多个副本保证可用性,这就带来了数据一致性问题。

    2020/09/05 大数据理论与架构

  7. 大数据日知录学习(一):分片与路由

    大数据背景下,传统纵向拓展的方式即增加机器的配置已经无法满足数据量的需要,因此主流大数据系统基本采用横向拓展即增加机器数量,对数据的分片与路由显得尤为重要。

    2020/09/05 大数据理论与架构

  8. Spark源码阅读(五):RPC之RpcEnv、RpcEndpoint、RpcEndpointRef

    Spark中的顶层RPC环境架构及总结

    2020/09/04 Spark

  9. Spark源码阅读(四):RPC之Transport传输层

    Spark Rpc中的传输层,介绍TransportContext, TransportClientFactory, TransportResponseHandler, TransportRequestHandler, TransportChannelHandler, TransportClient, TransportServer

    2020/09/02 Spark

  10. Spark源码阅读(三):RPC之StreamManager、RpcHandler

    Spark RPC中的底层的流数据处理与消息传输

    2020/09/01 Spark