WZX's Blog

  1. Spark源码阅读(七)：存储体系之block信息管理

    介绍用于block的标识信息，数据信息，元数据和锁管理

    2020/09/08 Spark

  2. Spark源码阅读(六)：存储体系总览

    介绍Spark中的存储体系

    2020/09/07 Spark

  3. 大数据日知录学习(五)：常用压缩和哈希算法

    介绍大数据中的常用压缩和哈希算法

    2020/09/06 大数据理论与架构

  4. 大数据日知录学习(四)：常用数据结构

    简要介绍大数据常用的数据结构

    2020/09/05 大数据理论与架构

  5. 大数据日知录学习(三)：一致性协议

    简要介绍常用一致性协议。

    2020/09/05 大数据理论与架构

  6. 大数据日知录学习(二)：一致性分类

    大数据系统中，一般采用同一数据多个副本保证可用性，这就带来了数据一致性问题。

    2020/09/05 大数据理论与架构

  7. 大数据日知录学习(一)：分片与路由

    大数据背景下，传统纵向拓展的方式即增加机器的配置已经无法满足数据量的需要，因此主流大数据系统基本采用横向拓展即增加机器数量，对数据的分片与路由显得尤为重要。

    2020/09/05 大数据理论与架构

  8. Spark源码阅读(五)：RPC之RpcEnv、RpcEndpoint、RpcEndpointRef

    Spark中的顶层RPC环境架构及总结

    2020/09/04 Spark

  9. Spark源码阅读(四)：RPC之Transport传输层

    Spark Rpc中的传输层，介绍TransportContext, TransportClientFactory, TransportResponseHandler, TransportRequestHandler, TransportChannelHandler, TransportClient, TransportServer

    2020/09/02 Spark

  10. Spark源码阅读(三)：RPC之StreamManager、RpcHandler

    Spark RPC中的底层的流数据处理与消息传输

    2020/09/01 Spark

Search

    Categories Cloud

    Scala Flink 大数据理论与架构 Spark Java BookReview MachineLearning VTK Others 算法和数据结构

    My Popular Repositories

    animal_system

    基于web的动物识别专家系统

    6 3

    welding_prediction

    CNN for predicting the quality of the welding

    4 1

    wxRebot

    微信自动回复机器人

    3 1

    ProgramDesign-Algorithm

    coursera 数据结构基础 算法基础 高级数据结构与算法 编程题

    1 0

    OptimizedApriori

    基于spark的Apriori算法

    1 0