WZX's Blog

  1. Spark源码阅读(六)：存储体系总览

    介绍Spark中的存储体系

    2020/09/07 Spark

  2. 大数据日知录学习(五)：常用压缩和哈希算法

    介绍大数据中的常用压缩和哈希算法

    2020/09/06 大数据理论与架构

  3. 大数据日知录学习(四)：常用数据结构

    简要介绍大数据常用的数据结构

    2020/09/05 大数据理论与架构

  4. 大数据日知录学习(三)：一致性协议

    简要介绍常用一致性协议。

    2020/09/05 大数据理论与架构

  5. 大数据日知录学习(二)：一致性分类

    大数据系统中，一般采用同一数据多个副本保证可用性，这就带来了数据一致性问题。

    2020/09/05 大数据理论与架构

  6. 大数据日知录学习(一)：分片与路由

    大数据背景下，传统纵向拓展的方式即增加机器的配置已经无法满足数据量的需要，因此主流大数据系统基本采用横向拓展即增加机器数量，对数据的分片与路由显得尤为重要。

    2020/09/05 大数据理论与架构

  7. Spark源码阅读(五)：RPC之RpcEnv、RpcEndpoint、RpcEndpointRef

    Spark中的顶层RPC环境架构及总结

    2020/09/04 Spark

  8. Spark源码阅读(四)：RPC之Transport传输层

    Spark Rpc中的传输层，介绍TransportContext, TransportClientFactory, TransportResponseHandler, TransportRequestHandler, TransportChannelHandler, TransportClient, TransportServer

    2020/09/02 Spark

  9. Spark源码阅读(三)：RPC之StreamManager、RpcHandler

    Spark RPC中的底层的流数据处理与消息传输

    2020/09/01 Spark

  10. Scala中的反射

    总结scala反射中的基本概念。

    2020/08/11 Scala

Search

    Categories Cloud

    Flink LakeHouse Scala 大数据理论与架构 Spark Java BookReview MachineLearning VTK Others 算法和数据结构

    My Popular Repositories

    wxRebot

    微信自动回复机器人

    21 2

    animal_system

    基于web的动物识别专家系统

    19 8

    LabelLogAnalysis

    基于标签的用户行为日志大数据分析系统

    18 10

    welding_prediction

    CNN for predicting the quality of the welding

    13 2

    OptimizedApriori

    基于spark的Apriori算法

    3 0