1. 大数据日知录学习(一):分片与路由

    大数据背景下,传统纵向拓展的方式即增加机器的配置已经无法满足数据量的需要,因此主流大数据系统基本采用横向拓展即增加机器数量,对数据的分片与路由显得尤为重要。

    2020/09/05 大数据理论与架构

  2. Spark源码阅读(五):RPC之RpcEnv、RpcEndpoint、RpcEndpointRef

    Spark中的顶层RPC环境架构及总结

    2020/09/04 Spark

  3. Spark源码阅读(四):RPC之Transport传输层

    Spark Rpc中的传输层,介绍TransportContext, TransportClientFactory, TransportResponseHandler, TransportRequestHandler, TransportChannelHandler, TransportClient, TransportServer

    2020/09/02 Spark

  4. Spark源码阅读(三):RPC之StreamManager、RpcHandler

    Spark RPC中的底层的流数据处理与消息传输

    2020/09/01 Spark

  5. Scala中的反射

    总结scala反射中的基本概念。

    2020/08/11 Scala

  6. Scala中的隐式变换

    总结scala隐式变换中的容易混淆的概念。

    2020/08/03 Scala

  7. Scala中的泛型

    总结scala泛型中的容易混淆的概念。

    2020/08/03 Scala

  8. Scala中的函数

    Scala是函数式编程语言,下面记录一些比较困扰的函数概念。

    2020/07/27 Scala

  9. Spark源码阅读(二):RPC之Inbox、Outbox、Dispatcher

    Spark RPC中发送消息和接收消息的底层分发处理

    2020/07/23 Spark

  10. Spark源码阅读(一):事件总线

    Spark中的事件总线用于接受事件并提交到对应的监听器中。

    2020/07/22 Spark