大数据系统中,一般采用同一数据多个副本保证可用性,这就带来了数据一致性问题。
大数据背景下,传统纵向拓展的方式即增加机器的配置已经无法满足数据量的需要,因此主流大数据系统基本采用横向拓展即增加机器数量,对数据的分片与路由显得尤为重要。
Spark中的顶层RPC环境架构及总结
Spark Rpc中的传输层,介绍TransportContext, TransportClientFactory, TransportResponseHandler, TransportRequestHandler, TransportChannelHandler, TransportClient, TransportServer
Spark RPC中的底层的流数据处理与消息传输
总结scala反射中的基本概念。
总结scala隐式变换中的容易混淆的概念。
总结scala泛型中的容易混淆的概念。
Scala是函数式编程语言,下面记录一些比较困扰的函数概念。
Spark RPC中发送消息和接收消息的底层分发处理
微信自动回复机器人
基于标签的用户行为日志大数据分析系统
CNN for predicting the quality of the welding
基于web的动物识别专家系统
基于spark的Apriori算法