总结scala隐式变换中的容易混淆的概念。
总结scala泛型中的容易混淆的概念。
Scala是函数式编程语言,下面记录一些比较困扰的函数概念。
Spark RPC中发送消息和接收消息的底层分发处理
Spark中的事件总线用于接受事件并提交到对应的监听器中。
从未遇见一位没亏过钱的富人,却遇见过许多从未亏掉一毛钱的穷人。
Java8的新特性,函数式编程和流式操作与Scala很相似。
Scala中的模式匹配功能很强大,它是Java中的switch语句的升级版,同样可以用于替代一系列的 if/else 语句
在运行spark作业时,发现GC时间非常长,基本上快占task time 的三分之一了,最后通过GC日志确定了问题所在。
日志有助于debug和优化程序,对于spark程序而言,有时需要改变默认的日志配置,如调整日志输出级别,根据日志级别进行分流存储等