介绍 红黑树是一个平衡的二叉树，但不是一个完美的平衡二叉树。虽然我们希望一个所有查找都能在~lgN次比较内结束，但是这样在动态插入中保持树的完美平衡代价太高，所以，我们稍微放松逛一下限制，希望找到一个能在对数时间内完成查找的数据结构。这个时候，红黑树站了出来。 阅读以下需要了解普通二叉树的插入以及删

什么是代理 理设计模式提供了对目标对象的间接访问方式，能力模式能够解耦合并且便于扩展目标的功能。 在现实生活这，我们消费者如果要去购买一杯牛奶的时候，并不是直接去找牛奶厂商购买，而是在便利店或者超市购买（零售商）；超市进货的时候也通常不是直接找牛奶厂商，而是找市级代理（渠道经销商），市级代理再找省级

一、为什么要使用缓存 由于不同的存储技术在存储速度和造价上相差巨大，为了高效的访问数据，现代计算机的存储系统会把最常用的数据放在读存速度快的存储设备上，而把不常用的数据放在读存速度慢的存储设备上。存储器系统是一个具有不同容量、成本和访问时间的存储设备的层级结构。从上往下容量越来越大，但访问速度越来越

RDD（Resiliennt Distributed Datasets）抽象弹性分布式数据集对于Spark来说的弹性计算到底提现在什么地方？ 自动进行内存和磁盘数据这两种存储方式的切换 Spark 可以使用 persist 和 cache 方法将任意 RDD 缓存到内存或者磁盘文件系统中。数据会优先

一. Spark出现的背景 在Spark出现之前，大数据计算引擎主要是MapReduce。,HDFS + MapReduce的组合几乎可以实现所有的大数据应用场景。MR框架抽象程度比较高，需要我们编写Map和Reduce两个步骤（MapReduce 框架其实包含5 个步骤：Map、Sort、Comb

近期准备上线了一个基于HBase的hive，但是通过spark查询这个hive表的时候出现了如下异常： 19/12/21 15:27:18 ERROR log: error in initSerDe: java.lang.ClassNotFoundException Class org.apache

系统简介 参与创业的第二年，产品的DAU终于突破了1000万，对于一个后端&大数据开发来说，这是一件多么刺激的事情。新上线的一个功能是客户端的埋点，用于产品和用户行为分析，数据丢失不敏感。 目前客户端接入层的大概实现如下：（大数据计算层的先省略掉，以后再介绍） 其中客户端接入层api是部署

Redis对象 Redis对象由redisObject结构体表示。 typedef struct redisObject { unsigned type:4; // 对象的类型，包括 /* Object types */ unsigned encoding:4;

ThreadLocal为java并发提供了一个新的思路， 它用来存储Thread的局部变量， 从而达到各个Thread之间的隔离运行。它被广泛应用于框架之间的用户资源隔离、事务隔离等。但是用不好会导致内存泄漏 1. 内存泄漏原因探索 ThreadLocal操作不当会引发内存泄露，最主要的原因在于它的

Spark系列-核心概念 Spark系列-SparkSQL实战 Spark性能优化指南——基础篇 Spark性能优化指南——高级篇 前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优