Kudu设计原理初探

如何在一个系统中融合OLTP型随机读写能力与OLAP型分析能力,Kudu提供了不错的设计思路。本文主要从Kudu的设计论文着手,结合与HBase的对比分析,来初步揭示Kudu的设计原理,部分设计在最新的Kudu版本中可能已经过时,但最初的设计思想依然值得借鉴。

阅读全文

HBase Token实现机制

HBase Token方案被内部应用于MapReduce任务中Map/Reduce Task的认证,这样可以显著降低KDC端的认证压力,它的实现遵循了《Hadoop Security Design》中的设计思路。本文基于HBase 2.0版本的源码讨论相关实现原理。

阅读全文

ZooKeeper安全认证机制:SSL

本文探讨ZooKeeper的SSL安全机制。默认情形下,ZooKeeper的网络通信是没有加密的,但ZooKeeper提供了SSL特性,目前仅应用在Client与Server端之间的交互(Server与Server之间的交互尚不支持),且RPC通信协议基于Netty时(ZooKeeper内置的NIO实现中不支持)。

阅读全文

Megastore同步复制机制3

Megastore第一次在大规模用户数据的多副本同步机制中采用了Paxos算法,已经是一个非常大的尝试,原始的Paxos算法虽然从数学证明上是无懈可击的,但真正在一个高吞吐量的集群中应用时,还需要一些工程实现上的优化。这篇文章主要介绍Megastore基于Paxos算法的Write流程,作为Megastore同步复制机制的完结篇。

阅读全文