Megastore的级联数据模型

本文继《Megastore有哪些值得借鉴的设计》一文之后,深度探讨一下Megastore所提供的一种级联的数据模型,如果熟悉Oracle Table Cluster的原理,对于该模型所能带来的有益效果并不陌生。而在此后的Spanner/F1的数据模型中,也采用了该设计,可见该模型在Google内部拥有广泛的适用场景。

阅读全文

Megastore有哪些值得借鉴的设计

对比于Spanner,Megastore略显”过气”,但Megastore论文刚被发表出来时,的确带给了大家很多启发,很多NewSQL数据库的设计都或多或少的从Megastore中做了借鉴,包括Spanner。本文主要从大的方面粗谈Megastore的一些关键设计,暂不展开过多的细节。

阅读全文

基于Kerby的Hadoop认证服务(HAS)

前面的文章《Hadoop认证与授权机制概述》与《Hadoop Token认证机制》中已经介绍了Hadoop的现有认证与授权机制以及基于Token的认证方案设计思路,迄今为止Hadoop仅支持Kerberos认证,第三方身份认证服务难以接入Hadoop。这篇文章介绍另外一套基于Kerby实现的支持第三方身份认证服务的方案。

阅读全文

Hadoop Token认证机制

Hadoop的身份认证机制,目前为止还仅支持Kerberos方案,这使得一些第三方认证服务难以接入到Hadoop中。因此,早在13年时,Intel团队就提出了一种基于通用Token的认证方案,但可惜该方案一直未能落地。本文简单介绍一下该方案的一些设计思路。

阅读全文

Hadoop认证与授权机制概述

写这篇文章的时候,Hadoop 3.0的GA版本刚刚发布。Hadoop最初的认证与授权方案,是雅虎团队在2009年设计的,尽管已经过去了八年多的时间,但从最新的Hadoop 3.0版本的安全机制来看,基本还是维持了最初的设计思路。本文重点介绍该设计的一些关键点,不展开过多细节。

阅读全文

JAAS/GSS-API/SASL/Kerberos简介

如果将Kerberos引入到一个分布式系统中提供身份认证与服务授权时,还涉及到一系列与安全有关的框架技术与接口协议,包括:如何对认证的对象或访问的资源进行抽象?应用通过什么样的接口进行Kerberos认证?如何保障跨节点通信时的安全传输?Java Security中均提供了现成的实现。

阅读全文