基于Kerby的Hadoop认证服务(HAS)

前面的文章《Hadoop认证与授权机制概述》与《Hadoop Token认证机制》中已经介绍了Hadoop的现有认证与授权机制以及基于Token的认证方案设计思路,迄今为止Hadoop仅支持Kerberos认证,第三方身份认证服务难以接入Hadoop。这篇文章介绍另外一套基于Kerby实现的支持第三方身份认证服务的方案。

阅读全文

Hadoop Token认证机制

Hadoop的身份认证机制,目前为止还仅支持Kerberos方案,这使得一些第三方认证服务难以接入到Hadoop中。因此,早在13年时,Intel团队就提出了一种基于通用Token的认证方案,但可惜该方案一直未能落地。本文简单介绍一下该方案的一些设计思路。

阅读全文

Hadoop认证与授权机制概述

写这篇文章的时候,Hadoop 3.0的GA版本刚刚发布。Hadoop最初的认证与授权方案,是雅虎团队在2009年设计的,尽管已经过去了八年多的时间,但从最新的Hadoop 3.0版本的安全机制来看,基本还是维持了最初的设计思路。本文重点介绍该设计的一些关键点,不展开过多细节。

阅读全文

JAAS/GSS-API/SASL/Kerberos简介

如果将Kerberos引入到一个分布式系统中提供身份认证与服务授权时,还涉及到一系列与安全有关的框架技术与接口协议,包括:如何对认证的对象或访问的资源进行抽象?应用通过什么样的接口进行Kerberos认证?如何保障跨节点通信时的安全传输?Java Security中均提供了现成的实现。

阅读全文

图解Kerberos协议原理

Kerberos是一个常用的认证与授权协议,在初次接触该协议的时候,往往觉得该协议充满复杂的交互逻辑,但在充分理解了之后,又会觉得这过程中其实充满了数学与逻辑的美学。本文主要结合Wiki中关于Kerberos Protocol的定义,增加了一些图解信息,希望能够让读者更直观的理解该协议的内容。

阅读全文

影响NoSQL系统架构的关键要素

一个完整的NoSQL系统,涉及到非常多的基础能力与特性,本文主要探讨决定一个NoSQL系统架构的关键要素,这些关键要素主要包括数据模型、分区策略、多副本机制、一致性级别、事务性级别以及索引能力,而其它的一些基础特性,无非是在该架构基础上所做的一些增量工作。

阅读全文

回顾Bigtable的经典设计

关于Bigtable的讨论已是一个略显过时的话题,再次回顾Bigtable,是希望在论文发表十余年后的今天,重新审视一下有哪些设计依然经典的。Bigtable的最新发展,对于外界而言一直都是神秘的,除了Google新发表的一些论文略有提及以及一些道听途说的消息之外,就只能从Cloud Bigtable的官方资料中洞察秋毫。从MegaStore再到现在的Spanner,Bigtable的江湖地位已被大幅削弱,但仍有充足的退守之地。本文以“流水账”形式记录了Bigtable的关键设计。

阅读全文