Hadoop认证与授权机制概述

写这篇文章的时候,Hadoop 3.0的GA版本刚刚发布。Hadoop最初的认证与授权方案,是雅虎团队在2009年设计的,尽管已经过去了八年多的时间,但从最新的Hadoop 3.0版本的安全机制来看,基本还是维持了最初的设计思路。本文重点介绍该设计的一些关键点,不展开过多细节。

阅读全文

JAAS/GSS-API/SASL/Kerberos简介

如果将Kerberos引入到一个分布式系统中提供身份认证与服务授权时,还涉及到一系列与安全有关的框架技术与接口协议,包括:如何对认证的对象或访问的资源进行抽象?应用通过什么样的接口进行Kerberos认证?如何保障跨节点通信时的安全传输?Java Security中均提供了现成的实现。

阅读全文

图解Kerberos协议原理

Kerberos是一个常用的认证与授权协议,在初次接触该协议的时候,往往觉得该协议充满复杂的交互逻辑,但在充分理解了之后,又会觉得这过程中其实充满了数学与逻辑的美学。本文主要结合Wiki中关于Kerberos Protocol的定义,增加了一些图解信息,希望能够让读者更直观的理解该协议的内容。

阅读全文

影响NoSQL系统架构的关键要素

一个完整的NoSQL系统,涉及到非常多的基础能力与特性,本文主要探讨决定一个NoSQL系统架构的关键要素,这些关键要素主要包括数据模型、分区策略、多副本机制、一致性级别、事务性级别以及索引能力,而其它的一些基础特性,无非是在该架构基础上所做的一些增量工作。

阅读全文

Bigtable在近些年的演进

关于Bigtable在近些年做了哪些演进,只能从Cloud Bigtable的官方资料中一探究竟。在详细的分析了Cloud Bigtable的官方资料之后,遗憾的发现,除了云服务本身所需要的一些基础能力,以及为了吸引HBase存量用户而做的HBase接口兼容性工作以外,其它的Features可谓是“捉襟见肘”。

阅读全文

回顾Bigtable的经典设计

关于Bigtable的讨论已是一个略显过时的话题,再次回顾Bigtable,是希望在论文发表十余年后的今天,重新审视一下有哪些设计依然经典的。Bigtable的最新发展,对于外界而言一直都是神秘的,除了Google新发表的一些论文略有提及以及一些道听途说的消息之外,就只能从Cloud Bigtable的官方资料中洞察秋毫。从MegaStore再到现在的Spanner,Bigtable的江湖地位已被大幅削弱,但仍有充足的退守之地。本文以“流水账”形式记录了Bigtable的关键设计。

阅读全文

NewSQL是否是NoSQL的取代者?

NewSQL概念几乎是紧跟着NoSQL之后变得火热的。Google Bigtable与AWS Dynamo奠定了NoSQL技术的根基,而Google Spanner&F1则引领了NewSQL技术的发展。本文首先探讨NoSQL与NewSQL的概念与范畴,随后结合一些业界观点以及两者之间的优缺点对比,来论述各自的应对场景以及未来的演变趋势。

阅读全文