澳门金莎娱乐网站:Hadoop系统框架安全机制,在

作者: 澳门金莎娱乐网站  发布:2019-06-24

5. 把密钥与加密的数据分开。把加密数据的密钥存储在加密数据所在的同一台服务器中等于是锁上大门,然后把钥匙悬挂在锁头上。密钥管理系统允许组织安全地存储加密密钥,把密钥与要保护的数据隔离开。

默认情况下,委托令牌有效期是1天。作业追踪器是重建者,跟踪作业的运行情况以更新或取消令牌。由于密钥与令牌之间有一一对应关系,一个密钥产生一个令牌,因此过去7天内的密钥将会被保存,以便回收已经产生的令牌。

当企业转变为数据驱动的机器时,其潜力是巨大的:企业所拥有的数据可能成为获得竞争优势的关键。因此,企业的数据和基础设施的安全也变得比以往任何时候都重要。

接下来分别分析Hadoop中Kerberos和委托令牌的工作原理。

6. 使用Kerberos网络身份识别协议。企业需要能够管理什么人和流程可以访问存储在Hadoop中的数据。这是避免流氓节点和应用进入集群的一种有效的方法。莱恩说,这能够帮助保护网络控制接入,使管理功能很难被攻破。我们知道,设置Kerberos比较困难,验证或重新验证新的节点和应用可以发挥作用。但是,没有建立双向的信任,欺骗Hadoop允许恶意应用进入这个集群、或者接受引进的恶意节点是很容易的。这个恶意节点以后可以增加、修改或者提取数据。Kerberos协议是可以控制的最有效的安全控制措施。Kerberos建在Hadoop基础设施中,因此,请使用它。

因为比较缺乏安全维护,目前Hadoop上诞生了一定数量的企业级安全解决方案,比如Cloudera Sentry、IBM InforSphere Optim Data Masking、DataStax企业版、DataGuise for Hadoop、英特尔的安全办Hadoop、Protegrity大数据保护器等。这些企业级安全解决方案一定程度上改善了Hadoop的安全状况。此外,Apache Ranger,Apache Rhino, Apache Knox, Gateway等Apache 支持的安全项目也使Hadoop运行的安全环境得到极大改善。

4. 加密静态和动态数据。在文件层增加透明的数据加密。SSL(安全套接层)加密能够在数据在节点和应用程序之间移动时保护大数据。安全研究与顾问公司Securosis的首席技术官和分析师阿德里安·莱恩(Adrian Lane)称,文件加密解决了绕过正常的应用安全控制的两种攻击方式。在恶意用户或者管理员获得数据节点的访问权限和直接检查文件的权限以及可能窃取文件或者不可读的磁盘镜像的情况下,加密可以起到保护作用。这是解决一些数据安全威胁的节省成本的途径。

令牌赋予了拥有节点权限并保证安全,节点根据令牌种类不同而拥有不同的权限。如持有ResourceManager令牌的应用程序及其发起的任务可以安全地与ResourceManager交互。Application 令牌保证ApplicationMaster与ResourceManager之间的通信安全。

9. 节点之间以及节点与应用之间采用安全通信。要做到这一点,需要部署一个SSL/TLS(安全套接层/传输层安全)协议保护企业的全部网络通信,而不是仅仅保护一个子网。就像许多云服务提供商一样,Cloudera等Hadoop提供商已经在做这件事。如果设置上没有这种能力,就需要把这些服务集成到应用栈中。

本文永久更新链接地址:http://www.linuxidc.com/Linux/2017-01/139675.htm

1. 在启动大数据项目之前要考虑安全问题。不应该等到发生数据突破事件之后再采取保证数据安全的措施。组织的IT安全团队和参加大数据项目的其他人员在向分布式计算(Hadoop)集群安装和发送大数据之前应该认真地讨论安全问题。

(1) 作业队列访问控制列表

2. 考虑要存储什么数据。在计划使用Hadoop存储和运行要提交给监管部门的数据时,可能需要遵守具体的安全要求。即使所存储的数据不受监管部门的管辖,也要评估风险,如果个人身份信息等数据丢失,造成的风险将包括信誉损失和收入损失。

YARN中可以控制最低限度的网络消耗,最低限度的资源、线程、进程的消耗,来保障系统的稳定和安全性。

7. 使用安全自动化。企业是在处理一个多节点环境,因此,部署的一致性是很难保证的。Chef和Puppet等自动化工具能够帮助企业更好地使用补丁、配置应用程序、更新Hadoop栈、收集可信赖的机器镜像、证书和平台的不一致性等信息。事先建立这些脚本需要一些时间,但是,以后会得到减少管理时间的回报,并且额外地保证每一个节点都有基本的安全。

委托令牌也存在缺点:认证用户可以与未认证用户共享委托令牌,这可能造成令牌滥用。

8. 向Hadoop集群增加记录。大数据很自然地适合收集和管理记录数据。许多网站公司开始使用大数据专门管理记录文件。为什么不向现有的集群增加记录呢?这会让企业观察到什么时候出现的故障或者是否有人以为企业已经被黑客攻破了。没有一个事件跟踪记录,你就是一个瞎子。记录MR请求和其它集群活动是很容易的并且可以稍微提高存储和处理需求。但是,当有需要的时候,这些数据是不可或缺的。

主密钥(masterKey)。主密钥由NameNode随机选择并只有NameNode知道,随后用该密钥来生成委托令牌。

在许多情况下,企业或组织都可能得到Forrester所说的“有毒的数据”。例如,一家无线公司正在收集谁登录哪一个天线塔、他们在线逗留多长时间、他们使用多少数据、他们是在移动还是处于静止状态等数据,这些数据可用来了解用户行为的状况。

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程  http://www.linuxidc.com/Linux/2015-02/113487.htm

3. 责任集中。现在,企业的数据可能存在于多个机构的竖井之中和数据集中。集中的数据安全的责任可保证在所有这些竖井中强制执行一致的政策和访问控制。

(4)无法应对恶意的网络攻击。Hadoop在设计时没有对可能遭受的网络安全问题进行考虑,Hadoop中没有对应的网络安全防护措施,很容易受到诸如Ddos的攻击,因此Hadoop对网络安全的防护只能借助第三方的工具。

应用大数据,不要忘记法规遵从和控制。下面是保证大数据安全的9个技巧。

在Ubuntu X64上编译安装Hadoop http://www.linuxidc.com/Linux/2016-12/138568.htm

这家无线公司也许有许多用户生成的数据:信用卡号码、社会保险号码、购买习惯数据和用户使用任何信息的方式等。关联这种数据和从这些数据中提取推断结果的能力是有价值的,但是,这种做法也是有害的,如果这种关联的数据泄露到机构外部并且落入他人手中,这将给个人和机构造成灾难性的损失。

CentOS7 Hadoop2.5.2 Spark1.5.2环境搭建  http://www.linuxidc.com/Linux/2017-01/139364.htm

...

一般而言,系统安全机制由认证(authentication)和授权(authorization)两大部分构成。认证就是简单地对一个实体的身份进行判断;而授权则是向实体授予对数据资源和信息访问权限的决策过程。本文也着重从这两方面展开叙述。

澳门金莎娱乐网站 1

服务访问控制是Hadoop提供的最原始的授权机制,它用于确保只有那些经过授权的客户端才能访问对应的服务。比如可设置访问控制列表以指定哪些用户可以向集群中提交应用程序。服务访问控制是通过控制各个服务之间的通信协议实现的,它通常发生在其他访问控制机制之前,比如文件权限检查、队列权限检查等。

(4)用作业令牌强制任务授权。作业令牌确保任务只能做交给他们去做的作业。也可以把任务配置成当用户提交作业时才运行,简化访问控制检查。

除了上述几大安全部分所具备的缺陷,作为一个开源云计算平台,Hadoop面临的威胁有:

2.3 Hadoop 2(YARN)面临的安全威胁

陈玺, 马修军, 吕欣. Hadoop生态体系安全框架综述[J]. 信息安全研究, 2016, 2(8):684-698.

YARN的授权机制是通过访问控制列表(ACL)实现的。访问控制列表授权了哪些可以访问,哪些无法访问。按照授权实体,可分为作业队列访问控制列表、应用程序访问控制列表和服务访问��制列表。

(3)用于数据访问控制的块访问令牌。当需要访问数据块时,NameNode会根据HDFS的文件许可做出访问控制决策,并发出一个块访问令牌,可以把这个令牌交给DataNode用于块访问请求。因为DataNode没有文件或访问许可的概念,所以必须在HDFS许可和数据块的访问之间建立对接。

(2)审查日志(Audit Log)

2 Hadoop安全机制

TokenAuthenticator = HMAC-SHA1(masterKey, TokenID)

下面关于Hadoop的文章您也可能喜欢,不妨看看:

1.1 Hadoop发展历史

Kerberos也有几大缺点:采用对称加密机制,加密和解密使用相同的密钥,安全性有所降低;Kerberos中身份认证服务和授权服务采用集中式管理,系统的性能和安全性也过分依赖于搭载这两个服务的服务器的性能和安全。

为HTTP Web控制台提供“即插即用”的认证。网络应用和网络控制台的实现者可以为HTTP连接实现自己的认证机制,包括(但不限于)HTTP SPNEGO认证。当用户调用RPC时,用户的登录名会通过RPC头部传递给RPC,之后RPC使用简单验证安全层(Simple Authentication and Security Layer,SASL)确定一个权限协议(支持Kerberos和DIGEST-MD5两种),完成RPC授权。

最大时间(maxData)。每个令牌与一个失效时间关联,若当前时间超过失效时间,则令牌会从内存中清楚,不能再使用。

2.2.3 Hadoop 2(YARN)的其他安全机制

(3)资源控制

利用Kerberos获得最初认证后,客户端获得一个委托令牌,令牌赋予节点之间的某些权限。获得令牌后,客户端视情况将它传递给下一个在Namenod上的作业。任何获得令牌的用户可以模仿NameNode上的用户。Hadoop中的令牌主要由下表列出的几个字段组成[5]:

(2)基于ACL的访问控制机制过于简单。Hadoop中采用简单的访问控制机制,对访问权限的设定与Linux—样,存在可读、可写、可执行三个权限,但此简单的访问控制机制显然不能对数据进行很好的保护。

(2)DataNode 是具体任务的执行节点,存在于客户端,承担具体执行任务相关的数据及操作。DataNode 接受 Nmaenode 的统一调度,对文件的 Block 块进行创建、删除、和复制等操作,同时 DataNode 还负责接收处理客户端对文件的读/写请求。

为了方便管理集群中的用户,YARN将用户/用户组分成若干队列,并可指定每个用户/用户组所属的队列。在每个队列中,用户可以进行作业提交、删除等。通常而言,每个队列包含两种权限:提交应用程序权限和管理应用程序权限(比如杀死任意应用程序),这些可以通过配置文件设置。

2.1 Hadoop早期安全机制

首先需要配置SSL来加密HTTP协议。为了避免恶意用户访问Reduce后的输出结果,Reduce任务计算请求的HMAC-SHA1,并通过作业令牌加密当前时间戳。任务追踪器将利用该HMAC-SHA1与请求中发送的HMAC-SHA1。如果计算出的HMAC-SHA1是URL中的一个,任务追踪器将会相应请求。

1.2 HDFS框架介绍

1 Hadoop体系架构介绍:

HDFS 是Hadoop平台的分布式文件管理系统[3],是Hadoop最重要的组件之一。它采用 Master/Slaver 架构对文件系统进行管理。一个 HDFS 集群一般由一个NameNode节点和一定数量的DataNodes 节点组成。下面是各类节点在集群中的主要作用:

TokenID = {ownerID, renewerID, issueDate, maxDate, sequenceNumber}

(3) 服务访问控制列表

HDFS现存的数据服务协议封装了简单的认证与安全握手协议。认证后,NameNode产生数据加密密钥并将数据信息(如数据块位置、数据块标志、访问令牌等)发送到客户端,成为MD5-DIGEST的凭证。

实战CentOS系统部署Hadoop集群服务 http://www.linuxidc.com/Linux/2016-11/137246.htm

本文由金沙澳门官网发布于澳门金莎娱乐网站,转载请注明出处:澳门金莎娱乐网站:Hadoop系统框架安全机制,在

关键词: 金沙澳门官网