由于遍布全球的采集设备可以采集无处不在的信息,我们能够访问到比以往任何时候更多的数据。 这样的大数据也带来了重大机遇和诸多挑战。 大部分数据是可用来为个人和企业获得见解的敏感信息。 需要有大型数据库和大量处理能力来存储和分析信息,而且要有可靠的数据安全性以确保数据免受恶意访问。

本文将探讨使用 Intel® Xeon® Processor E5-2600 系列和 Intel® Communications Chipset 89xx 系列实现数据处理和增强大数据安全性的好处。 并将介绍 Intel® 智能系统联盟Premier级会员Advantech的实施案例。 本联盟的250 多个会员与 Intel 紧密合作开发软件、工具和服务,加快将智能系统推向市场的步伐。

处理大数据

通过各种来源可收集到大量数据,这些来源包括远程和无线传感器、无线射频识别 (RFID) 读取器、摄像头、麦克风和其他信息传感设备。 大数据规模不断增长,有些数据集快要达到 PB 级别。 为了从大数据系统获得最大利益,需要快速处理大型数据集并整合跨多个数据源的信息。

使用 Hadoop 软件库可以非常方便地处理非结构化和半结构化数据。 Hadoop 是一个可扩展架构,它支持跨计算机集群分布式大数据处理。 Hadoop 的规模可从单个服务器扩展为上千台服务器,从而可以让大数据分析结果供多个业务访问。

大数据和 Hadoop 处理需要大量 I/O 和存储吞吐量。 Intel® Distribution for Apache Hadoop 软件集成硬件增强性能和安全功能,可提供显著的性能收益。 通过使用 Intel Distribution for Hadoop 和最新的 Intel® Xeon® Processor E5-2600 系列、10GbE 网络连接以及固态驱动器,Hadoop 可比上一代 Intel® Xeon® 处理器性能提升 30 倍以上。

大数据安全性

使用大数据会带来巨大的安全问题。 大数据是通过多种数据采集设备获得。 这些设备中的某些数据包含敏感信息,需要保护。 包括个人身份信息 (PII)、受保护的健康信息 (PHI) 和知识产权 (IP)。如果有了从其他来源获取的信息作为上下文,很多数据会变得更加敏感。因此,当数据被转移然后再储存后,公司则需考虑加密部分或全部数据。

加密的数据在被转移回储存驱动器前需进行解密处理,之后进行重新加密。 在被储存或转移至外部设备前,任何处理结果可能均需进行加密。 通过使用相同的系统进行处理和加密解密,可实现最大的效率和安全性。

提高大数据安全性

软件数据加密需要相当多的处理器周期。 Intel Distribution for Apache Hadoop 针对基于 Intel Xeon 处理器的Intel® Advanced Encryption Standard New Instructions (Intel® AES-NI) 进行了优化。 因此 Apache Hadoop 集群的加密性能提高了 5.3x ,解密性能也提高了 19.8 x 。 通过使用与处理器紧密耦合的硬件安全性能提升,可达到更高的安全性能。

Intel Communications Chipset 89xx 系列为解密/加密和压缩集成了硬件加速,并通过 PCIe Gen 2.0 和 DMI 接口与 Intel Xeon 处理器紧密耦合。 如图 1 所示,这些设备还集成了 4 Gb 以太网接口、 PCIe Gen 1 和其他 I/O 接口。

图 1.Intel® Communications Chipset 89xx 系列。

Intel Distribution for Apache Hadoop 支持嵌入 Intel Communications Chipset 89xx Series 的 Intel® QuickAssist 技术加速。 通过增加额外的 Intel Communications Chipset 89xx Series 设备可提升安全性能。

可扩展的硬件平台解决方案

带有 Intel Communications Chipset 89xx 系列的 Intel Xeon processor E5-2600 系列为计算和通信应用被集成到广泛的平台解决方案中,包括服务器、网络设备和 ATCA 。这些平台解决方案中的多数会支持带有安全硬件加速的 Intel Distribution for Apache Hadoop 。

Advantech CGS-6000 服务器集成了双 Intel® Xeon® processors E5-2600 和 E5-2600v2 。 使用如图 2 所示的带 4 个Intel Communications Chipset 89xx 系列的 Advantech PCIe 卡可提高硬件安全加速。CGS-6000 系统可配置 4 个全高度 PCIe x8 插槽。

图 2.带有四个 Intel® Communications Chipset 89xx 系列的Advantech PCIe 卡。

ATCA 是一个计算和通信应用的可扩展平台。 Advantech MIC-5333 ATCA 处理器刀片集成了 Intel Xeon processor E5-2600 系列和 Intel Communications Chipset 89xx 系列。 刀片还支持带有多达4 个 Intel Communications Chipset 89xx 系列设备的额外夹层模块。 Advantech NetariumTM ATCA System 平台可配置 2-14 插槽和可选的扩展后方转换模块 (eRTM) 。 如图 3 所示的 Advantech eRTM 模块支持多达 4 个网络夹层卡 (NMC) ,夹层卡可用于进一步的安全加速或其他功能。 Advantech FWA-6510 网络设备还可支持 NMC。

图 3. Advantech ATCA 扩展后部转换模块 (eRTM)

Intel Xeon Processor E5-2600 系列、Intel Communications Chipset 89xx 系列和 Intel Distribution for Apache Hadoop 的结合允许系统管理器部署正确的硬件和软件解决方案以提高大数据安全性。

了解更多

联系重要的Alliance级会员:

此博客中的解决方案:

相关主题:

AdvantechIntel®智能系统联盟Premier级会员。

Simon Stanley
流动记者(Intel®订约人),Intel®智能系统联盟
Earlswood Marketing首席顾问
在Twitter上关注我: @simon_stanley