主页 > R生活化 >英特尔的巨量资料策略 >

英特尔的巨量资料策略

2020-08-02

现今联网装置的数量已和全球人口总数不相上下,预计到2015年还会增加一倍1,主要的成长动力来自数十亿的联网感测器和智慧型系统 – 也就是大家熟知的物联网(Internet of Things,IoT)。从智慧型手机与平板电脑等行动装置一直到支援RFID技术的读取机(readers)与感测器(sensors),不论是人或机器都能以飞快的速度产生资料。

事实上,英特尔估计全球每11秒就会产生 1petabyte的资料,这样的资料量相当于长度达13年的高解析度影片。巨量资料指的正是这种爆炸性成长的资料 – 其特徵包括庞大的资料量、多元性、以及成长速度 – 透过巨量资料分析可能带来新的科学发现、商业模式、以及消费者经验,让我们的生活更精采丰富。

英特尔的理念是世界上的每个人与组织都有能力善用巨量资料带来的资讯。英特尔的目标是克服在管理、储存、保护如此庞大资料所涉及的成本、複杂度、以及保密等方面的问题。

为解决这些问题,英特尔提供多种开放性资料管理与分析软体平台,其中包括Intel Distribution of Apache Hadoop* (Intel Distribution)软体,以及Intel Enterprise Edition for Lustre*软体。Intel Distribution of Apache Hadoop 软体 - Hadoop 是开放原始码框架,用于可扩充的伺服器丛集上储存与处理多元化资料。Intel Distribution率先提供完整的加密功能,透过在Intel XeonR处理器内的Intel 进阶加密指令集(AES New Instructions)来执行加密运算。再加上Hadoop Distributed File System*分散式档案系统支援以硅晶片执行的加密功能,让企业能够更安全地分析其资料集,而且处理速度丝毫不减。Intel Xeon处理器平台针对网路与IO技术进行的最佳化,造就出更上一层楼的效能。过去得花上超过四小时才能分析完1 terabyte的资料,现在只须七分钟2就能完成,这都要归功于英特尔硬体与Intel Distribution软体快速处理资料的能力。

Intel Enterprise Edition for Lustre软体 – Lustre是开放原始码的平行分散式档案系统,也是关键的储存技术,它不仅把资料连结在一起,还带来极快的存取速度。Intel Enterprise Edition for Lustre软体是通过验证并有供支援的Lustre软体,内含许多管理工具,并针对Intel Distribution软体提供新的连结程式。搭配Intel Distribution一起运作时,Intel Enterprise Edition for Lustre软体让Hadoop能在Lustre上运行,因此大幅缩短资料存取与分析的速度,这让使用者能更快速地直接从全球档案系统存取档案,进而缩短分析时间,且更有效率地运用各种储存资源并简化储存管理流程。

英特尔致力向开放原始码社群回馈Apache Hadoop以及Lustre的改良成果,其目标是提供业界更好的基础,藉此推升创新的极限,并实现巨量资料带来的转型契机。

  由英特尔实验室(Intel Labs)主导的多项计划,促使学术界投入研究资料密集的运算平台、机器学习(machine learning)、平行演算法(parallel algorithms)、视觉化(visualization)、以及电脑架构等领域。英特尔还特别为巨量资料设立Intel科学与技术中心(Intel Science and Technology Center,ISTC),由麻省理工学院(Massachusetts Institute of Technology,MIT)电脑科学与人工智慧实验室(Computer Science and Artificial Intelligence Laboratory,CSAIL)主持。此研究中心的目标是鼓励各界开创新的资料密集使用经验,并加快科学、医药、以及工业界的研发脚步。

  此外英特尔还发表GraphBuilder,这项尚在测试阶段的开放软体能协助业界与学界的科学家快速开发新应用程式,只须描绘资料的关联性就能开发出软体。此外,英特尔持续投资研究,并挹注资金培植巨量资料的产业体系。英特尔实验室扮演先锋角色,带动包括开发Intel Graph Builder for Apache Hadoop*软体等先进分析的研究,这个函式库能将庞大的资料集描绘成图形,协助使用者以图象表达资料之间的关联。

  英特尔投资(Intel Capital)持续推动重大投资案,促进业界发展突破性巨量资料分析技术,其中包括专门开发MongoDB资料库技术的公司10gen,以及巨量资料分析的解决方案供应商Guavus Analytics。

带动亚洲客户採纳巨量资料
  为了推动巨量资料解决方案,英特尔透过多种途径:包括系统整合商(SI)、独立软体厂商(ISV)、OEM、以及培训伙伴(training partners),共同推动巨量资料市场的成长。

  英特尔与技术产业体系的所有关键领域业者,包括和系统整合商、独立软体厂商、以及OEM厂商合作,让伙伴有能力解决客户在巨量资料与云端领域遭遇的挑战,并开拓新的获利来源。藉由和培训伙伴合作,英特尔带动客户参与,让他们了解各种使用者案例,以及巨量资料为各种行业所带来的机会。

  最近位于新加坡的巨量资料创新中心(Big Data Innovation Center)正式揭幕,进一步体现英特尔致力促进亚洲地区客户採纳巨量资料的承诺。该中心是英特尔、戴尔(Dell)、以及Revolution Analytics共同推动的合作计画,这项亚洲首见的重量级计画,目标为扩展巨量资料分析在亚太地区的市场潜力。此中心汇集三家公司的专家,为客户提供深入的培训计画、概念性验证能力与解决方案开发的支援,让参与人士获得必要的技能,并且从更多来源厂商购入的众多平台上改进资料挖掘(data mining)的品质。

  英特尔副总裁暨资料中心软体部门总经理Boyd David在该中心启动发表会上谈及合作案时表示:「英特尔致力为业界提供更好的基础以突破创新的极限,并实现巨量资料带来的转型契机。英特尔与戴尔和Revolution Analytics的合作正实现我们的愿景,协助东南亚地区的客户、组织、政府机构、以及独立软体厂商充分掌握市场成长商机并推动新的计画。」

带动亚洲客户採纳云端方案

实例分享:广达电脑
今年稍早,为定义全球最大资料中心使用的新一代机架技术,英特尔与Facebook发表由广达电脑所开发的机架架构,展现分散化架构在改进总成本、设计、以及可靠性等方面的潜力。

分散化机架架构包含英特尔新的光子架构,以高频宽的100Gbps Intel 硅光(Silicon Photonics)技术为基础,相较于现今的铜线连结技术,使用的缆线更少、频宽更高、传输距离更长、省电性也大幅提升。Silicon Photonics硅光技术採用全新的途径,利用光(光子)以极高的速度传递庞大的资料,且耗电量极低,并使用极细的光纤,而不是透过铜线传递电讯号。英特尔过去二年投入硅光技术的研发,成功迈入可生产阶段,并已生产工程样本。藉由分离关键零组件,每个电脑元件可单独升级,无须一起更换。如此一来,每个元件的生命週期可再延长,IT管理者只须更换特定资源,不必一次汰换整个系统。更高的维护效率与灵活性,可以改善基础架构投资的总成本并提供更高弹性。此外,排热效率亦可提升,机架可置入最佳化的零组件。现已做出的机械原型呈现英特尔的光机架架构,连结机架内的各项资源,让运算、网路、以及储存等资源都可分散置于机架内。

广达QCT总经理杨晴华表示:「资料中心与网路基础架构供应商持续面临压力,必须在公有云与私有云上支援各种能产生营收的新服务,然而建构这种基础架构的成本过于昂贵以致无法着手推动。我们与英特尔合作,成功展现分散化机架架构所带来的商业价值,尤其是在成本、设计、以及可靠性等方面。未来几年资料量持续成长之下,此架构将成为关键元素让使用者能从自己的云端环境中因应扩充以及后续衍生的各种需求。」

与产业伙伴合作

与SAP结盟
英特尔与SAPR延续双方十年的合作关係,结合硬体与软体的专长,协助企业克服眼前的各种挑战。双方共同研发的结果促使企业加快创新脚步,并为其客户提供更卓越的价值。

包括SAPR Business Suite在内,有许多SAP软体都能在英特尔平台上运作。越来越多客户採用SAP HANAR以及SAP HANA支援的SAP Business Suite,加上携带自有装置(BYOD)为企业行动力带来的效应,这些因素都加快企业转型的脚步。促成这些发展的原因,包括因应需求变化的高效率扩充能力、减少停机时间的稳健功能、即时性与丰富的生产力,以及在客户端装置、资料中心、云端等环境中各式各样解决方案具备的成本效率。SAP HANA 提供即时的商业资讯,加快分析速度,藉由简化底层的基础架构与运作框架,并提供一贯的私有云与公有云环境,建构最佳化的平台。由于不受资料类型的限制,因此在建置时不会影响现有的应用或系统- 这种弹性且成本效率极高的即时环境能应付庞大的资料量,让组织在营运多个资料仓储与分析系统时能大幅降低硬体与维护成本。

英特尔-SAP 共同推出的解决方案带来领先业界的效能:(1)智慧型效能,在更小的伺服器空间内提供卓越的分析功能,根据作业负载的需求让处理器机动运作;(2)自动调适的能源效率,自动调节消耗电力,并根据应用的需求以智慧功能调整效能;(3)高等级的可靠性,藉由进阶的加密与虚拟化技术,使资料中心更加安全可靠;(4)无可比拟的行动力,让企业将各种行动装置连至企业网路,不仅简化IT作业,还能降低採购、布建、保护、以及维护这类装置的总持有成本。

英特尔与SAP专注于确保未来解决方案能与客户现今建置的系统流畅的互通运作,并支援目前与未来的SAP应用程式。在英特尔与SAP的努力下,企业能达到更高的效能、改进效率与成本管理成效、并提高在软体即服务(SaaS)市场的地位。

与REDHAT结盟
英特尔与Red Hat多年来一直支持关键任务运算环境,协助企业对其成本模式进行最佳化,并维持最高的效能与可靠性。

凭藉近期在硬体与软体方面的突破,英特尔与Red Hat为大型资料中心的汇整任务提供卓越的全新支援,在功能强大且富灵活性的企业级伺服器上承载现今要求最严苛以及关键任务的资料库与交易作业。

这些进展象徵着运算产业的一大转折点。各大企业软体厂商均着手在内含Intel Xeon处理器与运行Red Hat企业版Linux作业系统的伺服器上验证其解决方案。

企业IT部门现在能运用经济型的标準运算基础架构来满足最严苛的运算需求,所用到的成本低于UNIX/RISC架构的花费。有了这些新的解决方案,企业没有理由再投资昂贵的专利型运算解决方案,即使是在最大型和最具关键任务特质的企业级应用。

Red Hat公司行销经理Frank Feldmann谈到与英特尔的结盟时表示:「英特尔一直是Red Hat的重量级伙伴,我们之间的合作开创出许多产业进展,让我们的客户能在超大规模的标準化基础架构上运作,并得到企业要求的可靠性与稳定性。透过全方位的合作,英特尔与Red Hat为关键任务运算带来许多突破性的功能,并延伸Red Hat企业版Linux作业系统以及英特尔Xeon处理器系列的卓越价值,融入到企业资料中心的核心。」

英特尔与Red Hat正合作把创新融入Linux产业体系,为虚拟化与储存系统创造更强大、开放、统合的运算堆叠基础。

客户成功案例

台湾证交所
台湾证券交易所是负责股票交易的金融机构,为台湾758家股票上市公司提供交易服务,其主要业务範畴包括开发新的金融商品,以及增加服务提供的数量。为因应日新月异的商业需求,并增进其云端基础架构的整体信赖度与安全性,台湾证券交易所正进行一项联合概念性验证(PoC)计画,採用包括IntelR可信赖执行技术(Intel Trsuted Execution Technology,TXT)、思科(Cisco)的统合运算系统(Unified Computing System,UCS)伺服器,以及包括HyTrust、McAfee、VMware等厂商的软体解决方案。

从初期的实机验证布建中,台湾证券交易所估计其他部门将能更有效率地运用云端基础架构来增进商业反应速度、降低成本、以及改进资产使用效率,且完全不会有安全上的顾虑。

相关推荐

精选文章

点击排行