Intel+Cloudera,用BigDL玩转深度学习

2017-07-28 09:04:00 作者:云中子 分类 : 比特网

  生活中无处不在的计算已经让我们习以为常,从各种手机应用到交水电费,无处不在的“远程控制”极大地方便了日常生活。除了这些与计算密切相关的应用,服务器存储的下一步发展应该走向何方呢?人工智能和大数据瞬间成为了新的“爆点”。

  越来越多的企业希望借助机器学习与深度学习,从海量数据中获取切实可行的洞察以指导企业决策、创造更多价值。据了解,英特尔在数据分析与人工智能领域深耕已久,借助性能强劲、安全可靠、且能满足细分应用市场多样化需求的计算、存储和网络基础设施平台。

  新至强给深度学习带来活力

  作为英特尔产品组合中的重要部分,最近发布的英特尔至强可扩展处理器不仅实现了性能、可靠性和可管理性方面的全面提升,也为企业提供了丰富的平台功能创新。据相关资料显示,在深度学习领域,相比3年前未经优化的服务器系统,英特尔至强可扩展处理器结合可加快交付人工智能服务的软件优化,可实现113倍性能提升。

  英特尔公司软件与服务事业部副总裁兼系统技术和优化部门大数据技术总监 马子雅

  有了硬件的支撑,还需要软件来优化,在人工智能和深度学习领域英特尔也与Cloudera深入合作。英特尔公司软件与服务事业部副总裁兼系统技术和优化部门大数据技术总监马子雅表示:未来,英特尔还将持续创新、着力构建广泛的生态环境,与Cloudera等生态合作伙伴建立更深入的合作关系,共同推动多元应用的开发,从而帮助企业实现业务上的变革和创新,驱动未来数据分析与人工智能的进一步发展。

  据马子雅介绍,如果把上一代的服务器迁移到新一代平台,据英特尔测试,大数据工作负载的基本性能可以提升2.7倍之多。而在与Cloudera合作方面,英特尔对Hbase 非堆存储的读操作优化后,性能提升5.6倍,这个优化被阿里巴巴使用,它在“双11”的时候把HBase的Throughput提升了30%,吞吐量提升了30%,也是没有增加任何硬件成本,纯粹只是通过软件优化来做到的。

  谈到人工智能,马子雅认为在硬件方面,英特尔希望给客户多样化的选择,而不是局限于某一种硬件,所以现在有至强、至强融核、FPGA,未来还会有Nervana的Lake Crest。

  英特尔带来BigDL,玩转集群管理

  在深度学习的框架层面,把英特尔优化过的数学核心函数库放到流行的深度学习框架里面去,比如Neon、Caffe、TensorFlow、Torch、Theano等等,这些都可以放进去,最终来提升它们的性能,客户可以直接使用这些优化过的深度学习框架。在应用程序层面,英特尔跟SDK,就是Software Development Kit,这样用户可以比较简单高效生成深度学习的解决方案,不需要太多了解底层具体的细节。

  系统升级与迁移一直都是用户关注的焦点,据马子雅介绍,英特尔很多客户是从大数据的应用背景中过来的,如果大数据的这些客户已经有了一个集群,包括已经在这个集群上构建了分析应用程序,这个情况下,他通常希望还保留那个集群,利用已有的集群做深度学习,但这样一来会带来更加复杂的管理问题。因此,基于开源的BigDL诞生了。

  BigDL是在Spark的基础上构建了分布式深度学习的框架,它将以往的深度学习框架同Spark结合之后,优势主要集中在:第一,它本身的深度学习功能是与已有的深度学习框架功能,比如Caffe、Torch、TensorFlow是完全一致的。所以它深度学习的功能非常丰富。

  第二,它能够无缝的跟Spark、Hadoop进行结合,与分布式数据、海量的数据进行结合。

  第三,它可以非常自然地利用Spark的可扩展性做到数据并行,所以可扩展性是非常好的,能够有效地在一个集群上做扩展。

  第四,低成本,因为很多客户不需要再去构建一个新的集群,可以利用BigDL在已有的集群上直接生成深度学习,所以成本非常低。

  第五,在性能方面,利用英特尔优化过的数学核心函数库以及通过多线程优化来提升它的性能,尤其是在至强服务器上,性能表现非常出色。

  深度学习发展潜力无限

  Cloudera 联合创始人兼首席技术官Amr Awadallah是一位技术大拿,他认为深度学习是很重要的趋势,将拥有一个巨大的市场。但说到机器学习,实际上它的范畴要远远大于深度学习。在目前常见的场景中,比如预判性决策、规律识别、还有一些异常情况的检测,这些都是需要用到英特尔CPU。也正是因为它的支持,才能够人机器学习有了这么长足的发展。

  Cloudera联合创始人兼首席技术官 Amr Awadallah

  绝大多数的公司,包括Cloudera在内,需要认真最关注考虑的是如何使用深度学习这样的技能和工具,来实现决策的自动化,因为决策的自动化才是最终要实现的目标。

  Amr表示,在这个方面,英特尔和Cloudera还会继续深度的合作,因为这个市场还会发展得越来越大。我们现在要应对和要处理的挑战是如何使用数据来进行决策,如何来将深度学习作为一种工具和技能,服务于最终的通过数据实现决策自动化的终极目标。

* 本文为ChinaByte比特网原创内容,版权所有,转载请注明出处和原文链接,未经授权请勿用于商业用途。

芥末视频

最近更新
科普

科普图集
带着朋友和机器人上月亮散步

带着朋友和机器人上月亮散步>>详情

邮件订阅

软件信息化周刊
比特软件信息化周刊提供以数据库、操作系统和管理软件为重点的全面软件信息化产业热点、应用方案推荐、实用技巧分享等。以最新的软件资讯,最新的软件技巧,最新的软件与服务业内动态来为IT用户找到软捷径。
商务办公周刊
比特商务周刊是一个及行业资讯、深度分析、企业导购等为一体的综合性周刊。其中,与中国计量科学研究院合力打造的比特实验室可以为商业用户提供最权威的采购指南。是企业用户不可缺少的智选周刊!
网络周刊
比特网络周刊向企业网管员以及网络技术和产品使用者提供关于网络产业动态、技术热点、组网、建网、网络管理、网络运维等最新技术和实用技巧,帮助网管答疑解惑,成为网管好帮手。
服务器周刊
比特服务器周刊作为比特网的重点频道之一,主要关注x86服务器,RISC架构服务器以及高性能计算机行业的产品及发展动态。通过最独到的编辑观点和业界动态分析,让您第一时间了解服务器行业的趋势。
存储周刊
比特存储周刊长期以来,为读者提供企业存储领域高质量的原创内容,及时、全面的资讯、技术、方案以及案例文章,力求成为业界领先的存储媒体。比特存储周刊始终致力于用户的企业信息化建设、存储业务、数据保护与容灾构建以及数据管理部署等方面服务。
安全周刊
比特安全周刊通过专业的信息安全内容建设,为企业级用户打造最具商业价值的信息沟通平台,并为安全厂商提供多层面、多维度的媒体宣传手段。与其他同类网站信息安全内容相比,比特安全周刊运作模式更加独立,对信息安全界的动态新闻更新更快。
新闻中心热点推荐
新闻中心以独特视角精选一周内最具影响力的行业重大事件或圈内精彩故事,为企业级用户打造重点突出,可读性强,商业价值高的信息共享平台;同时为互联网、IT业界及通信厂商提供一条精准快捷,渗透力强,覆盖面广的媒体传播途径。
云计算周刊
比特云计算周刊关注云计算产业热点技术应用与趋势发展,全方位报道云计算领域最新动态。为用户与企业架设起沟通交流平台。包括IaaS、PaaS、SaaS各种不同的服务类型以及相关的安全与管理内容介绍。
CIO俱乐部周刊
比特CIO俱乐部周刊以大量高端CIO沙龙或专题研讨会以及对明星CIO的深入采访为依托,汇聚中国500强CIO的集体智慧。旨为中国杰出的CIO提供一个良好的互融互通 、促进交流的平台,并持续提供丰富的资讯和服务,探讨信息化建设,推动中国信息化发展引领CIO未来职业发展。
IT专家网
IT专家新闻邮件长期以来,以定向、分众、整合的商业模式,为企业IT专业人士以及IT系统采购决策者提供高质量的原创内容,包括IT新闻、评论、专家答疑、技巧和白皮书。此外,IT专家网还为读者提供包括咨询、社区、论坛、线下会议、读者沙龙等多种服务。
X周刊
X周刊是一份IT人的技术娱乐周刊,给用户实时传递I最新T资讯、IT段子、技术技巧、畅销书籍,同时用户还能参与我们推荐的互动游戏,给广大的IT技术人士忙碌工作之余带来轻松休闲一刻。