企业概况

您所在位置:首页 > 企业概况 > 正文

新框架推动了高性能计算的极限

文章作者:www.cs-vaccine.com发布时间:2020-02-03浏览次数:590

大规模,先进的高性能计算(通常称为超级计算)对于解决复杂和大型问题至关重要。

从回答关于宇宙起源的形而上学问题到发现抗癌药物到支持高速流媒体服务,一切都需要处理大量数据。但是,对这些高级计算机系统至关重要的存储平台仍然处于严格的框架中,要求用户在功能定制或高可用性之间进行选择。现在,弗吉尼亚理工大学的研究人员已经找到了一种方法,通过第一个名为BespoKV的框架,使高性能计算(HPC)数据系统变得灵活,这可能有助于实现HPC的目标。 Exascale,或每秒1000亿次计算。研究人员将于11月13日在德克萨斯州达拉斯举行的计算机学会/IEEE超级计算大会上展示他们的研究成果。

新平台功能的主要组成部分是键值(KV)系统。 KV系统从非常快速的基于内存的存储而不是较慢的磁盘存储和检索重要数据。这些系统越来越多地用于当今的高性能应用程序,这些应用程序使用由许多计算机组成的分布式系统来解决问题。高性能计算依赖于以前所未有的速度接收,处理和分析大量数据的计算机。目前,最好的系统每秒运行petaflops或petaflops。该研究涉及处理大量数据的行业,无论是空间使用,电影流媒体网站的强大视觉图形,大型信用卡公司的数百万金融交易,还是社交媒体上的用户生成内容。想想像Facebook这样的大型媒体网站,其内容不断变化并不断访问。当用户将内容上载到其个人资料页面时,该信息驻留在多个服务器上。

但是,如果必须不断访问某些内容,KV系统作为存储介质可以更高效,因为内容是从附近的内存存储而不是远程存储服务器加载的。这允许系统在完成任务或请求时提供非常高的性能。 “我对关键价值系统感兴趣,因为这个非常基本和简单的存储平台尚未在高性能计算系统中使用,它可以提供很多好处,”该论文的第一作者,弗吉尼亚理工大学毕业生Ali Anwar说。目前在小发猫Research工作。 “BespoKV是一个新颖的框架,它允许HPC系统提供很多灵活性和性能,而不是与严格的存储设计相关联。”

BespoKV的主要创新之处在于它支持KV存储与所需功能的组合。它的工作原理是使用名为datalet的单服务器KV存储,并支持即时和即用型分布式KV存储。开发人员现在可以将数据集放入BespoKV并将分布式系统的“混乱管道”卸载到框架,而不是从头开始重新设计系统以完成特定任务。 BespoKV将KV存储设计与用于分布式管理的控制平面和用于本地数据存储的数据平面分离。

该框架还为企业和组织尚未预见的工作负载提供新的HPC服务。当今最先进的KV商店的主要限制因素之一是它们在设计时考虑了预先存在的分布式服务,并且通常专用于特定设置。另一个限制因素是不灵活的单片设计,其中分布式功能深入集成到具有后端数据存储的系统中,后端数据存储执行诸如管理库存,订单和供应之类的操作。这些KV商店的严格设计无法适应不断变化的后端,拓扑,一致性和许多其他服务的用户需求。

“大型公司的开发人员可以真正投资使用BespoKV设计创新的HPC存储系统。”计算机科学教授阿里巴巴表示,数据访问性能是HPC存储系统的一个主要限制,通常采用混合解决方案来提供灵活性。和性能,这是非常麻烦的。我们已经创建了一种显着加速系统行为的方法,以满足所需的性能,一致性和可靠性。 “BespoKV可以灵活,因为它允许在所需服务和可用组件之间进行任意映射,同时支持分布式管理服务以实现和启用与数据集相关的分布式KV存储。 “现在我们已经证明我们可以实现功能强大的HPC系统使用KV系统实现高效和简单的操作,因此客户无需在可扩展性和灵活性之间做出选择,”Butt说。该研究由美国国家科学基金会资助。除了Anwar和Butt之外,合作者还包括弗吉尼亚理工大学计算机科学助理教授Dongyoon Lee,弗吉尼亚理工学院的Jingoo Han,橡树岭国家实验室,乔治梅森大学以及Perspecta Labs。