2018年3月,NVIDIA宣布支持Kubernetes容器的GPU加速,NVIDIA向 Kubernetes 开源社区贡献了自家的GPU增强技术。机器学习的工作量往往很大,无论是所需的算力、还是驱动它的数据,而Kubernetes 可帮助编排这些工作负载。
黄仁勋称:“现在我们已经有了所有这些加速框架和代码,然后该如何将它们部署到数据中心的世界中呢?比如 Kubernetes!它将为我们带来相当多的欢乐。”他还提到,“另外在本次更新中,协调器已经获得了 GPU 感知能力,Docker 容器现已获得 GPU 加速能力,我讲到的所有这些框架、推理的工作负载、所有云,都可以 GPU 加速。”
GPU芯片算力的提升和加速技术的发布将不断推动市场的发展,当下AI市场发展的如火如荼,商汤、依图、全志等公司提供的AI芯片也都采用了GPU架构为智能云端提供算力。随着Docker和Kubernetes等容器技术的不断发展和完善,利用容器技术全面支持GPU和CPU异构集群算力资源的分配、管理和调度的能力也将成为必然的趋势。
BoCloud博云容器云产品BeyondContainer最新发布的1.7.1版,已经实现了支持GPU主机管理,以及应用发布、灰度发布、应用复制、扩容缩容等(应用部署相关功能)支持基于GPU资源配置和调度。
支持异构集群,单一集群即支持CPU又支持GPU
支持单一集群多种GPU共存,将不同应用运行在适合的GPU上
多租户共享,支持多种应用框架,灵活扩展计算能力,快速满足业务需求
基础设施可视化,监控资源使用情况,有效减少GPU碎片化
镜像可移植,避免因主机GPU驱动更新而导致所有镜像更新
支持nvidia-docker,nvidia-smi等GPU原生操作
GPU in Kubernetes,在 Kubernetes 里面我们做了GPU discovery.(kubelet),GPU assignment/release.(kubelet),Kube-API" target="_blank">apiserver/Kube-scheduler
方便快捷的初始化GPU运行时环境
GPU隔离,避免将同一颗GPU分配给不同容器
BeyondContainer的 GPU容器支撑架构:
BeyondContainer的 GPU容器支撑架构
当前基于GPU的应用程序,正在迅速成为标准工作流程的一部分,特别是在视频编解码、自然语言处理、深度学习、图像识别等领域,这些应用程序在容器化平台中的部署、测试已经迅速成为公认的惯例。
在过去的几年里,GPU的计算性能突飞猛进。现代GPU不再只是强有力的图形引擎,更是通用的可编程并行多处理器。一个GPU拥有数百个并行处理核,可以同时执行数万甚至数十万个线程。GPU的这种高度并行化结构,赋予它快速处理大规模问题的能力,NVIDIA于2007年发布了CUDA统一计算架构,随后开发者开发了一系列的使用GPU计算的应用,包括排序、搜索、生命科学计算、天气预报等。
现代GPU的算力比同时代CPU的计算能力胜出几个数量级,同时由于虚拟化技术的风靡一时,业界纷纷致力于GPU虚拟化技术的开发。Docker容器的发布给虚拟化技术带来了一场全新的变革,基于GPU的应用程序在Docker上实现容器化部署和隔离加速。
产品功能
BeyondContainer是BoCloud博云容器云产品,产品基于微服务思想和DevOps理念,利用Docker基础平台、DevOps组件、微服务PaaS中间件等功能模块提供对应用的构建、测试、部署、更新、运维管理的应用全生命周期管理功能。实现基于容器的应用持续集成和快速部署、秒级弹性伸缩、业务可用性保障等关键特性,以帮助企业应对互联网时代业务快速发展的需要。
BeyondContainer 1.7.1版技术底层基于OpenShift3.6版本,同时兼容支持Kubernetes 1.8及以上版本、Docker 17之后更新的社区版。新版本在用户管理方面提供了更友好的操作界面,提供多OpenShift集群管理能力,使用户能够基于一个统一管理界面对多集群进行管理,简化平台日常运维工作,实现容器平台的统一管理。在应用生命周期管理方面,基于openshift的templates模板能力实现了复杂多模块的应用的可视化编排部署,实现了系统级(而非容器级)的应用管理能力。
作为企业级的容器云平台,BeyondContainer通过产品业务价值,帮助企业提升其核心业务的商业效率。BeyondContainer具备平台运维、平台运营、应用运维三大方面的能力,可满足企业应用运维、持续集成、微服务开发运维等多种应用场景需求。产品主要功能包括:
支持区域->租户->项目->应用的层级管理
基于角色的仪表盘
基于Jenkins的CI/CD的流水线
资源管理及对存储、集群、主机、仓库的全方位可视化管理
集群,主机,容器,应用,审计,操作级日志
集群,主机,组件,容器监控告警
基于租户,项目的配额和计量计费
全方位的镜像,容器,应用管理
支持区块链应用
支持GPU资源管理
博云容器云平台BeyondContainer已在金融、电力、能源等行业中落地,帮助企业大幅缩短应用迭代周期,实现应用全生命周期管理,提升资源利率,产品可靠性、稳定性、安全性久经考验。博云同时为企业客户提供DevOps及微服务咨询服务,从开发、测试、部署、运维,帮助企业实现DevOps开发运维一体化,响应企业客户对业务需求和IT系统的快速升级的需求。