V版本出爐浪潮聚焦核心組件優(yōu)化社區(qū)貢獻再獲中國第一

浪潮

2020-10-23 15:14 4535

北京2020年10月23日 /美通社/ -- 10月14日，OpenStack社區(qū)發(fā)布了第22個版本 -- Victoria。據(jù)悉該新版本共收到了來自45個國家/地區(qū)、160個不同組織、近800位開發(fā)人員的20,000多個代碼更改，并同時聚焦Nova、Cinder、Cyborg、Vitrage、Manila等核心組件進行了大量優(yōu)化工作。針對以上核心組件的技術(shù)貢獻，浪潮繼U版本后排名再次登頂中國第一，有效推動了OpenStack技術(shù)創(chuàng)新與發(fā)展。

聚焦Cyborg技術(shù)創(chuàng)新高效釋放硬件加速性能

作為OIF基金會黃金會員，浪潮始終以“源于開源，饋于開源”為宗旨，多年來持續(xù)投入社區(qū)貢獻，憑借著強大的技術(shù)創(chuàng)新能力和深厚的技術(shù)底蘊，在裸機、容器、人工智能和加速設(shè)備方面取得了突破性進展。

近年來隨著深度學(xué)習(xí)算法的突破，面對當(dāng)前計算能力的局限性，硬件加速受到越來越多關(guān)注，許多研究機構(gòu)對硬件加速器進行了廣泛而深入的研究。尤其是Cyborg加速設(shè)備管理項目活躍于社區(qū)，管理GPU、FPGA、ASIC、SSD、NVMe等加速資源，為虛擬機提供計算加速，在人工智能和邊緣計算領(lǐng)域都充當(dāng)著不可或缺的角色。

基于此，浪潮從實際應(yīng)用場景出發(fā)，面向AI和邊緣計算開發(fā)GPU Tesla V100、FPGA、NVMe等硬件驅(qū)動，為AI訓(xùn)練、AI推理、AIStation提供硬件加速支持，為硬件設(shè)備在AI、邊緣等方面性能加速提供了先決條件。

浪潮云海OS集成Cyborg應(yīng)用

值得提及的是，在之前U版本完成創(chuàng)建虛擬機支持加載Cyborg管理的加速資源基礎(chǔ)上，浪潮持續(xù)優(yōu)化虛擬機的高級功能。在最新V版本中完成了支持通過Cyborg管理的虛擬機的疏散和重建操作，并計劃在Wallaby版本支持對通過Cyborg管理的虛擬機的擱置和取消擱置、掛起和恢復(fù)、掛載和卸載及遷移操作，增加GPU虛擬化管理、NVME SSD驅(qū)動等功能，提高Cyborg對加速資源的管理能力。Cyborg支持虛擬機疏散和重建操作的實現(xiàn)原理及方式如下：

虛擬機疏散/重建實現(xiàn)原理

虛擬機疏散實現(xiàn)

優(yōu)化Vitrage服務(wù) 提升查找預(yù)警智能化

此外，針對大規(guī)模部署場景，浪潮還在V版本中集成Vitrage項目提供根因分析（Root Cause Analysis）服務(wù)，進行平臺問題定位分析，建立集群內(nèi)全量資源拓?fù)洳Ω婢录M行推導(dǎo)分析，實現(xiàn)故障問題的根因查找和異常故障的預(yù)警。

“在最新V版本中，我們根據(jù)實際應(yīng)用場景在環(huán)境部署和完善功能方面對Vitrage服務(wù)進行了優(yōu)化。例如增強環(huán)境部署能力，在Kolla和Kolla-ansible項目中增加Vitrage-Persistor容器化配置，完成Vitrage服務(wù)容器化自動部署配置。”浪潮研發(fā)工程師表示。

眾所周知，Vitrage數(shù)據(jù)源分資源類型和告警類型兩類，浪潮根據(jù)實際應(yīng)用場景完善根因服務(wù)相關(guān)功能，告警事件在場景規(guī)則分析時應(yīng)具備時效性，新增過期告警清理功能，統(tǒng)一為告警類型的數(shù)據(jù)源添加過期告警刪除功能，實現(xiàn)Vitrage Graph中過期告警實體的自動化刪除。增強Vitrage的告警事件與資源實體匹配能力方案設(shè)計及實現(xiàn)如下：

Vitrage告警事件與資源實體匹配方案及實現(xiàn)

增強Vitrage資源實體與告警事件匹配能力后可達到的效果如下：

Vitrage告警事件與資源實體匹配效果展示

“我們計劃在Wallaby版本優(yōu)化資源類型的數(shù)據(jù)源，增強資源與告警事件的匹配能力，提高Vitrage對其他監(jiān)控系統(tǒng)的適配能力；另外持續(xù)增加新的數(shù)據(jù)源，以擴大根因服務(wù)的支撐生態(tài)圈。”浪潮研發(fā)工程師總結(jié)道。

完善卷數(shù)據(jù)拷貝機制提高拷貝效率

浪潮此前在單集群500節(jié)點大規(guī)模測試場景中發(fā)現(xiàn)了稀疏文件拷貝效率低下的問題，本次經(jīng)過深入代碼分析以及多次場景模擬測試，對Cinder項目中的卷數(shù)據(jù)拷貝機制也進行了深度優(yōu)化和技術(shù)創(chuàng)新，在卷中稀疏文件占比較大時降低拷貝時間，提高拷貝效率。

當(dāng)卷中的數(shù)據(jù)為稀疏文件時，在數(shù)據(jù)拷貝過程中，能夠自動識別稀疏文件的空洞空間；從源卷讀取到的chunk數(shù)據(jù)為空洞數(shù)據(jù)，則自動跳過向目標(biāo)卷的寫入，而僅僅改目標(biāo)卷的偏移量，從而加速卷拷貝過程。

稀疏文件優(yōu)化原理