黄站在线观看,伊人网av,亚洲av无码不卡

AI浪潮襲來，百代OSS國產可信存儲為何堪當大任

2023-06-19 16:44:21 來源：實況網

AIGC浪潮的襲來，人們真正意識到AI給生產力帶來的巨大飛躍，AI大模型成為行業用戶重點關注的對象。

配圖11.png

但ChatGPT的成功，除了整合Transformer等多種人工智能技術之外，基礎設施的高效支撐也功不可沒：如何高效存儲與處理海量多元數據，如何實現數據全生命周期的高效管理，如何為AI大模型選取合適的數據精度…

AI工作的負載不同于以往任何處理過的IT負載，具有全新的特點，它面對的是海量的非結構化數據集，需要極高的隨機訪問性能，極低延時以及大規模存儲容量。

盡管AI時刻在推動存儲發展，但是想要進一步激活存儲潛力，仍需要解決AI場景下，存儲容易面臨的挑戰。

那么AI對存儲提出了怎樣的挑戰？

海量非結構化數據存儲

AI業務中除了個別業務場景主要針對結構化數據進行分析外（例如消費記錄、交易記錄等風險控制、趨勢預測場景），大多數場景需要處理的是非結構化數據，例如圖像識別、語音識別、自動駕駛等，這些場景通常使用的是深度學習的算法，必須依賴海量圖片、語音、視頻的輸入。

數據共享訪問，對數據訪問接口有一定要求

多個AI計算節點需要共享訪問數據。由于AI架構需要使用到大規模的計算集群（GPU服務器），集群中的服務器訪問的數據來自一個統一的數據源，即一個共享的存儲空間。能實現共享訪問的通常有對象存儲和文件存儲。從AI應用框架的角度看，文件接口是最友好的存儲訪問方式。

讀多寫少

AI數據特點是讀多寫少，要求高吞吐、低延時。深度學習過程訓練中，需要對數據進行訓練，以視覺識別為例，它需要加載數千萬張，甚至上億張圖片，針對圖片使用卷積神經網絡、ResNet等算法，生成識別的模型。

完成一輪訓練后，為了減少圖片輸入順序的相關性對訓練結果帶來的影響，會將文件次序打亂之后，重新加載，訓練多個輪次（每個輪次稱之為epoch）。這就意味著每個epoch都需要根據新的順序加載數千萬、上億張圖片。圖片的讀取速度，即延時，對完成訓練過程的時間長短會造成很大影響。

“工欲善其事，必先利其器”，要想發揮出AI人工智能技術的最大威力，解決存儲挑戰就成為企業構建強有力的IT基礎設施的重要一環。

有哪些數據存儲解決方案，能滿足以上AI大規模應用的需求呢？

百代OSS國產新一代可信存儲系統——AI浪潮下的國產自主數據存儲解決方案

配圖22.png

百代公司的OSS可信存儲系統是一款具備完整知識產權且自主可控的國產數據存儲系統，實現存儲+應用的生態體系，包含存儲OS、移動端、客戶端及服務。

百代OSS所具備的幾大特性非常契合AI應用的綜合需求。

首先百代OSS采用大型系統小型化搭建思路，支持分布式融合存儲，且具備高擴展能力、高可靠性等優勢，可以完美應對AI海量數據帶來的種種挑戰。

第一大特征多元融合

百代OSS分布式融合存儲第一個重要的特征就是多元融合，融入大數據協議，利用協議融合免去數據復制，讓數據處理的效率大幅提升，滿足AI應用的處理需求。

第二大特征智能敏捷

雖然當前數據量爆炸性的增長，但是被用來分析的數據量依然很小。相關數據顯示，已獲取數據的平均留存率僅為2%，大量數據從未被分析和利用，百代OSS分布式融合存儲能夠實時、智能地處理數據，滿足各種AI應用帶來的性能需求。

第三大特征數據安全

隨著AI應用走向普及，各種安全問題也隨之暴露，作為數據最后一道防線，百代OSS數據保護能力強大，多個備份目的地包括本地或異地NAS、服務器、公有云、私有云等。

靈活排程，將備份任務計劃為每天或每周自動啟動；適用云存儲，選擇云存儲或云對象存儲作為備份目的地。

支持多系統平臺的備份尤其針對Windows；不僅支持文件備份及一鍵恢復，還支持操作系統的備份與恢復，且可靈活對每個備份節點進行恢復；私有云數據保護平臺通過連續主動的數據備份，將重要數據備份至存儲。

第四大特征高性能、高規格、高性價比

采用更好的硬件配置和工業設計，保證系統擁有良好抗震動、散熱和設備穩定性。從小核CPU到大核到分布式，為用戶不同的業務提供多樣化的硬件選擇。

合理的價格，高端的用料和做工，保證產品的高性價比。

完善、易用的虛擬化工具，既有輕量的容器化應用，也有完整的虛擬機體系，極大節約了用戶的硬件成本。充分利用百代OSS完善的存儲和網絡體系，存儲系統虛擬化輕松實現容器、host、本地網絡里設備和外網對內網的訪問和互聯互通。

寫在最后

或許很難預測未來的存儲技術究竟是怎么樣的，但是我們可以肯定的是，未來AI將持續驅動存儲發展。

我們希望百代OSS能夠提供關于AI業務對存儲實際需求的觀察和洞見，幫助客戶落地AI業務，提供AI存儲產品的優化方案。

標簽：