淺析海綿資料推出大資料作業系統Sponge

海綿資料近日宣佈推出其第二代大資料作業系統產品Sponge。Sponge是一個簡單多層，相容完全POSIX相容的分散式NFS、Hadoop，支援物件儲存、雲端儲存、SDS（軟體定義儲存）、容器機制，整合Spark為計算引擎，基於記憶體計算技術的分散式系統，將大資料的儲存、管理和計算有機融合，具有實時一致性，易於相容現有系統，相比10年前誕生的第一代產品Hadoop更加簡單易用，易於擴充套件。僅僅有作為計算平臺的Spark不足以應對大資料的挑戰，整合後的Sponge技術框架，能夠同時支援大資料、雲端儲存、結構化、半結構化和非結構化資料的處理，代表了大資料的發展方向。

簡單 高效 可靠 經濟

今天已經沒有人再懷疑大資料的價值，雲端計算、移動互聯、物聯網、機器學習、無人機等前沿技術的普及與大資料的發展相得益彰，不論在美國還是中國，大資料已經在很多的IT企業和傳統企業開始落地，譬如網際網路金融公司的反欺詐流程，電信運營商的客戶服務分析，都貫穿著大資料和機器學習技術的應用，這也刺激著初創企業在這個領域尋找新的商業機會。

目前普遍被採用來應對大資料的是開源軟體與廉價的x86伺服器的組合，這些開源產品包括Hadoop、Spark、Storm、NoSQL等。傳統儲存和資料庫當然也針對大資料的需求升級，用來儲存價值密度低的大量非結構化資料卻不現實。這些原本被Google、Facebook、Yahoo等大公司驗證在某些場景很成功的開源專案，也存在問題：不同功能模組對應多個相互獨立的開源專案，為不同的目的而設計，其關係很複雜，缺乏通用性，系統部署和使用複雜而低效，二次開發困難，並且難以統一管理和監控，維護成本高，所以，需要有一個統一的`平臺。

簡單、高效、可靠、經濟，這四個詞，是海綿資料對第二代大資料作業系統的價值的追求，以及Sponge產品設計的理念。

滿足大量檔案資料讀寫IO的高需求

不同於以往以磁碟計算技術為核心的檔案系統，SpongeFS將叢集記憶體管理提升成為檔案系統的重要組成部分，以滿足大量檔案資料讀寫IO的高需求。SpongeFS基於分散式設計，上文說的Masterless結構，以及模組化架構，正是由SpongeFS來操盤的。

SpongeFS主要由叢集管理層、檔案管理層和儲存層構成。當資料進入SpongeFS，就被分成一個個資料塊，每個資料塊通過檔案管理層先存入快取層，被加入叢集間複製佇列，一擊加入到持久佇列等待存入持久層，CDR則把持久層資料塊複製到目標叢集（目標群資料塊也優先存到快取層）。檔案管理層的基本管理單位是Volume，每個Volume可以有不同的管理設定，如容錯性、安全性、物理資源的使用等。