認識和了解EMC 數據湖(Data Lake 1.0)
近期EMC發布了其數據湖(Data Lake 2.0)戰略和產品,這裏我們先來認識一下什麼是EMC的數據湖1.0戰略和其產品,然後在第二部分來詳細介紹一下數據湖2.0及其產品。本節主要介紹數據湖的概念和1.0數據湖對應的產品。
什麼是數據湖(Data Lake)?
EMC的數據湖戰略產品主要是在幾年前收購的橫向擴展NAS產品Isilon,自從EMC收購Isilon以後,依靠EMC的品牌優勢、客戶資源和渠道力量,Isilon取得了爆發式增長,也是EMC在應對第三平台挑戰的核心產品之一。
數據湖簡單理解就是隨著移動、雲計算的發展,一個企業有越來越多的非結構化數據,這些各種各樣的非結構化數據需要接受、存儲、分析、展zhan現xian以yi及ji分fen析xi數shu據ju後hou的de行xing動dong。在zai沒mei有you數shu據ju湖hu的de概gai念nian之zhi前qian,這zhe些xie來lai自zi不bu同tong渠qu道dao的de非fei結jie構gou化hua數shu據ju都dou是shi並bing行xing數shu據ju流liu,針zhen對dui每mei個ge數shu據ju源yuan進jin行xing上shang述shu的de處chu理li過guo程cheng,無wu法fa對dui大da數shu據ju進jin行xing分fen析xi。現xian在zai企qi業ye可ke以yi通tong過guo一yi個ge機ji製zhi,將jiang大da量liang數shu據ju整zheng合he為wei一yi個ge單dan一yi的de存cun儲chu(即數據湖)。cishujukeyidedaobaohu,bingqiebansuizhezuzhihejishudechengshu,keyifanfujinxingfenxi,gongkaijianjieyijicaiquxingdong,qiyecongerkeyixiaochuzaiqiqiyezhongbianbuxinxigudaosuodailaidechengben。daoyongEMC的一張圖來理解數據湖和Isilon。

橫向擴展數據湖通過在容量、性能、安全性和保護方麵提供擴展功能,進一步增強此模式。橫向擴展數據湖的關鍵特征如下:
l 采用流式處理或者批處理從各種來源(如文件共享,歸檔,Web應用程序,設備和雲)接受數據;
l 針對各種用途(從傳統用途到第三平台、移動,分析和雲應用程序)實現對這類數據的訪問;
l 使用合適的數據保護級別(從諸如醫療記錄,金融交易,信用卡數據和等高度關鍵的數據到不需要任何安全性的網站日誌和臨時數據)
l 隨著技術的發展和新業務的不斷出現,係統進行橫向擴展以滿足將來整合與增長的需求,以便應用數據以獲得競爭優勢;
l 提供分層功能,使組織可以管理其成本而無需設置專用基礎架構來進行成本優化;
l 簡單,即使數據規模達到PB級別以上。
Isilon的橫向擴展數據湖
上麵介紹了數據湖的概念,那麼Isilon的橫向擴展數據湖都包含哪些產品呢?
Isilon完wan全quan基ji於yu分fen布bu式shi的de體ti係xi架jia構gou,包bao括kuo以yi群qun集ji形xing式shi組zu織zhi的de模mo塊kuai化hua硬ying件jian節jie點dian。隨sui著zhe節jie點dian的de增zeng加jia,文wen件jian係xi統tong將jiang動dong態tai擴kuo展zhan,從cong而er橫heng向xiang擴kuo展zhan容rong量liang和he性xing能neng,而er不bu會hui增zeng加jia相xiang應ying的de管guan理li開kai銷xiao。
Isilon使用OneFS操作係統完成同時處理多種訪問方法,如下圖所示:

在數據湖1.0時代對應的Isilon硬件產品
下麵來看看具體的Isilon對應的硬件產品,需要注意的是,這些產品是1.0版本的產品,在數據湖2.0版本中新擴展了邊緣(Edge)和Cloud,下節詳細描述。

上圖中橫軸代表容量,縱軸代表性能,可以看到不同產品的定位,詳細產品指標參數這裏不在詳細描述。





閩公網安備 35020302001891號