云存儲帶動安防存儲方式的革命
來源:數(shù)字音視工程網(wǎng) 編輯:merry2013 2016-03-25 06:54:08 加入收藏 咨詢

所在單位: | * |
姓名: | * |
手機: | * |
職位: | |
郵箱: | * |
其他聯(lián)系方式: | |
咨詢內(nèi)容: | |
驗證碼: |
|
云存儲,早已不是一個新鮮的詞。隨著平安城市等大型安防項目數(shù)量的日益增多,規(guī)模的日益龐大,云存儲迅速從一個概念詞匯,蛻變成一個又一個成熟的產(chǎn)品。環(huán)顧四周,業(yè)內(nèi)主流安防廠商都已把云存儲作為公司的重點產(chǎn)品,作為未來大型監(jiān)控項目中的存儲解決之道。
我們?yōu)槭裁葱枰拼鎯Γ?/strong>
近年來,在網(wǎng)絡(luò)化,高清化浪潮的席卷下,NVR存儲,NAS存儲,SAN存儲成為當前安防視頻監(jiān)控行業(yè)的主流視頻存儲方案。其中,對于大中型視頻監(jiān)控系統(tǒng)而言,以iSCSI存儲為主的SAN存儲方案因技術(shù)成熟、存儲效率高、部署靈活成為長期的熱門選擇。
然而,SAN存儲終究到了瓶頸:D1、CIP早已是昨日黃花,720P、1080P已是市場主流,4K,甚至8K一躍成為新秀;單純圖像存儲已是過去式,各類視頻分析技術(shù)帶來的結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù),都在存儲系統(tǒng)上叫囂著一席之地。視頻監(jiān)控大聯(lián)網(wǎng)、高清甚至超清化、智能分析的聯(lián)合推動,促使視頻監(jiān)控系統(tǒng)的監(jiān)控點數(shù)越來越多、視頻碼流越來越大,存儲時間則要求保持不變甚至更長。相較于數(shù)字標清時代,一個視頻監(jiān)控系統(tǒng)要求上千TB的存儲空間已不再是個例,容量的最佳單位從“TB”變?yōu)榱?ldquo;PB”。
存儲容量要達到PB,用傳統(tǒng)方法也可以實現(xiàn),這就出現(xiàn)了通過部署更多的視頻存儲服務(wù)器(或模塊)、視頻轉(zhuǎn)發(fā)服務(wù)器(或模塊),獲取更多流媒體數(shù)據(jù)存儲和轉(zhuǎn)發(fā)能力,從而實現(xiàn)系統(tǒng)業(yè)務(wù)容量擴展,IPSAN存儲空間也伴隨服務(wù)器(或模塊)數(shù)量的擴展而不斷增加的方法??梢哉f,IPSAN的擴容能力主要受制于存儲業(yè)務(wù)服務(wù)器(或模塊),從理論上來講,只要存儲業(yè)務(wù)服務(wù)器(或模塊)數(shù)目足夠多、能力足夠大,IPSAN存儲總能隨之擴展。
因此,從業(yè)務(wù)能力上看,IPSAN存儲似乎能夠滿足大中型視頻監(jiān)控系統(tǒng)對存儲增長的需求。然而,隨著存儲陣列數(shù)量的增加,高清視頻碼流的增大,讀寫業(yè)務(wù)的增多,IPSAN存儲系統(tǒng)的非功能性問題也逐步暴露出來,主要有如下4點:
1、存儲設(shè)備的管理和維護越來越困難
在IPSAN存儲系統(tǒng)中,存儲設(shè)備之間相互獨立,運維人員需要針對單臺設(shè)備進行維護和管理。同時,由于其中的硬盤屬于消耗品,長時間的高碼率并發(fā)讀寫,硬盤故障率也逐步升高。為保證錄像不被損壞丟失,必須對設(shè)備進行密切的狀態(tài)監(jiān)控并隨時更換損壞的硬盤。面對幾十臺規(guī)模的存儲設(shè)備,維護起來已經(jīng)相當不容易,如果數(shù)量達到上百臺,維護的工作量就不是一件簡單的事情了。
2、數(shù)據(jù)存儲的可靠性越來越難保證
IPSAN存儲設(shè)備對數(shù)據(jù)的保護依賴于本機磁盤組的Raid技術(shù)。業(yè)界一般采用Raid5,能允許1塊硬盤損壞,但如果同時有2塊硬盤損壞,這個Raid組的數(shù)據(jù)就會丟失。所以,如果出現(xiàn)硬盤損壞,需要盡快更換硬盤進行Raid重構(gòu),恢復(fù)數(shù)據(jù)。而在數(shù)據(jù)重構(gòu)期間,如果再出現(xiàn)一塊硬盤損壞,數(shù)據(jù)就會丟失,因此Raid重構(gòu)時間越短越好。然而,Raid重構(gòu)的時間跟硬盤容量有關(guān)系,以3T磁盤為例,按照在線修復(fù)的模式,磁盤的平均寫入速度在50MB/s左右,此時Raid5修復(fù)的時間長達16個小時,實際應(yīng)用中,一般都在20個小時左右。隨著當前的硬盤容量越來越大,3T硬盤已經(jīng)成為主流,4T也已經(jīng)普及,一些地方甚至用上了6T硬盤,這必將導致Raid的修復(fù)時間窗口越來越大,在這個窗口內(nèi),第二塊盤損壞的概率也越來越大,再考慮到長時間高碼率并發(fā)讀寫導致的硬盤故障率上升,存儲設(shè)備數(shù)目龐大導致的維護響應(yīng)時間延長,視頻數(shù)據(jù)的可靠性越來越難以保證。
3、數(shù)據(jù)傳輸能力逐漸出現(xiàn)瓶頸
IPSAN方案中,單個監(jiān)控點的視頻錄像一般都存儲在一臺陣列設(shè)備上。隨著視頻監(jiān)控系統(tǒng)規(guī)模的擴大,各類用戶增多,在加上視頻碼流的逐步提升以及上層圖像綜合應(yīng)用的不斷豐富,系統(tǒng)對于單臺磁陣的吞吐能力也提出了更高的要求,特別是在應(yīng)急聯(lián)合作戰(zhàn)的情況下,并發(fā)的視頻錄像調(diào)取、回放和實時調(diào)度的監(jiān)控路數(shù)都快速增加,大量的業(yè)務(wù)可能都會集中到某一臺存儲設(shè)備上,面對這些日益增長的隨機并發(fā)訪問,單臺設(shè)備的性能成為瓶頸。
4、數(shù)據(jù)共享能力不能滿足業(yè)務(wù)需求
在目前大中型的IPSAN存儲方案中,IPSAN設(shè)備雖然很多,但是彼此孤立,各自提供獨立的存儲空間給不同業(yè)務(wù)模塊使用,其中的數(shù)據(jù)只能由掛載該存儲空間的業(yè)務(wù)服務(wù)讀寫,其他非掛載該陣列設(shè)備的圖像綜合業(yè)務(wù)系統(tǒng)則很難直接訪問到該存儲空間中的特定數(shù)據(jù),即使能通過網(wǎng)絡(luò)文件方式訪問,對于數(shù)目如此龐大的存儲陣列,也需要業(yè)務(wù)系統(tǒng)進行數(shù)目龐大路徑加載。因此,IPSAN的數(shù)據(jù)共享能力很差,從而也影響到了圖像綜合業(yè)務(wù)的發(fā)展。
上述的問題在IPSAN存儲系統(tǒng)不是很龐大的情況下,表現(xiàn)的并不明顯,然而隨著監(jiān)控系統(tǒng)規(guī)模的逐步擴大,存儲數(shù)量的不斷增加,大中型視頻監(jiān)控系統(tǒng)不得不面對這些問題并探尋新的存儲系統(tǒng)和解決方案。
安防云存儲的誕生
相較于上面所說的IPSAN無限擴容帶來的不足,云存儲的優(yōu)勢是顯而易見的:
①服務(wù)性質(zhì)更強
云存儲系統(tǒng)由多臺云存儲設(shè)備構(gòu)成,但是提供統(tǒng)一的虛擬存儲空間,用戶和業(yè)務(wù)系統(tǒng)在使用云存儲時只感知空間,不感知節(jié)點,不用關(guān)心存儲空間由哪些存設(shè)備構(gòu)成,這些設(shè)備放在何處。這使得用戶與應(yīng)用提供者,無需為繁瑣的細節(jié)而煩惱,能夠更加專注于自己的業(yè)務(wù);對于租用云服務(wù)的用戶、應(yīng)用開發(fā)尚而言,更是直接省去了自建存儲系統(tǒng)的費用與設(shè)備維護成本。
②維護更簡單
選擇自建私有云模式的用戶也不用臺擔心,云存儲提供集群化管理模式,用戶只需要登錄到云存儲系統(tǒng)的一個IP地址,就可以看到所有的存儲設(shè)備狀態(tài)、相應(yīng)的磁盤狀態(tài)以及整體存儲空間的使用情況。系統(tǒng)還會針對不同的異常和故障問題及時的給出告警通知和日志記錄,大大簡化了管理員對存儲系統(tǒng)的維護和管理工作。
③使用更安全
云存儲系統(tǒng)采用基于糾刪碼的分布式離散存儲策略,需要存儲的數(shù)據(jù)信息都被條帶化、離散化,直接拆分成多個數(shù)據(jù)塊,然后計算冗余校驗數(shù)據(jù)塊,再分散存儲到不同的云存儲設(shè)備中,數(shù)據(jù)的分散程度和冗余程度可以通過系統(tǒng)進行靈活設(shè)置。通過糾刪碼的冗余校驗機制,系統(tǒng)提供數(shù)據(jù)高可靠性保護,可以允許系統(tǒng)壞多塊硬盤,甚至多個存儲設(shè)備節(jié)點而不會造成數(shù)據(jù)丟失,或者只影響和丟失很小部分的數(shù)據(jù),其他數(shù)據(jù)的讀取不受影響,寫入則完全不受影響。此外,由于采用系統(tǒng)級離散存儲,多個存儲節(jié)點中都有相應(yīng)的數(shù)據(jù)塊和校驗塊,在硬盤損壞后恢復(fù)硬盤數(shù)據(jù)時由多個存儲節(jié)點在空閑的空間內(nèi)同時進行重構(gòu),要比傳統(tǒng)的基于磁盤的Raid快得多,重構(gòu)速度可以達到1個小時以內(nèi)。
④讀取、輸入更流暢
云存儲系統(tǒng)采用糾刪碼離散存儲策略,任何一段視頻都被拆分成多個數(shù)據(jù)塊分散并同時存儲到多個存儲節(jié)點中,因此,對該段視頻的讀取都由多臺存儲設(shè)備同時提供服務(wù),避免了通過單臺設(shè)備讀取而造成的性能瓶頸。
⑤動態(tài)伸縮,擴容更方便
傳統(tǒng)存儲,業(yè)務(wù)系統(tǒng)直接跟每一臺存儲設(shè)備打交道,每擴容一次,都要識別和掛載新的存儲設(shè)備,并進行原有數(shù)據(jù)的遷移,從而導致業(yè)務(wù)長時間中斷。而云存儲采用存儲虛擬化技術(shù),業(yè)務(wù)系統(tǒng)只感知整體容量的變化,不關(guān)心具體設(shè)備,并且擴容后原有數(shù)據(jù)會在新的存儲空間中自動重組和均衡,業(yè)務(wù)不受任何影響。
⑥數(shù)據(jù)共享無障礙
傳統(tǒng)存儲接口封閉,一個存儲系統(tǒng)只對接一套業(yè)務(wù),視頻監(jiān)控、智能分析、圖像偵查等每個業(yè)務(wù)都要建立自己的存儲系統(tǒng),互相之間數(shù)據(jù)共享效率十分低下。而云存儲提供統(tǒng)一的存儲空間、命名空間,不同的業(yè)務(wù)系統(tǒng),對存儲系統(tǒng)的訪問是一致的,這些數(shù)據(jù)在權(quán)限控制下都可以通過統(tǒng)一的命名路徑直接進行讀取,從而提升了不同業(yè)務(wù)系統(tǒng)間數(shù)據(jù)信息的共享能力。
上面說過,目前安防主流廠商均已推出自己的云存儲系統(tǒng),而科達的“天際“云存儲,在具備以上所有云存儲優(yōu)勢的同時,還有幾點獨特之處:
?、僦С諦BU電池。天際云存儲在每個存儲節(jié)點都配備了BBU電池,當某個存儲節(jié)點發(fā)生異常斷電時,存儲節(jié)點會及時保存緩存中的數(shù)據(jù)到磁盤,確保數(shù)據(jù)不會丟失,并同時向控制節(jié)點發(fā)送告警通知,由控制節(jié)點操作,“屏蔽”該存儲節(jié)點,將設(shè)備斷電時期的業(yè)務(wù)遷移至其他存儲節(jié)點,從而避免數(shù)據(jù)丟失。
?、谥С种俨媚J剑瑯O端容錯。天際云存儲支持仲裁模式,當所有控制節(jié)點(元數(shù)據(jù)節(jié)點)全部異常時,啟動仲裁模式,視頻存儲的業(yè)務(wù)不會中斷,數(shù)據(jù)不會丟失;當控制節(jié)點恢復(fù)后,存儲節(jié)點會自動同步異常期間數(shù)據(jù)信息至控制節(jié)點,恢復(fù)整個系統(tǒng)。
③存儲內(nèi)容更多樣。與一般安防云存儲只支持視頻和圖片存儲不同,天際云存儲不僅可存放視頻、圖片數(shù)據(jù),還可以存放多種類型的一般的文件數(shù)據(jù)。
?、芨訕藴?、開放。天際云存儲具備多種開放的、標準的業(yè)務(wù)數(shù)據(jù)訪問接口:支持NFS、S3、FTP等通用接口及基于SDK的專業(yè)服務(wù)接口,同時還支持HDFS接口服務(wù),可與業(yè)界的云平臺大數(shù)據(jù)系統(tǒng)進行對接。
云存儲技術(shù)未來的發(fā)展方向
上面全是講的云存儲的優(yōu)勢,且不少安防廠商也有了自己的云存儲應(yīng)用案例,如科達天際云存儲在柳州平安城市中的應(yīng)用等等,但目前云存儲技術(shù)還遠非“完美”,仍有很多地方需要繼續(xù)完善。
①提高可靠性與安全性
為滿足可靠性、安全性的要求,需要云存儲系統(tǒng)提供更為可靠、安全的數(shù)據(jù)保護能力和訪問控制機制,特別是對于互聯(lián)網(wǎng)應(yīng)用的情況,必須能夠保證用戶的數(shù)據(jù)安全性,提供多層面的數(shù)據(jù)服務(wù)保證。
此外,由于大規(guī)模數(shù)據(jù)存儲對硬盤的讀寫能力要求較高,而硬盤恰恰是存儲系統(tǒng)中最易損壞的設(shè)備。因此,云存儲系統(tǒng)對硬盤的優(yōu)化讀寫以及容錯機制,還可以進一步優(yōu)化,充分利用硬盤的最新技術(shù)在提升數(shù)據(jù)可靠性和讀寫性能的同時,降低硬盤損壞率,減少硬盤損壞對數(shù)據(jù)和系統(tǒng)的影響。
②數(shù)據(jù)與計算的進一步結(jié)合
云存儲作為一個龐大的數(shù)據(jù)存儲中心,一般都由很多存儲節(jié)點組成,如果這些節(jié)點能夠同時具備便捷計算的能力,直接在數(shù)據(jù)存儲的節(jié)點上完成數(shù)據(jù)分析工作,那么計算的過程將不需要通過前端網(wǎng)絡(luò)實現(xiàn)過多的數(shù)據(jù)存取調(diào)度業(yè)務(wù),從而降低業(yè)務(wù)網(wǎng)絡(luò)運輸?shù)膲毫Γ蔡嵘丝傮w數(shù)據(jù)分析的速度。
③更高效的數(shù)據(jù)冗余
目前,很多云存儲系統(tǒng),特別是互聯(lián)網(wǎng)上的云存儲系統(tǒng),都傾向于采用多副本方式實現(xiàn)數(shù)據(jù)冗余,提升數(shù)據(jù)的可靠性,但這必然會帶來存儲空間使用率低下的問題;而針對大規(guī)模視頻監(jiān)控系統(tǒng)的安防云存儲來說,副本方式幾乎是不能接受的,建設(shè)成本太高,性價比太低。因此,必須采用更為先進的技術(shù),在降低數(shù)據(jù)冗余度的同時,能同時提高數(shù)據(jù)的可靠性,糾刪碼是其中一類技術(shù),相信以后還會有更新的技術(shù)。
④高效異地容災(zāi)技術(shù)
異地容災(zāi)技術(shù)目前還主要針對計算機業(yè)務(wù)系統(tǒng),和輕量級的數(shù)據(jù)存儲(如銀行數(shù)據(jù)庫等),而像安防監(jiān)控那樣海量的數(shù)據(jù)存儲系統(tǒng),真正的數(shù)據(jù)異地容災(zāi)還無法很好的實現(xiàn),其主要的原因是安防存儲的數(shù)據(jù)流量太大,數(shù)據(jù)存儲的體量也太大,傳統(tǒng)異地容災(zāi)技術(shù)成本太高。因此,我們需要更新的技術(shù),來實現(xiàn)此類海量安防視頻數(shù)據(jù)的異地容災(zāi)機制,提高系統(tǒng)整體的可靠性。
⑤可針對特定專業(yè)用戶的專業(yè)化數(shù)據(jù)存儲服務(wù)定制能力
目前,針對通用市場的互聯(lián)網(wǎng)云存儲仍以單一的存儲服務(wù)為主,不管是互聯(lián)網(wǎng)云存儲或是安防云存儲,在專業(yè)化定制服務(wù)方面仍需加強,讓存儲系統(tǒng)與用戶的各項業(yè)務(wù)結(jié)合更緊密,比如針對特定業(yè)務(wù)的數(shù)據(jù)存儲管理優(yōu)化,提升特定業(yè)務(wù)數(shù)據(jù)存儲和調(diào)閱的效率;對存儲內(nèi)容提供更豐富的信息描述,以及數(shù)據(jù)標簽等,充分發(fā)揮云存儲自身的特性的同時提升專業(yè)服務(wù)能力。
講了這么多,以云存儲與當下談得火熱的“大數(shù)據(jù)”、“物聯(lián)網(wǎng)”之間的關(guān)系結(jié)尾:當視頻圖像信息都集中存儲在統(tǒng)一的云存儲系統(tǒng)中時,對圖像信息的調(diào)取、融合與聯(lián)合分析會更全面、更快速,對信息的綜合處理能力會更強,大數(shù)據(jù)云平臺的效用才能得到淋漓盡致地發(fā)揮。直接反應(yīng)在公安實際操作中就是,圖像信息的檢索、視頻摘要分析、信息綜合分析判斷等操作速度會更快,應(yīng)用于綜合分析的信息會更多,最終得到的分析結(jié)論也就越準確。
總之一句話,云存儲,正在帶動一場安防存儲方式的革命。
評論comment