183.17.231.* 2020-05-27 10:28:47 |
現在很多數據科學家都是在研究大數據的技術,很多人只是聽過大數據這個詞,但是對大數據還是不太了解的,對于大數據現在需要解決的關鍵問題不是很明朗。而今天我們就一起來了解一下,大數據技術應用過程中都出現了哪些問題需要解決。
大數據技術應用常見的八個問題分析
1、容量問題
這里所說的“大容量”通常可達到PB級的數據規模,因此,海量數據存儲系統也一定要有相應等級的擴展能力。與此同時,存儲系統的擴展一定要簡便,可以通過增加模塊或磁盤柜來增加容量,甚至不需要停機。在解決容量問題上,不得不提LSI公司的全新Nytro™智能化閃存解決方案,采用Nytro產品,客戶可以將數據庫事務處理性能提高30倍,并且超過每秒4.0GB的持續吞吐能力,非常適用于大數據分析。
2、延遲問題
“大數據”應用還存在實時性的問題。特別是涉及到與網上交易或者金融類相關的應用。有很多“大數據”應用環境需要較高的IOPS性能,比如HPC高性能計算。此外,服務器虛擬化的普及也導致了對高IOPS的需求,正如它改變了傳統IT環境一樣。為了迎接這些挑戰,各種模式的固態存儲設備應運而生,小到簡單的在服務器內部做高速緩存,大到全固態介質可擴展存儲系統通過高性能閃存存儲,自動、智能地對熱點數據進行讀/寫高速緩存的LSINytro系列產品等等都在蓬勃發展。
3、安全問題
某些特殊行業的應用,比如金融數據、醫療信息以及政府情報等都有自己的安全標準和保密性需求。雖然對于IT管理者來說這些并沒有什么不同,而且都是必須遵從的,但是,大數據分析往往需要多類數據相互參考,而在過去并不會有這種數據混合訪問的情況,大數據應用催生出一些新的、需要考慮的安全性問題,這就充分體現出利用基于DuraClass™技術的LSISandForce®閃存處理器的優勢了,實現了企業級閃存性能和可靠性,實現簡單、透明的應用加速,既安全又方便。
4、成本問題
對于那些正在使用大數據環境的企業來說,成本控制是關鍵的問題。想控制成本,就意味著我們要讓每一臺設備都實現更高的“效率”,同時還要減少那些昂貴的部件。重復數據刪除等技術已經進入到主存儲市場,而且還可以處理更多的數據類型,這都可以為大數據存儲應用帶來更多的價值,提升存儲效率。在數據量不斷增長的環境中,通過減少后端存儲的消耗,哪怕只是降低幾個百分點,這種錙銖必較的服務器也只有LSI推出的Syncro™MX-B機架服務器啟動盤設備都能夠獲得明顯的****,當今,數據中心使用的傳統引導驅動器不僅故障率高,而且具有較高的維修和更換成本。如果用它替換數據中心的獨立服務器引導驅動器,則能將可靠性提升多達100倍。并且對主機系統是透明的,能為每一個附加服務器提供的引導鏡像,可簡化系統管理,提升可靠性,并且節電率高達60%,真正做到了節省成本的問題。
5、數據的積累
許多大數據應用都會涉及到法規遵從問題,這些法規通常要求數據要保存幾年或者幾十年。比如醫療信息通常是為了保證患者的生命安全,而財務信息通常要保存7年。而有些使用大數據存儲的用戶卻希望數據能夠保存更長的時間,因為任何數據都是歷史記錄的一部分,而且數據的分析大都是基于時間段進行的。要實現長期的數據保存,就要求存儲廠商開發出能夠持續進行數據一致性檢測的功能以及其他保證長期高可用的特性。同時還要實現數據直接在原位更新的功能需求。
6、靈活性
大數據存儲系統的基礎設施規模通常都很大,因此必須經過仔細設計,才能保證存儲系統的靈活性,使其能夠隨著應用分析軟件一起擴容及擴展。在大數據存儲環境中,已經沒有必要再做數據遷移了,因為數據會同時保存在多個部署站點。一個大型的數據存儲基礎設施一旦開始投入使用,就很難再調整了,因此它必須能夠適應各種不同的應用類型和數據場景。
7、應用感知
早一批使用大數據的用戶已經開發出了一些針對應用的定制的基礎設施,比如針對政府項目開發的系統,還有大型互聯網服務商創造的專用服務器等。在主流存儲系統領域,應用感知技術的使用越來越普遍,它也是改善系統效率和性能的重要手段,所以,應用感知技術也應該用在大數據存儲環境里。
8、針對小用戶
依賴大數據的不僅僅是那些特殊的大型用戶群體,作為一種商業需求,小型企業未來也一定會應用到大數據。我們看到,有些存儲廠商已經在開發一些小型的“大數據”存儲系統,主要吸引那些對成本比較敏感的用戶。
大數據技術應用需注意哪些問題.中琛魔方大數據分析平臺(www.zcmorefun.com)表示大數據依然在發展中,相信在實踐的過程中,我們還會遇到很多新的問題,同時也會伴隨更多的業務創新和轉型,讓企業真實地回到建立的原點,為客戶滿足他們真正的需要。 |