云計算虛擬化讓實時海量數(shù)據(jù)處理無憂 |
發(fā)布時間: 2012/9/12 15:54:19 |
“國統(tǒng)局數(shù)據(jù)顯示全國70個大中城市房價上漲勢頭明顯遏制”、“國統(tǒng)局調(diào)查顯示中國群眾最關注醫(yī)療問題”、“國統(tǒng)局稱3月份CPI同比漲幅創(chuàng)31個月以來新高”……
類似以上的這些消息我們經(jīng)常可以看到,國家統(tǒng)計局源源不斷地向社會公布涉及國家經(jīng)濟發(fā)展、民生等各個層面的數(shù)據(jù)。而這些龐大的數(shù)據(jù)處理背后是怎樣的一個IT系統(tǒng)在支撐?涉及到省市級各個層面的數(shù)據(jù)是如何匯總到國家統(tǒng)計局的呢?龐大的數(shù)據(jù)處理對于IT系統(tǒng)會有哪些挑戰(zhàn)?對于種種疑問,國家統(tǒng)計局數(shù)據(jù)管理中心主任許劍毅向記者介紹了目前國家統(tǒng)計局整個IT系統(tǒng)的建設思路,同時國家統(tǒng)計局數(shù)據(jù)管理中心王洪琛處長詳細介紹了虛擬化和云計算.技術在整個系統(tǒng)中的作用。 運用云計算.虛擬化直面挑戰(zhàn) 去年,記者在采訪許劍毅時,他就給記者描述了一副“統(tǒng)計云”的畫面:國家統(tǒng)計局正在建整個統(tǒng)計數(shù)據(jù)系統(tǒng)的私有云,今后國統(tǒng)局統(tǒng)計數(shù)據(jù)的采集、加工、處理,都以北京為中樞數(shù)據(jù)中心,再分四個階層,逐層伸向全國。 再次見到許劍毅,是在國統(tǒng)局核心業(yè)務系統(tǒng)項目在進行二期之時,對于“統(tǒng)計云”的建設,許劍毅又有了更多的感受和想法。 經(jīng)過多年的發(fā)展,國統(tǒng)局信息化建設已經(jīng)取得了很大的成績,然而更多的數(shù)據(jù)處理,尤其在時效性、準確性方面要求更多,給國統(tǒng)局的信息化建設帶來挑戰(zhàn)。“國統(tǒng)局的應用系統(tǒng)非常龐大,其海量數(shù)據(jù)處理量、高并發(fā)量等對于IT系統(tǒng)都會是挑戰(zhàn)。”許劍毅指出,要改變這些情況,硬件設備能力、性價比都是所要考慮的。 “我們的思路是用小機器代替大機器的作用,把小的機器通過集群的方式,集群到核心業(yè)務系統(tǒng)來滿足業(yè)務需求。”許劍毅指出這是國統(tǒng)局的一個思路,與此同時,建立一個全國各級統(tǒng)一的系統(tǒng)也是國統(tǒng)局需要解決的,“統(tǒng)計云”就是按照這樣的需求提出來的。 許劍毅向記者詳細介紹了目前國統(tǒng)局IT系統(tǒng)的組成情況。“國統(tǒng)局利用現(xiàn)在最先進的虛擬化、云計算.、資源池這些先進的IT技術,以國統(tǒng)局為中心建立國家統(tǒng)一的核心業(yè)務系統(tǒng),包括統(tǒng)一的數(shù)據(jù)中心。”許劍毅特別提出了,其系統(tǒng)架構(gòu)里用到的10臺IBM最新的小型機(包括6臺IBMPowre595服務器和4臺IBMPower780服務器)構(gòu)成的集群,“整個架構(gòu)里利用了IBM等多家公司的最新的產(chǎn)品和技術,使得整個系統(tǒng)里沒有單一故障點,從而解決安全問題。” 與此同時,國統(tǒng)局的核心業(yè)務系統(tǒng)還需很好解決高并發(fā)的問題。許劍毅指出,系統(tǒng)整個設計之初是按照百萬級高并發(fā)量設計的,“利用虛擬化、云計算.這些技術百萬級不會是問題,甚至可以達到千萬級。”許劍毅認為,該套系統(tǒng)也較好的發(fā)揮了IBM小型機練級處理高并發(fā)的能力,去年的人口普查就很好的檢驗了這套系統(tǒng),“整個系統(tǒng)的協(xié)調(diào)、運算能力非常強。”許劍毅還給了我們一個數(shù)據(jù),之前13億多人的表格單機處于需要一天甚至更多的時間,而基于新的系統(tǒng),兩分鐘可以搞定。 大統(tǒng)一的思想貫徹國統(tǒng)局整個信息化建設的過程中,云的思想也躍然其中。許劍毅說目前國統(tǒng)局正在開發(fā)全國統(tǒng)一的數(shù)據(jù)處理應用平臺,而下一步也希望以此為中心統(tǒng)一業(yè)務應用。“全國統(tǒng)一的業(yè)務將會集中到一套核心業(yè)務系統(tǒng)上來處理,為整個統(tǒng)計工作提供一個云服務。”許劍毅描繪到,國統(tǒng)局的信息化建設正在一步步邁向大統(tǒng)一的“統(tǒng)計云”。 四個資源池各司其職小型機支撐核心業(yè)務發(fā)展 許劍毅向我們描述了國統(tǒng)局整個IT系統(tǒng)的狀態(tài),以及其所能發(fā)揮的作用,給我們描繪了一副充滿“誘惑”的統(tǒng)計云,而這個系統(tǒng)到底有哪些硬件設備在支撐,云計算.、虛擬化又是怎樣發(fā)揮著作用呢?王洪琛就從技術層面向記者做了詳細介紹。 私有云的理念對于整個國統(tǒng)局來說有著很強的吸引力,尤其是立于服務的云。王洪琛告訴記者,完整的私有云概念實施起來會有難度,但是依然需要在這個思想的指導下,去架構(gòu)整個IT系統(tǒng)。目前國統(tǒng)局在基礎架構(gòu)云層面做了很多工作。 “隨著業(yè)務發(fā)展,如果不斷買機器,承重、電、空間都不夠,在這種情況下虛擬化技術讓一臺機器支持更多的應用,這是在PC服務上經(jīng)過幾年的探索已經(jīng)實現(xiàn)了,并且效果還是不錯的。”王洪琛指出,這種成功也希望能夠復制到小型機上來,“小型機安全可靠,一直支持著國統(tǒng)局重要的業(yè)務,然而實施其虛擬化也會存在兼容、統(tǒng)一平臺的問題。”IBM的解決方案在王洪琛看來是最能滿足國統(tǒng)局的需求的。 關于整個基礎架構(gòu)的規(guī)劃,資源池的調(diào)用,王洪琛介紹到其一共劃分為四個資源池,即Web服務器、應用服務器、數(shù)據(jù)庫以及存儲各屬一個資源池。四個資源池也根據(jù)不同的需求和標準進行各自的統(tǒng)一。其中“數(shù)據(jù)庫池是通過IBM的基于小型機的虛擬化技術,實現(xiàn)整個數(shù)據(jù)庫資源池的調(diào)用。另外通過不同品牌的小型機或者PC服務器組成虛擬化的應用服務器的資源池。”王洪琛也強調(diào)各個資源池之間的防火墻等安全手段必須做好,確保安全性。 對于目前業(yè)界說到很多的基于x86的應用服務器,在國統(tǒng)局的IT系統(tǒng)中我們也可以看到。“基礎架構(gòu)云中,數(shù)據(jù)庫云是通過Power來實現(xiàn);應用服務器云一個通過IBM的應用服務器,以來應對大并發(fā)的應用,IBMPowre595和IBMPowre780發(fā)揮了很好的作用,Web服務器云采用的都是刀片式服務器;趚86的應用服務器也會支撐一些非關鍵業(yè)務的發(fā)展。”王洪琛強調(diào),無論是哪種云、基于哪種架構(gòu)的,所有的都是冗余性的,會最大限度保證業(yè)務的高可用和持續(xù)性。 本文出自:億恩科技【prubsntakaful.com】 |