“HPC云”國(guó)內(nèi)遍地開花——趕時(shí)髦還是真需要？

有人曾表示，高性能計(jì)算可能會(huì)采取一種不同的、使用密集多核服務(wù)器的方式進(jìn)入云計(jì)算。用戶可以在桌面上就將作業(yè)加到SGE中去。這種資源調(diào)度方式會(huì)接觸可以運(yùn)行虛擬機(jī)的本地資源或者云中資源。這種資源調(diào)度方式可能會(huì)讓HPC實(shí)現(xiàn)寶貴的桌面化——聽起來像網(wǎng)格計(jì)算，但是更簡(jiǎn)單。

如今，這種理想化的計(jì)算方式已經(jīng)來到了我們身邊，在國(guó)外還只是較小規(guī)模的實(shí)驗(yàn)性質(zhì)的“HPC云”（采用云架構(gòu)打造的HPC平臺(tái)，對(duì)外提供 按需 HPC服務(wù)），在中國(guó)已經(jīng)花開數(shù)朵。例如，去年成都建成了國(guó)內(nèi)第一家商用的高性能計(jì)算云中心，北京工業(yè)大學(xué)的“科教云”和北京計(jì)算中心的“工業(yè)云”均可定 義為“HPC云”。

趕時(shí)髦還是真需要？

盡管一朵又一朵“HPC云”已經(jīng)在我們身邊冉冉升起，但是依舊有不少聲音質(zhì)疑：用云計(jì)算的方式打造 HPC平臺(tái)，是趕云計(jì)算的時(shí)髦，還是真需要？例如，英特爾服務(wù)器產(chǎn)品經(jīng)理張振宇就表示：“目前在高性能計(jì)算中引入云計(jì)算的需求不大。”中科院計(jì)算所常務(wù)副 所長(zhǎng)孫凝暉也認(rèn)為并非所有的計(jì)算中心都需要向云計(jì)算靠攏，他說：“云計(jì)算模式的前提是看服務(wù)的用戶數(shù)夠不夠多，能不能提供解決方案式的服務(wù)。除了象北京計(jì) 算中心需要面向大量用戶提供超算服務(wù)的之外，一般的超算中心就百八十個(gè)用戶，單純提供機(jī)時(shí)，沒有必要。”

不過，贊同的聲音也不少。在IBM大中華區(qū)云計(jì)算中心總經(jīng)理朱近之看來，超算中心引入云計(jì)算有兩大好 處，一是能提高超算資源利用率，服務(wù)的客戶數(shù)量和種類更多，例如，可以用于一些商業(yè)計(jì)算，而不僅局限于傳統(tǒng)的科學(xué)計(jì)算；二是能提供給用戶更好的服務(wù)。而曙 光公司產(chǎn)品副總經(jīng)理王璟則相信：“超算中心采用云運(yùn)營(yíng)方式將是一次服務(wù)質(zhì)量提升的變革，未來的超算中心建設(shè)中都會(huì)考慮到其對(duì)未來云系統(tǒng)的支持。”北京計(jì)算 中心主任曾宇更是有一種使命感和緊迫感，他認(rèn)為，云計(jì)算服務(wù)市場(chǎng)應(yīng)該定位于對(duì)大規(guī)模計(jì)算服務(wù)能力和海量數(shù)據(jù)處理能力需求旺盛的個(gè)人及企業(yè)用戶市場(chǎng)，這一市 場(chǎng)正伴隨信息技術(shù)的發(fā)展和產(chǎn)業(yè)結(jié)構(gòu)的調(diào)整而日益龐大，并最終會(huì)分化為工業(yè)云計(jì)算領(lǐng)域、生物云計(jì)算領(lǐng)域、政務(wù)云計(jì)算領(lǐng)域等許多垂直細(xì)分的領(lǐng)域。因此，“北京 市計(jì)算中心在未來發(fā)展中尚有5年的發(fā)展機(jī)遇期，”曾宇說，“我們必須集中優(yōu)勢(shì)資源，在狹窄的云計(jì)算垂直細(xì)分領(lǐng)域建立起強(qiáng)勢(shì)的核心競(jìng)爭(zhēng)優(yōu)勢(shì)和知名度。”

為什么人們偏偏在“HPC云”上會(huì)有較大的意見分歧？這些贊成或質(zhì)疑的聲音是否有道理？弄清這些問題，應(yīng)該從HPC、虛擬化、云計(jì)算之間的復(fù)雜關(guān)系說起。

令HPC“愛恨交加”的虛擬化

在很多人的理解中，虛擬化和云計(jì)算簡(jiǎn)直如“連體嬰兒”一樣密不可分，以為任何一朵私有云或公有云都必須 在硬件資源層實(shí)施虛擬化技術(shù)。關(guān)于這個(gè)認(rèn)識(shí)的正確與否，我們暫且不表（后文還將詳細(xì)敘述），因?yàn)楝F(xiàn)實(shí)中確實(shí)很多“云”都利用到了虛擬化技術(shù)，而且我們所提 到的北京工業(yè)大學(xué)的“科教云”、成都超算中心的HPC云都對(duì)一部分底層硬件資源進(jìn)行了虛擬化，這符合不少人對(duì)“云”的理解，即底層一定實(shí)施了虛擬化技術(shù)。 而社會(huì)上恰恰又存在一種看法，即HPC與虛擬化的關(guān)系是“水火不相容”，人們自然難免質(zhì)疑，這種造“HPC云”的行為是否只是趕時(shí)髦呢？

其實(shí)，如果深入分析HPC與虛擬化的關(guān)系，HPC與虛擬化并非“水火不相容”，HPC對(duì)虛擬化那是“愛恨交加”。

眾所周知，PC服務(wù)器虛擬化技術(shù)之所以被市場(chǎng)迅速認(rèn)可，有兩個(gè)重要優(yōu)點(diǎn)。第一個(gè)優(yōu)點(diǎn)就是能大幅提高服務(wù)器CPU、內(nèi)存等資源的利用率。然而，HPC主要集中執(zhí)行并行高密度高負(fù)載任務(wù)，對(duì)CPU的利用率幾乎能達(dá)到100%，因此虛擬化技術(shù)的這一優(yōu)點(diǎn)對(duì)HPC 可以說“無用武之地”，并且“HPC應(yīng)用跑在虛擬的資源層上，性能肯定是會(huì)受影響的。”北京工業(yè)大學(xué)計(jì)算機(jī)學(xué)院教授邸瑞華坦誠地告訴記者。

北京工業(yè)大學(xué)計(jì)算機(jī)學(xué)院教授邸瑞華

那么，影響程度究竟有多大？邸瑞華說：“影響的程度主要視HPC應(yīng)用類型而定。如果是計(jì)算密集型的HPC應(yīng)用，影響不是很大，大概在5%～10%左右，但如果是I/O密集型應(yīng)用，這個(gè)影響就可能比較大。”

“5%～10%”這個(gè)數(shù)值貌似完全可接受，不過，對(duì)性能分外計(jì)較的HPC應(yīng)用來說，這個(gè)數(shù)字已經(jīng)不小 了。例如，長(zhǎng)年戰(zhàn)斗在高性能計(jì)算第一線的王璟亦承認(rèn)：“對(duì)我們而言，1%的影響就覺得難以忍受了。”這也是為什么會(huì)有觀點(diǎn)認(rèn)為HPC與虛擬化“水火不相 容”了。盡管如此，王璟還是堅(jiān)持“構(gòu)建‘HPC云’能夠發(fā)揮超算中心的全方位應(yīng)用能力，因?yàn)樘摂M化對(duì)于超算應(yīng)用的影響雖然是負(fù)面的，但是對(duì)非超算應(yīng)用的影 響是正面的。”

此外，邸瑞華表示還應(yīng)從另一個(gè)角度看待這個(gè)問題，她說：“業(yè)界有個(gè)比較統(tǒng)一的看法，也就是說一臺(tái)超級(jí)計(jì) 算機(jī)能否發(fā)揮作用，主要還是看HPC應(yīng)用的并行度是不是足夠好。如果一個(gè)任務(wù)HPC不能被有效分解，或者分解后不能與系統(tǒng)充分匹配，把它拿到超級(jí)計(jì)算機(jī)上 運(yùn)行可能和拿到一臺(tái)PC上運(yùn)行的執(zhí)行速度是一樣的。因此，比起過度地關(guān)注虛擬化對(duì)HPC的影響，著力于優(yōu)化HPC應(yīng)用程序本身可能來得更實(shí)際有效。”

接下來讓我們看虛擬化技術(shù)的另一個(gè)關(guān)鍵優(yōu)點(diǎn)：虛擬化技術(shù)改變了原有計(jì)算體系架構(gòu)，以及原有計(jì)算層次結(jié)構(gòu) 關(guān)系，它將不同的資源和邏輯單元?jiǎng)冸x，讓上層應(yīng)用程序與底層硬件資源之間形成“松耦合”關(guān)系。因此，清華大學(xué)計(jì)算機(jī)系副主任陳文光指出：“虛擬化使得在某 一個(gè)計(jì)算節(jié)點(diǎn)上執(zhí)行用戶自行選定的分配任務(wù)變得靈活可行，尤其是像異構(gòu)環(huán)境下的計(jì)算任務(wù)等。”

陳文光解釋說，傳統(tǒng)模式下，超算中心向HPC用戶提供一個(gè)調(diào)度器接口，用戶通過該接口提交一個(gè)任務(wù)，調(diào) 度器就返回一個(gè)結(jié)果，用戶沒有可選擇的余地，實(shí)際上這種接口并不友好。例如，假設(shè)當(dāng)前任務(wù)需要Linux平臺(tái)，而下一個(gè)任務(wù)需要Windows平臺(tái)，在傳 統(tǒng)模式下，只能卸載當(dāng)前系統(tǒng)重新部署所需平臺(tái)，非常麻煩，費(fèi)時(shí)費(fèi)力。此外，陳文光表示：“HPC用戶還經(jīng)常面臨這樣的問題，即開發(fā)HPC應(yīng)用的環(huán)境和超算 中心提供的執(zhí)行環(huán)境不同，需要重新配置環(huán)境，優(yōu)化HPC應(yīng)用，導(dǎo)致開發(fā)效率很低”。

而虛擬化卻為此提供了一種可能。“當(dāng)用戶向調(diào)度器提交任務(wù)時(shí)，可以自行指定希望在任務(wù)中使用的操作系統(tǒng)或中間件等組件。作業(yè)調(diào)度器就會(huì)自動(dòng)分發(fā)所需的軟件，并將相應(yīng)軟件安裝在虛擬機(jī)（VM）內(nèi)。當(dāng)任務(wù)處理完畢后，虛擬資源被收回，節(jié)點(diǎn)繼續(xù)執(zhí)行下一任務(wù)。”陳文光說道。

邸瑞華也表示，當(dāng)初北京工業(yè)大學(xué)之所以選擇采用云架構(gòu)搭建HPC平臺(tái)，也是看重了云計(jì)算“允許用戶對(duì)各自的虛擬計(jì)算資源進(jìn)行個(gè)性化配置，支持對(duì)用戶對(duì)CPU、內(nèi)存、存儲(chǔ)等虛擬計(jì)算資源的擴(kuò)展，以及集群中節(jié)點(diǎn)的增加。”

曙光公司產(chǎn)品副總經(jīng)理王璟

此外，HPC對(duì)虛擬化技術(shù)的“愛”的理由不僅于此。在陳文光看來，虛擬化技術(shù)對(duì)提高HPC的可用性更為 有益。HPC規(guī)模大了以后，最大的挑戰(zhàn)便是可用性�，F(xiàn)在國(guó)內(nèi)的百萬億次計(jì)算機(jī)，平均故障時(shí)間大概在10～100小時(shí)之間，這對(duì)于跑上一周的作業(yè)應(yīng)用就具有 很大的挑戰(zhàn)。怎么辦？陳文光告訴記者，解決此類問題通常要做CheckPoint（檢查點(diǎn)），把中間結(jié)果存下來，然后在從最近一個(gè)檢查點(diǎn)重新啟動(dòng)應(yīng)用。而 檢查點(diǎn)傳統(tǒng)的做法是需要用戶自己寫程序，這種做法要求比較高，因?yàn)闀?huì)涉及到眾多邊界問題，具有相當(dāng)?shù)碾y度。“而虛擬機(jī)卻為我們提供了這樣一種可能，虛擬機(jī) 能夠提供一個(gè)很干凈的邊界，我們可以把這個(gè)狀態(tài)很好地保存下來”。

不過，陳文光同時(shí)表示，由于HPC應(yīng)用和CheckPoint的復(fù)雜性，到今天為止，清華大學(xué)對(duì)此仍在進(jìn)一步研究當(dāng)中，目前還沒有一個(gè)非常完善的解決方案。“盡管如此，‘虛擬機(jī)+CheckPoint’仍為提供HPC程序可用性提供了可能”。

對(duì)“HPC云”似乎不是那么支持的張振宇提出了些自己的見解。他認(rèn)為，盡管虛擬化技術(shù)致力于“去耦合”，但HPC應(yīng)用比較特別，HPC應(yīng)用與底層平臺(tái)之間其實(shí)是非常緊密的“緊耦合”關(guān)系，不同的HPC應(yīng)用對(duì)底層的要求有較大的差別。例 如，石油行業(yè)HPC應(yīng)用對(duì)網(wǎng)絡(luò)延遲的要求不高，而對(duì)帶寬要求很高，因?yàn)樗�是�?duì)地震波反射的方式來收集海量數(shù)據(jù)進(jìn)行分析，數(shù)據(jù)載入時(shí)間往往大于數(shù)據(jù)處理時(shí) 間。相比之下，模擬汽車碰撞試驗(yàn)的HPC應(yīng)用就對(duì)網(wǎng)絡(luò)延遲的要求很高。這就意味著，適合跑石油業(yè)HPC應(yīng)用的HPC平臺(tái)，很可能就不適合跑汽車模擬碰撞試 驗(yàn)的HPC應(yīng)用。因此，虛擬化技術(shù)‘去耦合’的這一優(yōu)點(diǎn)，在HPC應(yīng)用上似乎體現(xiàn)不出什么優(yōu)勢(shì)，這大概也是張振宇認(rèn)為目前將云計(jì)算引入HPC的需求不是很 大的理由之一�？傊�，張振宇表示超算中心在建超算平臺(tái)的時(shí)候，無論是沿用傳統(tǒng)方式，還是采用云計(jì)算方式，都不要指望建一個(gè)HPC平臺(tái)就“通吃”各種HPC 應(yīng)用。這一點(diǎn)上，張振宇是贊同曾宇的關(guān)于超算服務(wù)終將形成垂直細(xì)分領(lǐng)域的觀點(diǎn)。

“誰說云計(jì)算一定要虛擬化？”

其實(shí)，在記者最初開始試圖理清虛擬化、云計(jì)算和HPC的關(guān)系的時(shí)候，朱近之即微笑地反問記者：“誰說云計(jì)算一定要虛擬化？在資源共享這個(gè)大范圍內(nèi)，虛擬化只是模式的一種，還有很多其它的模式。”

事實(shí)上，無論“科教云”還是成都高性能計(jì)算云中心都僅將部分資源實(shí)施了虛擬化。例如，“科教云”為A、 B、C、D四個(gè)區(qū)，每個(gè)區(qū)八十多個(gè)計(jì)算節(jié)點(diǎn)，其中僅A區(qū)利用虛擬化技術(shù)建立資源共享平臺(tái)。而IBM當(dāng)時(shí)負(fù)責(zé)該“科教云”項(xiàng)目的項(xiàng)目經(jīng)理岳爽告訴記者，之所 以只對(duì)一個(gè)區(qū)部署虛擬化技術(shù)，是因?yàn)橛行〩PC用戶提出來，由于應(yīng)用的特殊性或出于安全的考慮，不希望將應(yīng)用跑在虛擬的資源層。不過，這四個(gè)區(qū)都是受 IBM的“藍(lán)云”管理平臺(tái)統(tǒng)一進(jìn)行資源調(diào)度，對(duì)外提供超級(jí)計(jì)算的按需服務(wù)。換句話說，無論用戶想要獲取虛擬的還是非虛擬的計(jì)算資源，“藍(lán)云”管理平臺(tái)都能 統(tǒng)一調(diào)度、分配和管理。

英特爾服務(wù)器產(chǎn)品經(jīng)理張振宇

張振宇表示，對(duì)這個(gè)問題的理解應(yīng)該追本溯源，去深入理解云計(jì)算的內(nèi)涵。他認(rèn)為，可以從兩個(gè)維度來理解云 計(jì)算：從服務(wù)提供商的角度，云計(jì)算其是一種“管理的方法論，能實(shí)現(xiàn)對(duì)資源更好地管理”；從用戶的感受來看，云計(jì)算是按需獲取服務(wù)。用戶根本無需在意服務(wù)提 供方究竟采用了什么技術(shù)。因此，“‘HPC云’準(zhǔn)確地說是‘HPCAsService’，”張振宇如此說道。

理想與現(xiàn)實(shí)的距離

前景雖然美好，但現(xiàn)實(shí)往往是曲折的。在搭建“工業(yè)云”的過程中，曾宇坦言也遇到了令其頭疼的問題，即工 業(yè)PaaS（平臺(tái)即服務(wù)）的構(gòu)建。曾宇說：“我們希望通過云主機(jī)、云存儲(chǔ)、彈性計(jì)算平臺(tái)為工業(yè)用戶提供開發(fā)平臺(tái)服務(wù)，縮短企業(yè)從創(chuàng)意到實(shí)踐的過程。然而工 業(yè)范疇太大，如何提供透明的工業(yè)PaaS設(shè)計(jì)平臺(tái)，這個(gè)問題到現(xiàn)在也沒解決。”

邸瑞華也曾表示，無論是他們自己，還是他們的用戶，對(duì)安全都還是有一些擔(dān)憂和顧慮。張振宇表示，現(xiàn)有的 網(wǎng)絡(luò)帶寬環(huán)境還不行，那種理想的情況，即HPC用戶通過網(wǎng)絡(luò)上傳HPC應(yīng)用實(shí)現(xiàn)起來恐怕夠嗆。而孫凝暉則認(rèn)為，不僅是“HPC云”，對(duì)整個(gè)云計(jì)算而言，認(rèn) 為現(xiàn)在的各種軟硬件產(chǎn)品和技術(shù)“只能說是湊合用！”

孫凝暉解釋說，云計(jì)算其實(shí)對(duì)整個(gè)計(jì)算機(jī)系統(tǒng)都提出很多新的挑戰(zhàn)。例如，云計(jì)算對(duì)服務(wù)器I/O吞吐量、計(jì) 算訪存比的要求就很高。孫凝暉拿城市交通舉例說明：“設(shè)想一下，如果城市交通全靠火車，是不是靈活性就很欠缺？是不是還需要汽車這種靈活的交通工具？火車 是沿著固定軌道，把一大群人一下子運(yùn)送到某個(gè)地方，而汽車，兩三個(gè)人想去哪里就哪里。火車這種運(yùn)輸方式就好像高性能計(jì)算，一次完成大量的計(jì)算任務(wù)，而汽車 這種方式，就類似高通量計(jì)算（中科院提出的新型計(jì)算系統(tǒng)）。云計(jì)算不僅需要‘火車’（高性能計(jì)算），也需要‘汽車’（高通量計(jì)算）。”其次，云計(jì)算對(duì)互聯(lián) 網(wǎng)服務(wù)軟件的要求也比較高，要求有“強(qiáng)動(dòng)態(tài)性”，因?yàn)榛ヂ?lián)網(wǎng)上的請(qǐng)求數(shù)量都是忽高忽低的，難以預(yù)測(cè)的。

“作為科學(xué)家，我們關(guān)注的是更具有前瞻性的任務(wù)，”孫凝暉說道，“云計(jì)算作為互聯(lián)網(wǎng)的新的模式，在未來十年是主流，我們將要研發(fā)更適合云計(jì)算的計(jì)算系統(tǒng)。”

除了學(xué)術(shù)界，許多IT廠商們也在致力于為云計(jì)算的成熟營(yíng)造技術(shù)基礎(chǔ)。例如，英特爾一直研究硬件輔助虛擬 化技術(shù)，“我們希望將Hypervisor（虛擬機(jī)管理程序）變得越來越薄，甚至完全消失掉，從而最大程度地減輕虛擬機(jī)的開銷。”張振宇說道。此外，英特 爾還將推出集成眾核（MIC）架構(gòu)的芯片產(chǎn)品，旨在幫助加速特定的高度并行化的應(yīng)用。而曙光已經(jīng)在高性能計(jì)算機(jī)產(chǎn)品本身開始逐漸融入云計(jì)算的技術(shù)需求，例 如曙光開發(fā)的云存儲(chǔ)、并行存儲(chǔ)、并行數(shù)據(jù)庫、云管理等軟件，并且在構(gòu)建更加符合云計(jì)算需求的服務(wù)器平臺(tái)。相信隨著各項(xiàng)技術(shù)的逐漸成熟，我們的IT天空終究 會(huì)漂浮起一朵朵美麗而強(qiáng)大的“云”。

服務(wù)器租用/服務(wù)器托管中國(guó)五強(qiáng)！虛擬主機(jī)域名注冊(cè)頂級(jí)提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]