伴隨著平板電腦、智能手機(jī)、微博、SNS網(wǎng)站的出現(xiàn),越來(lái)越多的諸如語(yǔ)音、視頻等非結(jié)構(gòu)化數(shù)據(jù)充斥著人們的生活。
傳統(tǒng)商業(yè)智能系統(tǒng)在向縱深應(yīng)用拓展的同時(shí),商業(yè)決策已經(jīng)越來(lái)越依賴于數(shù)據(jù)。而對(duì)于任何企業(yè)來(lái)說(shuō),數(shù)據(jù)都是為其帶來(lái)商業(yè)價(jià)值的關(guān)鍵因素。沃爾瑪就是最早通過利用大數(shù)據(jù)而受益的企業(yè)之一。
通過對(duì)消費(fèi)者的購(gòu)物行為等非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析,沃爾瑪成為最了解顧客購(gòu)物習(xí)慣的零售商,并創(chuàng)造了“啤酒與尿布”的經(jīng)典商業(yè)案例。早在2007年,沃爾瑪就建立了一個(gè)超大的數(shù)據(jù)中心,其存儲(chǔ)能力高達(dá)4PB以上。
根據(jù)IDC的報(bào)告,未來(lái)十年全球大數(shù)據(jù)將增加50倍。如何存儲(chǔ)這些快速增長(zhǎng)的、海量的數(shù)據(jù)?如何對(duì)大數(shù)據(jù)進(jìn)行分析處理,挖掘出價(jià)值?相關(guān)的一系列問題成為了所有企業(yè)面臨的共同挑戰(zhàn)。獨(dú)立企業(yè)數(shù)據(jù)集成軟件提供商Informatica中國(guó)區(qū)首席產(chǎn)品顧問但彬認(rèn)為,2012年隨著云計(jì)算應(yīng)用部署的加快,大數(shù)據(jù)帶來(lái)的挑戰(zhàn)將更加嚴(yán)峻。
一 是什么樣的大背景、大環(huán)境催生了大數(shù)據(jù)這種新型的數(shù)據(jù)模式?
但彬:一個(gè)大規(guī)模生產(chǎn)、分享、應(yīng)用數(shù)據(jù)的時(shí)代正在開啟,我們每個(gè)人都成為了數(shù)據(jù)的創(chuàng)造者和使用者,微博、社交網(wǎng)絡(luò)都是最好的例子。代表著大數(shù)據(jù)時(shí)代Apple、Facebook、Amazon等公司正成為這場(chǎng)變革的推動(dòng)力量。同時(shí)新企業(yè)也層出不窮,比如2007年才成立的Dropbox公司,創(chuàng)始人不到27歲,估值已經(jīng)超過40億美元,這是一家提供文件備份及共享服務(wù)的公司,允許用戶在不同平臺(tái)和設(shè)備之間同步并共享文件,Dropbox用戶數(shù)量超過2500萬(wàn),每天存儲(chǔ)的文件數(shù)量2億多個(gè),蘋果公司曾出價(jià)8億美元想收購(gòu)它,但未成功。
二 大數(shù)據(jù)浪潮正在愈演愈烈,那么大數(shù)據(jù)的商業(yè)價(jià)值又是什么?
但彬:企業(yè)用以分析的數(shù)據(jù)越全面,分析的結(jié)果就越接近于真實(shí)。大數(shù)據(jù)分析意味著企業(yè)能夠從這些新的數(shù)據(jù)中獲取新的洞察力,并將其與已知業(yè)務(wù)的各個(gè)細(xì)節(jié)相融合。不同企業(yè)之間最大的顯著差別在于新數(shù)據(jù)類型的引入。那些沒有引入新的分析技術(shù)和新的數(shù)據(jù)類型的企業(yè),不太可能成為其行業(yè)的領(lǐng)軍者。
三 大數(shù)據(jù)可以幫助客戶做哪些事情?通過大數(shù)據(jù)進(jìn)行用戶行為的分析在哪些行業(yè)體現(xiàn)得最為成功?
但彬:通過大數(shù)據(jù)進(jìn)行用戶行為分析只是大數(shù)據(jù)在一個(gè)行業(yè)的體現(xiàn)。舉例來(lái)說(shuō),沃爾瑪是最早通過利用大數(shù)據(jù)而受益的企業(yè)之一,一度擁有世界上最大的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)。一般看來(lái),啤酒和尿布是顧客群完全不同的商品。但是沃爾瑪多年來(lái)數(shù)據(jù)挖掘的結(jié)果顯示,在消費(fèi)者中尿布賣得好的店面啤酒也賣得很好。沃爾瑪因此被公認(rèn)為促進(jìn)了商業(yè)領(lǐng)域數(shù)據(jù)挖掘的誕生。
而在其他領(lǐng)域,比如美國(guó)國(guó)家海洋和大氣局嘗試?yán)么髷?shù)據(jù)業(yè)務(wù)協(xié)助進(jìn)行對(duì)氣候、環(huán)境、天氣的研究和商業(yè)性探索,美國(guó)宇航局利用大數(shù)據(jù)業(yè)務(wù)進(jìn)行航天和其他領(lǐng)域的探索。制藥企業(yè)和能源企業(yè)則借助大數(shù)據(jù)業(yè)務(wù)進(jìn)行更多實(shí)實(shí)在在的研發(fā),藥品實(shí)驗(yàn)和地球物理分析。《紐約時(shí)報(bào)》將“大數(shù)據(jù)”作為一種工具,進(jìn)行文本分析和網(wǎng)絡(luò)開發(fā)。迪斯尼公司利用它對(duì)店面、主題公園和網(wǎng)絡(luò)資產(chǎn)中的數(shù)據(jù)進(jìn)行分析,研究消費(fèi)習(xí)慣的相關(guān)性。
四 大數(shù)據(jù)常和云計(jì)算聯(lián)系到一起,這兩者之前的關(guān)系是什么?
但彬:大數(shù)據(jù)意味著大資源,這是云計(jì)算與大數(shù)據(jù)的交集,其實(shí)也就是意味著,云計(jì)算與大數(shù)據(jù)的關(guān)系是兩個(gè)方向,云計(jì)算可以承載大數(shù)據(jù),大數(shù)據(jù)也是可以通過云計(jì)算架構(gòu)和模型來(lái)提供解決方案。這樣我們就可以清晰地知道,大數(shù)據(jù)在管理和應(yīng)用的方向上,可以通過云計(jì)算的資源共享、高可擴(kuò)展性、服務(wù)特性來(lái)搭建和運(yùn)營(yíng)。
現(xiàn)在,各類機(jī)構(gòu)的數(shù)據(jù)量正在快速增長(zhǎng),這些數(shù)據(jù)每天在其系統(tǒng)內(nèi)流動(dòng);同時(shí),云中的數(shù)據(jù)量也日益增加。隨著數(shù)據(jù)量的增加,實(shí)時(shí)處理這些數(shù)據(jù)的能力已成為大數(shù)據(jù)的重要挑戰(zhàn)之一。2012年,隨著云計(jì)算應(yīng)用部署的加快,大數(shù)據(jù)帶來(lái)的挑戰(zhàn)將更加嚴(yán)峻。
五 大數(shù)據(jù)時(shí)代,云計(jì)算如何解決數(shù)據(jù)在云端的集成與分享、個(gè)人數(shù)據(jù)的無(wú)縫連接、數(shù)據(jù)的跟蹤分析和挖掘?
但彬:隨著云計(jì)算的發(fā)展,云數(shù)據(jù)集成將成為關(guān)注重點(diǎn)。而隨著越來(lái)越多的企業(yè)機(jī)構(gòu)轉(zhuǎn)向混合型IT架構(gòu),以及云集成任務(wù)的業(yè)務(wù)關(guān)鍵性和復(fù)雜性的增加,云數(shù)據(jù)集成的企業(yè)級(jí)特性對(duì)客戶的成功意義非凡。
六 從去年開始,眾多廠商開始進(jìn)軍大數(shù)據(jù)并希望從中掘金,但是從目前的態(tài)勢(shì)來(lái)看,由于大數(shù)據(jù)的技術(shù)門檻較高,在大數(shù)據(jù)領(lǐng)域展開競(jìng)爭(zhēng)的IT公司,大都仍然是在數(shù)據(jù)存儲(chǔ)、分析等領(lǐng)域有著傳統(tǒng)優(yōu)勢(shì)的廠商,比如IBM、Oracle等。那么Informatica是在什么基礎(chǔ)上來(lái)做大數(shù)據(jù)的?
但彬:Informatica有一套完善的技術(shù),可以支持多項(xiàng)復(fù)雜的企業(yè)級(jí)數(shù)據(jù)集成計(jì)劃,包括:企業(yè)數(shù)據(jù)集成、數(shù)據(jù)質(zhì)量控制、主數(shù)據(jù)管理、B2B Data Exchange、信息生命周期管理、復(fù)雜事件處理、超級(jí)消息和云數(shù)據(jù)集成。通過Informatica單一、完整、開放且經(jīng)濟(jì)的數(shù)據(jù)集成平臺(tái),企業(yè)機(jī)構(gòu)可以在改進(jìn)數(shù)據(jù)質(zhì)量的同時(shí),訪問、發(fā)現(xiàn)、清洗、集成并交付數(shù)據(jù),來(lái)提高運(yùn)營(yíng)效率、降低運(yùn)營(yíng)成本。
七 Informatica數(shù)據(jù)集成平臺(tái)上的應(yīng)用是由合作伙伴提供還是自行開發(fā)?
但彬:Informatiea平臺(tái)是全球第一個(gè)專為數(shù)據(jù)集成設(shè)計(jì)的全面、統(tǒng)一、開放式軟件平臺(tái)。這一開放式跨平臺(tái)軟件可以訪問幾乎所有類型的數(shù)據(jù),并且讓這些數(shù)據(jù)變得可以訪問、有意義而且有用處,滿足相關(guān)人員和流程的需要。通過促進(jìn)整個(gè)企業(yè)協(xié)作的產(chǎn)品,Informatica不僅可以幫助客戶降低成本、加速獲得成果,而且能夠通過擴(kuò)展處理各種規(guī)模或復(fù)雜程度的數(shù)據(jù)集成項(xiàng)目。2011年6月,Informatica成功地推出了創(chuàng)新的Informatica 9.1 for Big Data,這是全球第一個(gè)專門為大數(shù)據(jù)而構(gòu)建的統(tǒng)一數(shù)據(jù)集成平臺(tái)。
八 Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架,Hadoop意味著開源,那么在這種開源的前提下廠商如何盈利?
但彬:用戶希望能夠以更經(jīng)濟(jì)的方式、更好的性能來(lái)處理數(shù)據(jù),從而能夠經(jīng)濟(jì)有效地利用快速增長(zhǎng)的數(shù)據(jù)推動(dòng)業(yè)務(wù)創(chuàng)新。在這樣的背景下,Hadoop獲得了快速發(fā)展。
Hadoop有兩個(gè)重要特性,一是經(jīng)濟(jì)性,二是可擴(kuò)展性。2008年,一家電信運(yùn)營(yíng)商試著用36萬(wàn)元搭建一個(gè)基于x86架構(gòu)和Hadoop架構(gòu)的云計(jì)算評(píng)估平臺(tái)。在與已有的270萬(wàn)元商用系統(tǒng)跑同樣的應(yīng)用進(jìn)行性能比較后,他們驚喜地發(fā)現(xiàn),Hadoop平臺(tái)的數(shù)據(jù)處理性能增加了約30倍,數(shù)據(jù)挖掘性能增加了約9倍,而且成本優(yōu)勢(shì)將隨著數(shù)據(jù)處理規(guī)模的增加而更具優(yōu)勢(shì)。
隨著企業(yè)不斷尋求更高的數(shù)據(jù)回報(bào),對(duì)Hadoop開發(fā)者將會(huì)有更高的需求,技能短缺將繼續(xù)且很可能加劇。2012年,Hadoop將繼續(xù)獲得牽引力,但在2015年前都不會(huì)成為真正的主流。
九 除了Hadoop軟件架構(gòu),元數(shù)據(jù)和主數(shù)據(jù)管理也是大數(shù)據(jù)時(shí)代令人較為關(guān)注的話題。那么應(yīng)如何區(qū)分兩者?它們分別在企業(yè)中的作用分別是?
但彬:元數(shù)據(jù)通常稱為“關(guān)于數(shù)據(jù)的數(shù)據(jù)”,是有效管理、共享和存儲(chǔ)信息的一個(gè)最重要的成功因素。事實(shí)上,元數(shù)據(jù)管理是數(shù)據(jù)集成的基礎(chǔ)。根據(jù)IDC的定義,主數(shù)據(jù)是指系統(tǒng)間共享數(shù)據(jù)(例如,客戶、供應(yīng)商、賬戶和組織部門相關(guān)數(shù)據(jù))。
主數(shù)據(jù)管理是一系列的規(guī)則、應(yīng)用和技術(shù),目的是為了協(xié)調(diào)和管理與企業(yè)的核心業(yè)務(wù)實(shí)體相關(guān)的系統(tǒng)記錄和系統(tǒng)登錄中的數(shù)據(jù)和元數(shù)據(jù)。盡管不少公司針對(duì)IT體系架構(gòu)接受以數(shù)據(jù)為中心的方法并將數(shù)據(jù)作為一種資產(chǎn)來(lái)進(jìn)行處理,但許多公司未能充分利用他們的數(shù)據(jù)集成投資從元數(shù)據(jù)管理中獲得額外價(jià)值。有效的元數(shù)據(jù)管理將引導(dǎo)開發(fā)整體數(shù)據(jù)集成的最佳實(shí)踐。
整個(gè)企業(yè)范圍內(nèi)不同系統(tǒng)中存在著不同格式的關(guān)鍵業(yè)務(wù)數(shù)據(jù)(例如客戶、產(chǎn)品、合作伙伴和供應(yīng)商數(shù)據(jù)),這種不一致和重復(fù)的數(shù)據(jù)可能會(huì)阻礙戰(zhàn)略性業(yè)務(wù)決策的實(shí)施。憑借MDM(主數(shù)據(jù)管理),企業(yè)可以獲得整合而可靠的數(shù)據(jù),從而更易于獲得和留住客戶,充分發(fā)揮高效運(yùn)營(yíng)的競(jìng)爭(zhēng)優(yōu)勢(shì),加快實(shí)現(xiàn)并購(gòu)所帶來(lái)的價(jià)值,支持企業(yè)范圍內(nèi)的明智決策。
核心關(guān)注:拓步ERP系統(tǒng)平臺(tái)是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用,蘊(yùn)涵了豐富的ERP管理思想,集成了ERP軟件業(yè)務(wù)管理理念,功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理,全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域,是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。
轉(zhuǎn)載請(qǐng)注明出處:拓步ERP資訊網(wǎng)http://m.lukmueng.com/
本文標(biāo)題:大數(shù)據(jù)帶來(lái)大挑戰(zhàn)
本文網(wǎng)址:http://m.lukmueng.com/html/support/1112155245.html