十年阿里數(shù)據(jù)之路

2014-03-07 09:35:09來(lái)源:西部e網(wǎng)作者:

10年以前,阿里并沒(méi)有意識(shí)到,今天的數(shù)據(jù)量,會(huì)到達(dá)一個(gè)什么樣的程度。目前,阿里集團(tuán)僅淘寶和天貓兩個(gè)子公司每日新增的數(shù)據(jù)量,就足以讓一個(gè)人連續(xù)不斷看上28年的電影。而如果將你代入成服務(wù)器,你處理的數(shù)據(jù)量則相當(dāng)于每秒鐘看上837集的《來(lái)自星星的你》。

10年以前,阿里并沒(méi)有意識(shí)到,今天的數(shù)據(jù)量,會(huì)到達(dá)一個(gè)什么樣的程度。目前,阿里集團(tuán)僅淘寶和天貓兩個(gè)子公司每日新增的數(shù)據(jù)量,就足以讓一個(gè)人連續(xù)不斷看上28年的電影。而如果將你代入成服務(wù)器,你處理的數(shù)據(jù)量則相當(dāng)于每秒鐘看上837集的《來(lái)自星星的你》。

這只是阿里大數(shù)據(jù)實(shí)力的冰山一角。大數(shù)據(jù)的魅力和要求,遠(yuǎn)不止于此。

十年多樣數(shù)據(jù)沉淀:交易、金融、物流、SNS、地圖……

阿里數(shù)據(jù)到底有多大?想象一下天貓雙11吧,這是每年一次對(duì)阿里數(shù)據(jù)的大考。在2013年11月11日,它承載的是350億的交易額,是同時(shí)服務(wù)超過(guò)1700萬(wàn)人,是每分鐘產(chǎn)生10萬(wàn)個(gè)包裹,是提供相當(dāng)于1000個(gè)義烏商品市場(chǎng)那么大的商品數(shù)給你挑選,是需要同時(shí)展現(xiàn)3000萬(wàn)部愛(ài)情動(dòng)作片,是支持每分鐘100萬(wàn)人同時(shí)買單,是相當(dāng)于同時(shí)由9000萬(wàn)個(gè)服務(wù)員幫你拿貨。

當(dāng)然,體量的大,只是大數(shù)據(jù)的基本。而數(shù)據(jù)種類的多樣、全面、可關(guān)聯(lián),才是全球考量大數(shù)據(jù)價(jià)值所在。十余年以來(lái),阿里沉淀了包括了交易、金融、SNS、地圖、生活服務(wù)等多種類型的數(shù)據(jù)。

十年數(shù)據(jù)平臺(tái)變革:從舶來(lái)品到自建“云端” facebook找上門(mén)求經(jīng)驗(yàn)

即使阿里有號(hào)稱全球最大的Oracle RAC 集群,卻依然難以滿足業(yè)務(wù)發(fā)展的需要。當(dāng)時(shí),阿里的數(shù)據(jù)以2~4倍的增長(zhǎng),而Oracle 從性能上不能做到線性增長(zhǎng)。于是,阿里開(kāi)始研發(fā)自己的大規(guī)模分布式計(jì)算系統(tǒng)。不過(guò),加速阿里自建云端并且將下決心將全部數(shù)據(jù)遷移上云的,卻是來(lái)自一封郵件——“云梯1要撞墻了”。(備注:云梯1是阿里在其他系統(tǒng)的基礎(chǔ)上構(gòu)建出的分布式計(jì)算機(jī)系統(tǒng)。)

這封郵件是技術(shù)保障部同學(xué)發(fā)給阿里CEO的。去年3月,技術(shù)保障部發(fā)現(xiàn),按照數(shù)據(jù)增量和未來(lái)業(yè)務(wù)增長(zhǎng)的情況,系統(tǒng)存儲(chǔ)和計(jì)算能力將在3個(gè)月內(nèi)達(dá)到瓶頸,數(shù)據(jù)業(yè)務(wù)將會(huì)停滯。于是,在短短4個(gè)月之內(nèi),阿里將單集群規(guī)模從1500臺(tái)服務(wù)器升級(jí)到了5000臺(tái)服務(wù)器,成為國(guó)內(nèi)首個(gè)單集群達(dá)到5000臺(tái)規(guī)模的公司。

這意味著什么?5000對(duì)于云計(jì)算同行來(lái)說(shuō),有如登山運(yùn)動(dòng)前的珠峰,不可逾越。在當(dāng)時(shí),就算對(duì)Google與FaceBook這樣的擁有大數(shù)據(jù)并掌握云計(jì)算核心技術(shù)的公司也沒(méi)有完全成熟的解決方案。也就是說(shuō),這完全是摸著石頭過(guò)河,誰(shuí)都沒(méi)有經(jīng)驗(yàn)。

不止如此,阿里還成功實(shí)現(xiàn)了跨機(jī)房集群擴(kuò)展。也就是說(shuō),5000臺(tái)服務(wù)器的集群可以無(wú)限延伸。在其他公司還在拼命砸錢買服務(wù)器卻依然面臨可能“撞墻”障礙的時(shí)候,阿里已經(jīng)可以無(wú)限制擴(kuò)展,提供無(wú)限制的服務(wù)了。也難怪,在成功后不久,連facebook這樣全球頂級(jí)的IT公司也發(fā)來(lái)郵件,求助阿里數(shù)據(jù)團(tuán)隊(duì)前去分享經(jīng)驗(yàn)。

十年數(shù)據(jù)應(yīng)用創(chuàng)新:從自己用,到給別人用

目前,阿里集團(tuán)已經(jīng)有上百款數(shù)據(jù)應(yīng)用產(chǎn)品。而在10年以前,阿里還對(duì)數(shù)據(jù)產(chǎn)品沒(méi)有概念。嚴(yán)格上來(lái)說(shuō),最早出現(xiàn)的跟數(shù)據(jù)有關(guān)的產(chǎn)品,是2005淘寶推出的“淘數(shù)據(jù)”。這是一個(gè)考量各個(gè)業(yè)務(wù)線運(yùn)營(yíng)情況的內(nèi)部產(chǎn)品,能夠看到每天的經(jīng)營(yíng)數(shù)據(jù)報(bào)表。這是首次阿里對(duì)數(shù)據(jù)的需求,以產(chǎn)品的形式存在。

自此以后,阿里開(kāi)啟了數(shù)據(jù)應(yīng)用之門(mén),在金融、信貸、廣告、搜索、交易、選品、活動(dòng)、生活、技術(shù)服務(wù)等多個(gè)方面推出產(chǎn)品。

例如,阿里數(shù)據(jù)最早被業(yè)內(nèi)所熟知的,是阿里金融。這款產(chǎn)品綜合了信用記錄、成交數(shù)額等結(jié)構(gòu)化數(shù)據(jù),以及用戶評(píng)論等非結(jié)構(gòu)化數(shù)據(jù),加上外部搜集的用電量、銀行信貸等數(shù)據(jù),可就放貸與否、放貸額度精準(zhǔn)決策。直接彌補(bǔ)了銀行業(yè)在貸款風(fēng)險(xiǎn)上的盲點(diǎn),幾分鐘之內(nèi)就讓貸款發(fā)出,其貸款不良率僅為0.78%。截至2014年2月底,阿里小微信貸已經(jīng)累計(jì)為超過(guò)70萬(wàn)家小微企業(yè)解決融資需求,累計(jì)投放貸款超過(guò)1700億元。

2012年的聚石塔,一推出就投入到雙11的實(shí)戰(zhàn)中去。它提供了數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算等服務(wù),在保障交易安全,避免遭黑客攻擊的同時(shí),還提升了商家處理訂單的速度,確保交易順暢。2013年的天貓雙十一,聚石塔處理了全網(wǎng)75%商家的訂單,處理總訂單量是12年雙11的10倍,0漏單,覆蓋活躍商家94萬(wàn),其中有兩家訂單量過(guò)100萬(wàn)。

而就在去年夏天,阿里又推出一個(gè)數(shù)據(jù)平臺(tái)DMP。在這個(gè)平臺(tái)上,數(shù)據(jù)變成國(guó)際市場(chǎng)里的原油,數(shù)據(jù)的擁有者、挖掘開(kāi)發(fā)者、消費(fèi)者都在這里交匯。在這個(gè)平臺(tái)里面,傳統(tǒng)意義上的商家通常以數(shù)據(jù)消費(fèi)者的身份出現(xiàn),來(lái)購(gòu)買數(shù)據(jù)結(jié)果。他們通過(guò)數(shù)據(jù)結(jié)果來(lái)幫助自己做好精準(zhǔn)營(yíng)銷,提升轉(zhuǎn)化率。統(tǒng)計(jì)顯示,目前DMP數(shù)據(jù)可幫助商家提升盈利達(dá)3倍。

從其推出的產(chǎn)品可以看出,阿里已經(jīng)從自己用數(shù)據(jù),到給數(shù)據(jù)讓別人用,再到現(xiàn)在的給別人搭建使用數(shù)據(jù)的平臺(tái),讓所有人都可以享受數(shù)據(jù)帶來(lái)的成果。

未來(lái):所有數(shù)據(jù)的交匯 讓1+1>2

有人說(shuō),數(shù)據(jù)是有錢人玩的游戲,因?yàn)樾枰ㄙM(fèi)大把的錢去燒服務(wù)器。這句話,也許曾經(jīng)適用,現(xiàn)在也適用,但以后將不再適用。因?yàn)榘⒗镒约貉邪l(fā)了計(jì)算系統(tǒng),并且在這個(gè)系統(tǒng)上,將真正搭建一個(gè)大數(shù)據(jù)環(huán)境。在這里,許多有數(shù)據(jù)需求的中小企業(yè)可以得到數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理等服務(wù),甚至還能構(gòu)建他們自己的數(shù)據(jù)應(yīng)用,而無(wú)需為此購(gòu)買服務(wù)器,為此增添相關(guān)的技術(shù)人員。

除此之外,未來(lái)的數(shù)據(jù)社會(huì)里,各種數(shù)據(jù)也將串聯(lián)起來(lái)。阿里正在搭建開(kāi)放的數(shù)據(jù)平臺(tái),一方面將自己的數(shù)據(jù)開(kāi)放給更多有需要的人使用;而另一方面,更多外部數(shù)據(jù)也會(huì)涌入這個(gè)平臺(tái),與阿里體系內(nèi)的金融、地圖、SNS、交易等多種數(shù)據(jù)相交匯,產(chǎn)生出更多價(jià)值。

可以想象,不久以后的一天,你是這樣度過(guò)的:早上起床,就會(huì)有信息提示你,今天陽(yáng)光很好,你適合穿衣柜里從左開(kāi)始數(shù)的第6件衣服;你剛吃完早餐的時(shí)候就告訴你,最近一輛車會(huì)在8:50到你家門(mén)口;你在上班路上看到有個(gè)女生的裙子很好看,打開(kāi)手機(jī)淘寶的時(shí)候,就會(huì)出現(xiàn)那條裙子的店鋪;下班之后,你想去看場(chǎng)電影,一進(jìn)影院就會(huì)自動(dòng)挑選出你會(huì)喜歡的影片而不需要你在幾部片子里面糾結(jié);電影一結(jié)束,就會(huì)有你剛好想吃的甜品店推送給你……

關(guān)鍵詞:阿里大數(shù)據(jù)

贊助商鏈接: