當(dāng)你悠閑的在街上散步的時(shí)候，你可能不知道一塊降雨云將在10分鐘后和你相遇。這時(shí)，墨跡天氣會給一個(gè)提示，點(diǎn)進(jìn)去以后還可以看到這場雨的持續(xù)時(shí)間。這是墨跡天氣即將上線的一項(xiàng)功能，背后依托的是其強(qiáng)大的大數(shù)據(jù)分析技術(shù)。
日前，墨跡天氣同國內(nèi)最大云計(jì)算服務(wù)商阿里云展開合作，進(jìn)一步強(qiáng)化其大數(shù)據(jù)優(yōu)勢。墨跡天氣通過采用阿里云的大數(shù)據(jù)計(jì)算服務(wù)ODPS，對4億用戶產(chǎn)生的日志進(jìn)行分析，基于此提供更加個(gè)性化的天氣服務(wù)。
4億用戶是什么概念？也就是說，13.5億中國人，每四個(gè)人中就有一個(gè)下載過墨跡天氣，超過了美國人口總數(shù)。這些用戶每天有超過 5 億次的天氣查詢需求，這一數(shù)字甚至要大于 Twitter 每天發(fā)帖量。
“用戶每天產(chǎn)生的日志量大約在400GB。我們需要將這些海量的數(shù)據(jù)導(dǎo)入云端，然后分天、分小時(shí)的展開數(shù)據(jù)分析作業(yè)，分析結(jié)果再導(dǎo)入數(shù)據(jù)庫和報(bào)表系統(tǒng)，最終展示在運(yùn)營人員面前。”墨跡天氣運(yùn)維部經(jīng)理章漢龍介紹，整個(gè)過程中數(shù)據(jù)量龐大，且計(jì)算復(fù)雜，這對云平臺的大數(shù)據(jù)能力、生態(tài)完整性和開放性提出了很高的要求。
在大數(shù)據(jù)處理能力方面，阿里云ODPS剛剛在Sort Benchmark排序競賽中斬獲了世界冠軍。Sort Benchmark被認(rèn)為是計(jì)算界的奧運(yùn)會，全球頂尖公司和學(xué)術(shù)機(jī)構(gòu)都會參加，以評估他們的最新研究成果。
此外，阿里云ODPS提供更為易用、全面的大數(shù)據(jù)分析功能。ODPS可根據(jù)業(yè)務(wù)情況做到計(jì)算資源自動彈性伸縮，天然集成存儲功能。通過簡單的幾項(xiàng)配置操作后，即可完成數(shù)據(jù)上傳，同時(shí)實(shí)現(xiàn)了多種開源軟件的對接。
此前，墨跡天氣的這一流程是在國外某云計(jì)算平臺上完成的，需要分別使用云存儲、大數(shù)據(jù)分析等服務(wù)，數(shù)據(jù)分析完成后再同步到本地?cái)?shù)據(jù)庫中與報(bào)表系統(tǒng)對接。章漢龍介紹，在完成遷移后，墨跡天氣的整體存儲和計(jì)算成本降低了70%。同時(shí)，墨跡還可以借助ODPS上的機(jī)器學(xué)習(xí)算法，對數(shù)據(jù)進(jìn)行深度挖掘。
章漢龍?zhí)岬降倪@些算法均來自阿里巴巴集團(tuán)的核心算法庫，經(jīng)歷過雙11、雙12等戰(zhàn)火錘煉。這其中包括特征工程、數(shù)據(jù)探查與統(tǒng)計(jì)、大規(guī)模機(jī)器學(xué)習(xí)、深度學(xué)習(xí)，以及阿里在文本、圖像和語音處理方面的數(shù)據(jù)技術(shù)。
