據(jù)日前的一則大數(shù)據(jù)工具使用情況調(diào)查，我們知道了Java程序猿最喜歡用的大數(shù)據(jù)工具。
問題：他們最近一年最喜歡用什么工具或者是框架？
受訪者可以選擇列表中的選項(xiàng)或者列出自己的，本文主要關(guān)心的是大數(shù)據(jù)工具。上一篇Java調(diào)查包括下列內(nèi)容：
- 開發(fā)語言
- Web框架
- 應(yīng)用服務(wù)器
- 數(shù)據(jù)庫工具
- SQL數(shù)據(jù)
- 大數(shù)據(jù)
- 開發(fā)工具
- 云供應(yīng)商
現(xiàn)在，來看看維基百科上對大數(shù)據(jù)的定義：
大數(shù)據(jù)，廣義上來說是一組量很大很復(fù)雜的數(shù)據(jù)集合，在這種情況下傳統(tǒng)的數(shù)據(jù)處理方式將不再適用。
對于一般情況來說傳統(tǒng)的SQL數(shù)據(jù)庫足夠用。再另外一些場景下，傳統(tǒng)的數(shù)據(jù)庫能夠承載的數(shù)據(jù)庫量級有限，并且現(xiàn)在有了越來越多的工具可供使用。關(guān)鍵取決于場景。
現(xiàn)在讓我們來討論不同的非SQL工具來存儲/處理數(shù)據(jù) - NoSQL數(shù)據(jù)庫、內(nèi)存緩存、全文搜索引擎、實(shí)時(shí)流媒體、圖形數(shù)據(jù)庫等。
大數(shù)據(jù)-調(diào)查結(jié)果
- MongoDB-一種非常流行的、跨平臺、面向document的數(shù)據(jù)庫。
- Elasticsearch-專為云計(jì)算設(shè)計(jì)的分布式REST風(fēng)格的搜索引擎。
- Cassandra-一個(gè)開源的分布式數(shù)據(jù)庫管理系統(tǒng)。最初是Facebook設(shè)計(jì)和開發(fā)的，部署在大量商用服務(wù)器上來處理大量的數(shù)據(jù)。高可用，無單點(diǎn)故障。
- Redis-開源的（BSD）內(nèi)存數(shù)據(jù)結(jié)構(gòu)存儲、內(nèi)存庫、緩存、消息代理。
- Hazelcast-基于Java開發(fā)的內(nèi)存數(shù)據(jù)網(wǎng)格。
- EHCache-廣泛使用的開源Java分布式緩存、J2ee、輕量級容器。
- Hadoop-用java開發(fā)的開源分布式大數(shù)據(jù)框架，用來處理非常大規(guī)模數(shù)據(jù)，hadoop是集群化部署。
- Solr-使用java開發(fā)的開源企業(yè)級搜索平臺。最初歸屬在Apache Lucene項(xiàng)目中。
- Spark-ASF中最活躍的項(xiàng)目，是一個(gè)開源的集群化計(jì)算框架。
- Memcached–通用分布式緩存系統(tǒng)。
- Apache Hive-在Hadoop支持類SQL封裝，將SQL語句變成mr程序來執(zhí)行。
- Apache Kafka–高吞吐量、分布式、消息發(fā)布-訂閱系統(tǒng)，最早是Linkin開發(fā)的。
- Akka–Java開發(fā)的用來建造高并發(fā)，基于jvm彈性消息驅(qū)動(dòng)的應(yīng)用。
- Hbase-根據(jù)Google的BigTable論文開發(fā)的開源分布式非關(guān)系型數(shù)據(jù)庫。開發(fā)語言是Java，用HDFS作為底層存儲。
- Neo4j–用Java實(shí)現(xiàn)的開源圖形數(shù)據(jù)庫。
- CouchBase–面向Document的開源分布式NoSQL數(shù)據(jù)庫，并且針對交互應(yīng)用做過優(yōu)化。
- Apache Storm–開源分布式實(shí)時(shí)計(jì)算系統(tǒng)。
- CouchDB–使用json來存儲數(shù)據(jù)的開放源碼面向文檔的NoSQL數(shù)據(jù)庫。
- Oracle Coherence–內(nèi)存數(shù)據(jù)網(wǎng)格解決方案，使企業(yè)通過提供快速訪問熱數(shù)據(jù)來預(yù)測關(guān)鍵任務(wù)應(yīng)用的規(guī)模。
- Titan–可擴(kuò)展的圖形數(shù)據(jù)庫，針對集群存儲和查詢數(shù)千億的圖形數(shù)據(jù)做過優(yōu)化。
- 亞馬遜 DynamoDB – 一個(gè)快速、靈活NoSQL數(shù)據(jù)庫，能夠應(yīng)對所有規(guī)模應(yīng)用程序的需求，包括持久化、毫秒級延遲。
- Amazon Kinesis–AWS上的實(shí)時(shí)數(shù)據(jù)計(jì)算平臺。
- Datomic–提供完整事務(wù)支持，云計(jì)算，分布式的數(shù)據(jù)庫，開發(fā)語言用Clojure。