我們編寫好了網絡爬蟲,從互聯(lián)網上爬取了年夜量數據,當數據量可以稱之為海量的時候,傳統(tǒng)的關系型數據庫將會面對下面的問題：

1 關系數據庫依照事務關系組織存儲模型,要求事務的一致性

2 海量數據在并發(fā)時呈現讀寫性能的下降

3 可擴展性能差,容錯性能弱

面對海量數據,傳統(tǒng)的關系型數據庫已經不能滿足需求,尤其是并行計算,我們必要把海量數據分布到不同的網絡節(jié)點上,利用多機的計算資源來加速計算速度.

MongoDB

作為NoSql數據庫的代表,下面是MongoDB津津樂道并能夠得到大范圍推廣的長處

1 結構靈活,采用表結構,擴展性強,可以動態(tài)的增刪,因為不必要預先定義表結構,是面向文檔的.

2 MongoDB自帶集群,可擴展性能高,當數據量跨越MongoDB的存儲上限時,可以直接增加相應的分片即可,

3 MongoDB的副本集機制的存在保障了容錯性以及避免單點故障

4 以BSON存儲,模式要求比擬弱.

Redis

Redis數據庫是一種輕量級的鍵值對數據存儲,Redis 可以在磁盤上存儲數據以及跨節(jié)點復制數據,也就是可以像使用傳統(tǒng)的關系型數據庫一樣使用Redis來建立數據倉庫.但是它之所以比擬出名是因為它的快速,也就是說Redis數據庫的讀寫性能非常高.操作時會將整個數據庫系統(tǒng)加載到內存中,查找速度快,但是Redis一般只適合小數量的數據.

Memcached

Memcached也是內存對象緩存系統(tǒng),通過將目標的鍵值對加載到內存上進行操作,Memcached也是通過減少IO交換來增強讀寫性能,但是它也存在缺陷,雖然和Redis數據庫同樣是內存對象緩存系統(tǒng),但是Memcached中存儲的值只能是簡單的字符串,而Redis它支持豐富的值集,包含字符串、列表、集以及散列.

Graph DataBase

圖數據庫的存儲非常復雜但是組織結構是合理高效的.圖數據庫的存儲方式很像知識圖譜,有實體,還有實體之間的關系,一般在表現社會關系、科學論文引用等關系結構比擬復雜的時候應用.

雖然非關系數據庫的發(fā)展日益龐年夜,但是從歷史角度上,關系型數據庫仍然在很多年夜型企業(yè)上占據霸主地位,但是從發(fā)展趨勢上來看,隨著對海量數據、高效查詢的需求的增加,No-Sql仍然是技術發(fā)展的重要一環(huán).