網贏中國專注大數據營銷 [會員登錄][免費注冊][網贏中國下載]我要投稿|加入合伙人|設為首頁|收藏|RSS
網贏中國是大數據營銷代名詞。
大數據營銷
當前位置:網贏中國 > 行業資訊 > 解決方案 > 大數據營銷解決方案 > 常見分布式計算框架特點-技術博客
常見分布式計算框架特點-技術博客
編輯:hanyueqi 發布時間: 2015-7-8    文章來源:CSDN博客
大數據營銷

分布式計算


  Hadoop:


  Hadoop在使用原理上基本上遵照了Map、Reduce這樣的一種模式進行項目的實際開發與交互,將一個個任務分解成映射與合并兩種方式,然而通過映射進行分類與簡化,從而產生部分歸并結果,然后對同類結果進行歸并計算;


  由于Hadoop的中間結果需要依托于hdfs,從而需要經歷硬盤及網絡io的過程所以在實時性方面表現稍差;


  Hadoop主要處理hdfs上的文本文件,而文本文件內容本身也是半結構化的;


  之前的資源調度就是靠其中的master,之后hadoop2.0之后引入yarn進行資源的統一管理;


  Spark:


  Spark的原理是將任務進行分解,并且在每一步任務上進行相應的操作處理,同時根據操作處理順序構建DAG圖,從而應用DAG引擎進行相關操作。


  由于Spark在進行處理時主要使用內存所以基本可以做到實時性,同時,在進行DAG引擎優化方面對速度也有一定程度提升;


  Spark本身是通過DAGScheduler與TaskScheduler實現任務調度以及計算節點切換,現在mesos及yarn都對spark進行了一定程度的支持;


  Spark的數據模型使用RDD這種彈性的存儲,并且基于該數據模型構建了相應的數據依賴,從而實現一定的容錯機制;


  Spark基本上都運行在內存中,可以使用yarn或者mesos進行資源的統一管理,然后在上面進行spark的相關任務調度;


  Storm:


  Storm是基于消息源(spout)獲取數據發送信息,并且將信息發送到bolt形成相應的tuple,之后在此基礎上繼續構建數據的處理規則,處理規則需要認為變成實現;


  Storm本身是流式數據處理,所以在實現實時性方面有一定的優勢;


  Storm的數據模型沒有體現依賴關系,沒有進行特別的存儲結構設計,同時在數據模型處理方面僅僅進行結構設計而沒有進行優化;


  資源調度以及使用方面直接按照用戶的i自定義方式進行,需要用戶編寫大量的流程控制問題,同時沒有在資源啊隔離放main做些謝智導致可能出現局部任務影響全局的問題;


  LinkedIn Samza:


  領英出品,主要結合kafka的設計思想將數據進行分塊,同時保證數據的局部有序性,而任務調度方面進行簡單操作后進行輸入與輸出。


  進行實時數據流處理,并且綜合了Kafka這樣的消息隊列;


  通過類似于Kafka的數據結構,實現消息的分區、局部有序以及消息的重讀機制,同時配合持久化方法可實現滑動窗口;


  資源的管理主要借助于Yarn,利用消息隊列的方式顯現消息處理,同時通過備份方式顯示數據局部容錯;


  Yahoo Apache S4:


  Yahoo出品,與Storm比較類似,基于每個節點處理不同的功能,同樣是組成了一個DAG圖去描述數據處理工作。


  在雅虎內部使用,完成每秒數以千計的搜索查詢。


  以事件沒基礎進行設計,將每一次數據當成是一個事件來處理


  使用ZooKeeper進行分布式數據的管理,在內部實現了負載均衡、容錯、分發、路由等功能;


大數據營銷
編輯推薦
圖片行業資訊
  • 雷軍隔空喊話董明珠:格力 小米歡迎你
  • 楊元慶:Moto在華上市一周預定量超100萬
  • 小米洪鋒談O2O布局:做商城不做具體服務
  • 蓋茨向不知名實體捐贈15億美元微軟股票 持股降至3%
  • 劉強東:允許我獲取數據 冰箱免費送給你
營銷資訊搜索
大數據營銷
推薦工具
    熱點關注
    大數據營銷
    大數據營銷
    大數據營銷
    大數據營銷
     

    大數據營銷之企業名錄

    網絡營銷之郵件營銷

    大數據營銷之搜索采集系列

    大數據營銷之QQ號采集

    大數據營銷之QQ精準營銷

    大數據營銷之QQ消息群發

    大數據營銷之空間助手

    大數據營銷之QQ聯盟

    大數據營銷之QQ群助手
     
    設為首頁 | 營銷資訊 | 營銷學院 | 營銷寶典 | 本站動態 | 關于網贏中國 | 網站地圖 | 網站RSS | 友情鏈接
    本站網絡實名:網贏中國  國際域名:www.864537.live  版權所有 2004-2015  深圳愛網贏科技有限公司
    郵箱:[email protected] 電話:+86-755-26010839(十八線) 傳真:+86-755-26010838
    在線咨詢:點擊這里給我發消息 點擊這里給我發消息 點擊這里給我發消息  點擊這里給我發消息  點擊這里給我發消息

    深圳網絡警
    察報警平臺
    公共信息安
    全網絡監察
    經營性網站
    備案信息
    不良信息
    舉報中心
    中國文明網
    傳播文明
    分享
    10月3日云南快乐10分钟 网上炒股怎么开户流 平码减几的下期平码 今天股票大盘多少 五分时时彩万位选号技 安徽快3平台 2019年12码期期中 重庆麻将换三张规则 炒股怎么网上开户 网上兼职赚钱是真的 一肖一特免费公开资料