《數(shù)據(jù)流和批量大數(shù)據(jù)分析技術(shù)Apache Apex提升為Apache頂級(jí)項(xiàng)目》要點(diǎn)：
本文介紹了數(shù)據(jù)流和批量大數(shù)據(jù)分析技術(shù)Apache Apex提升為Apache頂級(jí)項(xiàng)目，希望對(duì)您有用。如果有疑問，可以聯(lián)系我們。

歡迎參與《數(shù)據(jù)流和批量大數(shù)據(jù)分析技術(shù)Apache Apex提升為Apache頂級(jí)項(xiàng)目》討論，分享您的想法，維易PHP學(xué)院為您提供專業(yè)教程。

數(shù)據(jù)流和批量大數(shù)據(jù)分析技術(shù)Apache Apex近日被Apache軟件基金會(huì)提升為頂級(jí)項(xiàng)目.這項(xiàng)技術(shù)已被包括第一資本(Capital One)和通用電氣(GE)在內(nèi)的企業(yè)組織使用,可以贊助開發(fā)人員更快速地創(chuàng)建充分利用實(shí)時(shí)數(shù)據(jù)的應(yīng)用程序.

Apache Spark日益受到關(guān)注,表明了數(shù)據(jù)流在大數(shù)據(jù)生態(tài)系統(tǒng)中變得到底有多重要.在上個(gè)月于圣何塞召開的Strata + Hadoop World大會(huì)上,實(shí)時(shí)數(shù)據(jù)及支持它的技術(shù)也許是最耀眼的明星.

所以,Apache Apex本周被Apache軟件基金會(huì)提升為一個(gè)頂級(jí)項(xiàng)目(TLP)可能并非巧合.面向Hadoop的這個(gè)數(shù)據(jù)流和批量處理引擎被通用電氣Predix物聯(lián)網(wǎng)云平臺(tái)用于工業(yè)數(shù)據(jù)和分析,并被第一資本用于實(shí)時(shí)決策和欺詐檢測(cè).

2012年,DataTorrent最初開發(fā)了這項(xiàng)技術(shù),后來在2015年8月把它貢獻(xiàn)給了Apache軟件基金會(huì),作為一個(gè)孵化器項(xiàng)目.

泰德·鄧寧(Ted Dunning)是Apache孵化器的副總裁,Apache Apex孵化器導(dǎo)師,也是MapR Technologies公司的首席應(yīng)用架構(gòu)師.他在一份事先準(zhǔn)備好的聲明中說：“Apache Apex這個(gè)例子表明,最新一代的高級(jí)流處理軟件比之前的方案大大增添了技術(shù)和功能.”

Apache Apex能夠在Apache Hadoop上實(shí)現(xiàn)數(shù)據(jù)流分析.其目的在于充分利用Hadoop的兩大組件YARN和Hadoop分布式文件系統(tǒng)(HDFS)提供的基礎(chǔ)設(shè)施.Apache軟件基金會(huì)在宣布這項(xiàng)技術(shù)提升為頂級(jí)項(xiàng)目的聲明中表示,Apache Apex是一種大規(guī)模、高吞吐量、低延遲、容錯(cuò)、統(tǒng)一的大數(shù)據(jù)流和批量處理平臺(tái),面向Hadoop生態(tài)系統(tǒng).

由于企業(yè)組織和開發(fā)人員將實(shí)時(shí)分析功能嵌入到流程和應(yīng)用程序中,面向大數(shù)據(jù)及分析的數(shù)據(jù)流技術(shù)繼續(xù)變得越來越重要.知名調(diào)研機(jī)構(gòu)弗雷斯特研究公司在今年3月發(fā)布了Wave大數(shù)據(jù)流分析報(bào)告,關(guān)注了這個(gè)趨勢(shì),還介紹了提供這項(xiàng)技術(shù)的一些廠商.

弗雷斯特研究公司的分析師邁克·瓜爾蒂耶里(Mike Gualtieri)和羅恩·柯倫(Rowan Curran)也是這份報(bào)告的撰寫者,他們寫道：“弗雷斯特將轉(zhuǎn)眼即逝的洞察力(perishable insights)定義為緊急的業(yè)務(wù)情況(風(fēng)險(xiǎn)和機(jī)遇),公司只能在短短的時(shí)間內(nèi)檢測(cè)這些情況,并采取相應(yīng)行動(dòng).數(shù)據(jù)流分析辦理方案可以幫助公司檢測(cè)高速數(shù)據(jù)流當(dāng)中的這類洞察力,并實(shí)時(shí)采取相應(yīng)行動(dòng).應(yīng)用程序開發(fā)和交付專業(yè)人員不應(yīng)該僅僅認(rèn)為數(shù)據(jù)流分析只是一種用于事后分析的‘傳統(tǒng)分析’技術(shù).遠(yuǎn)非如此――數(shù)據(jù)流分析可立即分析數(shù)據(jù),分析后善加利用,可以讓各種各樣的應(yīng)用程序能夠感知場(chǎng)景,并變得更智能化.”

弗雷斯特研究公司將Apache Apex的開發(fā)者DataTorrent列入其Wave大數(shù)據(jù)流分析報(bào)告的“領(lǐng)導(dǎo)者”部分,與科技界的一些大牌公司為伍,比如IBM、Software AG、SAP、TIBCO Software、Oracle和SQLstream.

弗雷斯特公司的兩位分析師在報(bào)告中寫道：“DataTorrent是硅谷數(shù)一數(shù)二的數(shù)據(jù)流初創(chuàng)公司.在雅虎受過培訓(xùn)的幾位創(chuàng)始人構(gòu)建了一個(gè)數(shù)據(jù)流平臺(tái),處理世界上最龐大、最快速的數(shù)據(jù).”

弗雷斯特公司特別指出,DataTorrent還在竭力實(shí)現(xiàn)其他企業(yè)級(jí)要求,比如可視化開發(fā)工具以及包含400多種運(yùn)算符的庫.

兩位撰寫者得出結(jié)論：“DataTorrent的核心現(xiàn)在已開源(作為Apache Apex),不過它想在其他開源數(shù)據(jù)流方案中脫穎而出將是個(gè)艱巨的挑戰(zhàn).”

Apache軟件基金會(huì)在宣布新的頂級(jí)項(xiàng)目狀態(tài)時(shí)表示,Apex讓開發(fā)人員可以編寫或重復(fù)使用一般的Java代碼,從而簡(jiǎn)化開發(fā)Hadoop應(yīng)用程序的工作.這有助于盡量降低編寫應(yīng)用程序所需的專業(yè)技能,因而縮短產(chǎn)品上市時(shí)間.

它包括與外部系統(tǒng)集成的連接件,外部系統(tǒng)包括消息總線、數(shù)據(jù)庫、文件系統(tǒng)和社交媒體源,比如Apache Cassandra、Apache HBase、JDBC和Apache Kafka.

轉(zhuǎn)載請(qǐng)注明本頁網(wǎng)址：
http://www.fzlkiss.com/jiaocheng/13473.html