微軟大數(shù)據(jù)開發(fā)工程師,微軟開發(fā)人員數(shù)量

　　微軟開放了一個(gè)大規(guī)模的數(shù)據(jù)處理項(xiàng)目Data Accelerator，本來是內(nèi)部使用的。自2017年開發(fā)以來，該項(xiàng)目已大規(guī)模應(yīng)用于各種微軟產(chǎn)品工作管道。根據(jù)微軟的官方開源博客，數(shù)據(jù)加速器的一些方法可以更容易地在Apache Spark上構(gòu)建流媒體管道：

　　即插即用：輕松設(shè)置輸入源和輸出接收器，以便在幾分鐘內(nèi)建立管道。數(shù)據(jù)加速器支持從Eventhub和IoThub獲取數(shù)據(jù)，下載數(shù)據(jù)到Azure blob、CosmosDB、Eventhub等。

　　無代碼體驗(yàn)：您無需編寫任何代碼就可以設(shè)置警報(bào)和數(shù)據(jù)處理。通過規(guī)則設(shè)計(jì)器體驗(yàn)，您可以指定簡(jiǎn)單的和聚合的數(shù)據(jù)處理、標(biāo)記和警報(bào)。

　　SQL查詢：用SQL ——寫復(fù)雜的處理，不用Scala工作。的內(nèi)置擴(kuò)展性模型也支持用戶定義的函數(shù)，并利用Azure函數(shù)，例如，用于ML流。

　　實(shí)時(shí)查詢：通過運(yùn)行傳入的數(shù)據(jù)樣本，在幾秒鐘內(nèi)驗(yàn)證您的查詢，從而節(jié)省設(shè)置和測(cè)試管道處理的工作時(shí)間。

　　數(shù)據(jù)加速器不僅僅是EventHub和數(shù)據(jù)庫之間的管道。它允許用戶在繼續(xù)流式傳輸?shù)耐瑫r(shí)重塑傳入事件，然后將同一事件的不同部分路由到不同的數(shù)據(jù)存儲(chǔ)，同時(shí)提供整個(gè)管道狀態(tài)的健康監(jiān)控和警報(bào)。

　　Data Accelerator還提供了配置UI和規(guī)則/查詢?cè)O(shè)計(jì)器的體驗(yàn)，因此用戶無需編寫任何代碼即可啟動(dòng)并運(yùn)行。

　　此外，任何處理流數(shù)據(jù)的人通常需要使用滑動(dòng)窗口來處理數(shù)據(jù)，或者處理延遲到達(dá)的數(shù)據(jù)，或者隨著時(shí)間積累數(shù)據(jù)。數(shù)據(jù)加速器支持并簡(jiǎn)化了這些高級(jí)功能的使用。

　　最后，微軟提到，Data Accelerator支持dev-test loop的快速驗(yàn)證周期，其中本地采樣事件運(yùn)行的查詢可以迭代修正到部署前可用，這可以節(jié)省大量測(cè)試工作流水線處理的時(shí)間。