bi開發(fā)工程師和大數(shù)據(jù)工程師之間有什么區(qū)別？

   bi開發(fā)工程師和大數(shù)據(jù)工程師的區(qū)別是什么？在大公司里，BI工程師，數(shù)據(jù)倉庫工程師，ETL工程師，數(shù)據(jù)開發(fā)工程師仍然是分工相對獨立的。BI工程師：一般是負責開發(fā)企業(yè)內(nèi)部報表，主要是根據(jù)產(chǎn)品技術(shù)選擇問題，他們操作軟件不同。比如Microstrategy,Tableau等等。下面就有小編為您帶來bi開發(fā)工程師和大數(shù)據(jù)工程師之間有什么區(qū)別的相關(guān)介紹。

萬里牛BI

0

0條點評

咨詢產(chǎn)品

免費試用

解決用戶選型困難的好軟件，有各維度的信息

客戶案例

5

合作品牌

32

一、bi開發(fā)工程師和大數(shù)據(jù)工程師

  BI,商務(wù)智能BI工程師即為從事商務(wù)智能行業(yè)的工程師。從需求分析師到數(shù)據(jù)倉庫架構(gòu)師、到etl工程師、數(shù)據(jù)分析，報表開發(fā)工程師、數(shù)據(jù)挖掘工程師、etc.，都可以稱之為BI工程師。

  etl工程師：是從事系統(tǒng)編程、數(shù)據(jù)庫編程與設(shè)計，要掌握各種常用的編程語言的專業(yè)技術(shù)人員。也叫數(shù)據(jù)庫工程師。

   一味的解釋數(shù)據(jù)倉庫概念可能沒意思，我們從不同角色出發(fā)吧

   老板 ：我是一家手機公司的老板，今天要向去董事局匯報，我要準備一份介紹過去三年的用戶增長、用戶留存、用戶活躍度、手機里面每個APP使用率等情況的報表，假如下面沒我下面沒有BI，那我肯定就蒙逼了。。

   BI ： 我是一名非技術(shù)BI，我天天看競品的分析報告，看雙十一銷量，看各種評論，知道自己的產(chǎn)品有哪些短板有哪些長處，我分析南北地域差異，國內(nèi)外客戶喜好，總之我在手機領(lǐng)域有著很強的行業(yè)解讀能力和數(shù)據(jù)解讀能力，我可以畫出非常漂亮的圖表和PPT。

   今天老板讓我出一份報表，我還要去刷臉找ETL工程師幫我跑出這次報告的數(shù)據(jù)，基于這份數(shù)據(jù)我要給出一定的解讀，為啥這個月手機賣得不如上個月，為啥用戶流失越來越嚴重等等都是我要去做的。

   ETL工程師 : 我是食物鏈最底層的苦逼ETL工程師，我會寫shell、我會搭hadoop/hive/hbase、會寫超復雜邏輯的sql，今天那個不會自己計算數(shù)據(jù)的BI又讓我跑幾個數(shù)據(jù)，我本想讓她提需求流程的，但她說這是老板要的(運營慣用的殺手锏！！！)，要加急處理，我只能放下手頭的活兒給她跑數(shù)據(jù)了，花了半個小時把數(shù)據(jù)跑好給她，希望能就這么交差吧。

   大數(shù)據(jù)工程師，就是我們所知的大數(shù)據(jù)開發(fā)工程師，主要從事大數(shù)據(jù)平臺的搭建，對個人技術(shù)要求偏高，需要從業(yè)者具備java基礎(chǔ)，還得具備以下技術(shù)能力，hadoop、hive、hase、flume、storm、kafka、spark等，是一個非常龐大的技術(shù)集群。

   如果你以為我每天就做這點事那你就錯了，我平時的工作可不僅僅就是完成上面交給我的任務(wù)哦，我還負責數(shù)據(jù)ETL過程、數(shù)據(jù)建模、定時任務(wù)的分配、甚至有時Hadoop集群的維護等等都得我去做，每件事單獨拿出來都可以拿出來寫本書。

   就拿ETL過程來說吧，你要把原始數(shù)據(jù)從各種數(shù)據(jù)庫、各種服務(wù)器的不同業(yè)務(wù)日志歸一化到同一類格式，要約定好分隔符，然后導入到分布式文件系統(tǒng)HDFS，甚至你還要和業(yè)務(wù)系統(tǒng)定義數(shù)據(jù)格式出規(guī)范，數(shù)據(jù)收集完，你還得出中間表，數(shù)據(jù)過濾，格式統(tǒng)一，ID統(tǒng)一，維度統(tǒng)一，通過不同的數(shù)據(jù)現(xiàn)象進行數(shù)據(jù)，完了，你就得出一些日報周報之類的數(shù)據(jù)了，這時候你要按照需求把數(shù)據(jù)組織成一定的格式然后導Mysql、或者HBASE等等。

   不過這些數(shù)據(jù)倉庫都非常初級，其中ETL工程師可發(fā)揮的空間太多了

1、正常情況下，老板 —> BI —> ETL 出一份報告，這中間能否BI直接去計算數(shù)據(jù)？sql太復雜，那么可不可以一切數(shù)據(jù)標簽化，BI甚至老板要什么就選什么？

2、ETL工程師可以把數(shù)據(jù)收集自動化、可以規(guī)范業(yè)務(wù)日志格式、可以將一切都配置化，但是這些都是基于N+1的，也就是說今天的發(fā)生了什么一定要到明天才能看到，那么有沒有一個系統(tǒng)能把數(shù)據(jù)分析做到實時或者準實時？參考雙十一大屏，馬總要是到12號才能知道成交了多少筆不劈了那幫做數(shù)據(jù)的才怪。

3、目前絕大部分分析系統(tǒng)都基于離線計算（HADOOP/ODPS），那這里有個問題了，運營或BI想看個數(shù)據(jù)還得你離線慢騰騰跑完才能看到，那么有沒有一個系統(tǒng)可以支持你再大的數(shù)據(jù)量，再復雜的邏輯，毫秒出數(shù)據(jù)？

我沒有提到的還有算法工程師、大數(shù)據(jù)運維工程師等等。

bi開發(fā)工程師和大數(shù)據(jù)工程師

   二、數(shù)據(jù)倉庫的不同層次

如果把數(shù)據(jù)價值分層，這里分層的辦法很多，我只列舉一種方法，有人分過5層

第一層: 為老板提供決策支持，例如傳統(tǒng)的財務(wù)報表

第二層: 為運營提供決策支持，例如數(shù)據(jù)化非常徹底的淘寶運營們

第三層: 為產(chǎn)品提供支持，例如有產(chǎn)品經(jīng)理們會拿著報表天天看研究自己的某一個按鈕擺放位置對不對

第四層：數(shù)據(jù)用于生產(chǎn)，比如直接對接廣告系統(tǒng)產(chǎn)生收益，比如直接對接推薦系統(tǒng)為用戶推薦商品，實現(xiàn)千人千面，再比如利用手機APP直接為不同用戶push消息

第五層：大數(shù)據(jù)交換，數(shù)據(jù)產(chǎn)生直接受益

大部分公司能做到前兩個層次就已經(jīng)很不錯了，如果能做到第三層，就已經(jīng)很牛逼，做到第四第五層次，國內(nèi)互聯(lián)網(wǎng)公司不超過2家，大數(shù)據(jù)應(yīng)用太大了，不知從何說起，以后聊吧。

   因此，數(shù)據(jù)交易不一定是通過價格來衡量的，也不能簡單地復制數(shù)據(jù)。最理想的數(shù)據(jù)交換方式應(yīng)該是，雙方共同提出一些東西，然后在某種情況下提供服務(wù)，并且禁止諸如數(shù)據(jù)導出之類的行為，雙方不能看到對方的數(shù)據(jù)，也不能導出對方的數(shù)據(jù)，可以被導出的結(jié)果必須是無害的，不會侵犯隱私，不會影響原始數(shù)據(jù)的價值。 以上就是小編為您介紹的bi開發(fā)工程師和大數(shù)據(jù)工程師之間有什么區(qū)別，希望對您有所幫助。