大(dà)數據軟件開(kāi)發


作者:紅掌網絡    訪問量:499    發布時間:2020-05-25 07:22


  想要成爲一(yī)名合格的大(dà)數據研發工(gōng)程師(Bigdataresearchanddevelopmentengineers),首先就要了解大(dà)數據軟件開(kāi)發這個職業,大(dà)數據非傳統型的互聯網數據信息,大(dà)數據也包含了很多新的特征。互聯網時代的發展,每天都産生(shēng)各種各樣的數據信息,數據來源很廣,每天都有從各方面來臨的數據信息,大(dà)數據格式多種多樣,非結構化數據(Unstructureddata)、結構化數據(structureddata)、excel文件等等,而且大(dà)數據數量很大(dà),至少要是TB級别的,甚至會達到PB級别的。既然數據總量如此之多,又(yòu)各種類型的都有,增長數據也很快,那數據該如何彙總并且轉化運用成自己所需要的數據信息呢?這就誕生(shēng)了大(dà)數據研發工(gōng)程師,大(dà)數據研發工(gōng)程師在充分(fēn)了解行情的基礎之上,發揮其自身所具備的專業技能。
  先扯一(yī)下(xià)大(dà)數據的4V特征:
  1:數據量大(dà),TB->PB
  2:數據類型繁多,結構化、非結構化文本、日志(zhì)、視頻、圖片、地理位置等;
  (datatypeisvarious,structuredandunstructuredtext,logs,video,images,thegeographicalposition,etc.;)
  3:商(shāng)業價值高,但是這種價值需要在海量數據之上,通過數據分(fēn)析與機器學習更快速的挖掘出來;
  (highcommercialvalue,butthisvaluetakeonhugeamountsofdata,throughdataanalysisandmachinelearningmorerapidexcavation;)
  4:處理時效性高,海量數據的處理需求不再局限在離(lí)線計算當中(zhōng)。
  (processingtimelinessishigh,therequirementofthehugeamountsofdataprocessingisnolongerlimitedinoff-linecalculation.)
  大(dà)數據軟件開(kāi)發工(gōng)程師需要學什麽呢?
  我(wǒ)們從全國幾個大(dà)城市招聘信息來了解,大(dà)數據軟件開(kāi)發工(gōng)程師到底需要學什麽及相應的月薪。
  大(dà)數據開(kāi)發工(gōng)程師杭州(20000-40000元/月)
  1、熟悉java或scala開(kāi)發語言,了解python或go等語言,有3年以上開(kāi)發經驗2、了解hadoop生(shēng)态,Hadoop,hive,HBase,Spark等,了解實時計算技術,包括storm,kafka,flume,druid等3、熟悉linux各項基本操作4、熟悉數據結構,對常用算法有所了解,有良好的數據思維5、有大(dà)規模數據分(fēn)析、推薦、廣告相關研發經驗的優先6、有BI數據平台、數據倉庫、日志(zhì)采集,多維實時分(fēn)析平台設計、開(kāi)發、架構經驗優先。
  崗位職責(responsibility):
  1、負責大(dà)數據平台基礎組件功能設計、研發及維護工(gōng)作;2、負責大(dà)數據采集、清洗、整合等工(gōng)作;3、負責大(dà)數據平台文本挖掘分(fēn)析等工(gōng)作;4、負責相關功能設計文檔撰寫;5、負責BI及報表開(kāi)發。任職要求:1、深厚的Java功底,多年的并發編程經驗;2、參與過分(fēn)布式高性能服務的設計開(kāi)發過程,有大(dà)規模分(fēn)布式系統的實踐經驗;3、熟悉HDFS/HBase/Hive/MapReduce/Storm/Spark等相關技術,有 MapReduce 程序的實戰開(kāi)發經驗;4、熟悉Hadoop運行監控及調優技術;5、熟悉常見存儲技術(Sqlserver ,Oracle, Mysql, NosqlDB、Redis、ElasticSearch),WebService/WebAPI(SOAP/json);6、熟悉Scala語言優先;7、計算機、軟件工(gōng)程及相關專業本科或以上學曆,3年以上相關項目開(kāi)發經驗;
  大(dà)數據開(kāi)發工(gōng)程師安徽合肥(5000-10000元/月)
  崗位職責(responsibility):
  1、大(dà)數據平台的産品及解決方案設計、開(kāi)發,實現大(dà)數據存儲、查詢、分(fēn)析、挖掘的目标;
  3、對大(dà)數據(雲計算)的主流技術、産品跟蹤研究,設計适合公司業務的、有競争力的方案和産品;
  3、具體(tǐ)工(gōng)作包括技術預研、方案設計、構件選型、開(kāi)發、集成、優化等;
  4、能根據公司産品和業務特征不斷提出改進建議,持續創新、開(kāi)發新産品及方案。
  任職資(zī)格(responsibility):
  1.計算機或者相關專業本科以上學曆,1年實際工(gōng)作經驗
  2.精通java。熟悉shell/perl/python任意一(yī)門腳本語言,有紮實的編程功底。
  3.熟悉Hadoop+spark+hbase生(shēng)态和常見的開(kāi)源分(fēn)布式計算/存儲相關技術
  4.精通SQL,有較好的SQL性能調優經驗,理解Hive/Mysql基本原理和調優策略;有開(kāi)源貢獻者優先
  5.有文檔編制基礎,能夠流暢編寫技術方案及實施方案
  大(dà)數據開(kāi)發工(gōng)程師北京(15001-20000元/月)
  崗位職責:
  1、負責公司級的通用數據平台和分(fēn)析型産品,服務于全公司各個用戶産品線;
  2、面向PB級超大(dà)規模數據問題,每天處理千億增量的用戶行爲數據;
  3、爲大(dà)數據的全生(shēng)命周期提供服務,覆蓋數據産生(shēng),傳輸,計算,建模,統計分(fēn)析,實驗評估,可視化的全流程;
  4、構建設計良好的數據流、數據倉庫、調度系統、kv存儲,查詢引擎,數據服務、分(fēn)析系統、流程規範,數據工(gōng)具/産品,降低數據的使用門檻,保證系統穩定高效運行,以實現數據的最大(dà)價值。
  任職資(zī)格:
  1、熟悉linux編程環境,有較強的開(kāi)發能力(java/scala/c++/python等);
  2、強悍的編碼能力,對新技術有強烈的學習熱情;
  3、加分(fēn),熟悉一(yī)項或多項大(dà)數據處理/分(fēn)析相關的工(gōng)具/框架,e、g、azkaban,hadoop,Hive,Spark,kylin,druid,flume,kafka,hbase,mesos,kubernets,redisetc。
  4.對數據建模有一(yī)定了解。