閫氳繃Spark瀹炶返鎷嶅嚮瑙嗛�戠綉绔欏皬钃濋笩鐨勬暟鎹�娲炲療锛屽苟瀵圭敤鎴疯�屼负杩涜�屾繁搴﹁В鏋愶紝鍙�浠ヤ负缃戠珯鐨勮繍钀ユ彁渚涘己鏈夊姏鐨勬暟鎹�鏀�鎸併�傚湪瀹為檯搴旂敤涓�锛岃繖浜涙礊瀵燄煠斿彲浠ュ府鍔╀紭鍖栧唴瀹规帹鑽愩�佹彁鍗囩敤鎴蜂綋楠屻�佹敼杩涚綉绔欏姛鑳斤紝浠庤�屽疄鐜颁笟鍔＄殑鎸佺画澧為暱鍜屽彂灞曘��

鍦ㄧ��馃搶浜岄儴馃摑鍒嗭紝鎴戜滑灏嗙户缁�娣卞叆鎺㈣�ㄥ�備綍閫氳繃瀹炴椂璁＄畻锛岃繘涓�姝ユ彁鍗囪�嗛�戠綉绔欏皬钃濋笩鐨勬暟鎹�鍒嗘瀽鑳藉姏鍜岀敤鎴蜂綋楠屻�傚疄鏃惰�＄畻鏄�澶ф暟鎹�鎶�鏈�鐨勪竴涓�閲嶈�佹柟鍚戯紝鑳藉�熷疄鏃跺�勭悊鍜屽垎鏋愬ぇ閲忔暟鎹�锛屼粠鑰屼负鍐崇瓥鎻愪緵鍙婃椂鐨勬敮鎸併�傚湪瑙嗛�戠綉绔欏皬钃濋笩鐨勫簲鐢ㄤ腑锛屽疄鏃惰�＄畻鍙�浠ュ府鍔╂垜浠�鏇村揩閫熷湴鍝嶅簲鐢ㄦ埛琛屼负锛屼紭鍖栧唴瀹规帹鑽愶紝鎻愬崌鐢ㄦ埛婊℃剰搴︼紝骞朵负涓氬姟鐨勫揩閫熷彂灞曟彁渚涗繚闅溿��

ark瀹夎�呴厤缃�

涓嬭浇Spark锛氳�块棶Spark瀹樻柟缃戠珯锛屼笅杞芥渶鏂扮増鏈�鐨凷park銆傝В鍘婼park锛氬皢涓嬭浇鐨凷park鍖呰В鍘嬪埌馃尭鏈嶅姟鍣ㄧ殑鎸囧畾鐩�褰曘�傞厤缃�鐜�澧冨彉馃敟閲忥細鍦ㄧ郴缁熺幆澧冨彉閲忎腑娣诲姞Spark鐨勮矾寰勶紝浣垮緱绯荤粺鍙�浠ヨ瘑鍒玈park鍛戒护銆傚惎鍔⊿park鏈嶅姟锛氫娇鐢ㄥ懡浠よ�屽惎鍔⊿park鏈嶅姟锛屽�俿tart-all.sh鎴朾in/spark-submit銆�

鐢靛晢鏁版嵁鍒嗘瀽

鐢靛晢琛屼笟鐨勬暟鎹�閲忓法澶э紝閫氳繃Spark杩涜�屾暟鎹�鍒嗘瀽鍙�浠ュ府鍔╀紒涓氫紭鍖栬繍钀ャ�備腑鍥絊park瀹炶返缃戠珯鎻愪緵浜嗕竴涓�璇︾粏鐨勭數鍟嗘暟鎹�鍒嗘瀽椤圭洰妗堜緥锛�

鏁版嵁閲囬泦锛氶�氳繃SparkStreaming锛屽疄鏃堕噰闆嗙敤鎴疯�屼负鏁版嵁銆傛暟鎹�棰勫�勭悊锛氫娇鐢⊿park杩涜�屾暟鎹�娓呮礂鍜屾牸寮忚浆鎹��傛暟鎹�鍒嗘瀽锛氫娇鐢⊿parkSQL鍜孌ataFrame杩涜�屾暟鎹�鍒嗘瀽锛屾彁鍙栫敤鎴疯喘涔拌�屼负妯″紡銆傜粨鏋滃睍绀猴細浣跨敤鍙�瑙嗗寲宸ュ叿灞曠ず鍒嗘瀽缁撴灉锛屽府鍔╀紒涓氬埗瀹氳惀閿�绛栫暐銆�

浠�涔堟槸Spark锛�

ApacheSpark鏄�涓�涓�寮�婧愮殑鏁版嵁澶勭悊寮曟搸锛屽畠鎻愪緵浜嗛珮鏁堛�佸揩閫熺殑澶ф暟鎹�澶勭悊鑳藉姏銆備笌浼狆煋岀粺鐨凪apReduce鐩告瘮锛孲park鍦ㄥ唴瀛樹腑杩涜�岃�＄畻锛屽彲浠ュぇ澶ф彁楂樻暟鎹�澶勷煒佺悊鐨勯�熷害銆係park鏀�鎸佸�氱�嶇紪绋嬸煓傝��瑷�锛屽寘鎷琒cala銆丣ava銆丳ython鍜孯锛屾嫢鏈変赴瀵岀殑鐢熸�佺郴缁燂紝浣垮叾鎴愪负鏁版嵁绉戝�﹀拰澶ф暟鎹�澶勭悊棰嗗煙鐨勷煍ラ噸瑕佸伐鍏枫��

鏍″�癸細闄堝槈鏄�(1C0m4pJyqZtPma0S7t9ZFfz4hTykKag)