park鍩虹��鐭ヨ瘑

鍦ㄥ紑濮嬪叿浣撶殑鎿嶄綔姝ラ�や箣鍓嶏紝鎴戜滑闇�瑕佷簡瑙ｄ竴浜汼park鐨勫熀纭�鐭ヨ瘑銆係park涓昏�佹彁渚涗簡鍑犱釜鏍稿績缁勪欢锛�

SparkCore锛氭彁渚涗簡鍩虹��鐨勬暟鎹�澶勭悊妗嗘灦锛屽嵆RDD锛圧esilientDistributedDataset锛屽脊鎬у垎甯冨紡鏁版嵁闆嗭級锛屾槸Spark鏁版嵁澶勭悊鐨勫熀鏈�鎶借薄銆係parkSQL锛氭彁渚涗簡楂樻晥鐨勬暟鎹�鏌ヨ�㈠姛鑳斤紝鏀�鎸丼QL鏌ヨ�㈣��娉曪紝鍙�浠ユ柟渚垮湴杩涜�屾暟鎹�鍒嗘瀽銆�

SparkMLlib锛氭彁渚涗簡鏈哄櫒瀛︿範搴擄紝鏀�鎸佸悇绉嶅父瑙佺殑鏈哄櫒瀛︿範绠楁硶銆係parkStreaming锛氭敮鎸佸�瑰疄鏃舵暟鎹�娴佽繘琛屽�勭悊銆係parkGraphX锛氭彁渚涗簡鍥捐�＄畻妗嗘灦锛屽彲浠ョ敤浜庡�勭悊鍥炬暟鎹�銆�

璺ㄥ钩鍙颁紶鎾�涓庡悎浣�

鍦ㄦ暟瀛楁椂浠ｏ紝璺ㄥ钩鍙颁紶鎾�鎴愪负涓�绉嶈秼鍔裤�傚唴瀹瑰垱浣滆�呭彲浠ラ�氳繃澶氫釜骞冲彴鍙戝竷鑷�宸辩殑Sparking瀹烇拷璺佃�嗛�戯紝鎵╁ぇ鍙椾紬鑼冨洿銆傚摂鍝╁摂鍝╀笉浠呮槸涓�涓�瑙嗛�戝垎浜�骞冲彴锛岃繕涓庡叾浠栫ぞ浜ゅ獟浣撳钩鍙拌繘琛屼簡璺ㄥ钩鍙板悎浣滐紝浣垮緱鍐呭�硅兘澶熸洿骞挎硾鍦颁紶鎾�銆傝繖绉嶈法骞冲彴鐨勪紶鎾�鏂瑰紡锛屼笉浠呰兘鍚稿紩鏇村�氱殑瑙備紬锛岃繕鑳介�氳繃涓嶅悓骞冲彴鐨勷煍ョ壒鑹插拰浼樺娍锛岃繘涓�姝ユ彁鍗囪�嗛�戠殑鏇濆厜鐜囧拰褰卞搷鍔涖��

鐢靛晢鏁版嵁鍒嗘瀽

鐢靛晢琛屼笟鐨勬暟鎹�閲忓法澶ю煂革紝閫氳繃Spark杩涜�屾暟鎹�鍒嗘瀽鍙�浠ュ府鍔╀紒涓氫紭鍖栬繍钀ャ�備腑鍥絊park瀹炶返缃戠珯鎻愪緵浜嗕竴涓�璇︾粏鐨勭數鍟嗘暟鎹�鍒嗘瀽椤圭洰妗堜緥锛�

鏁版嵁閲囬泦锛氶�氳繃SparkStreaming锛屽疄鏃堕噰闆嗙敤鎴疯�屼负鏁版嵁銆傛暟鎹�棰勫�勭悊锛氫娇鐢⊿park杩涜�屾暟鎹�娓呮礂鍜屾牸寮忚浆鎹��傛暟鎹�鍒嗘瀽锛氫娇鐢⊿parkSQL鍜孌ataFrame杩涜�屾暟鎹�鍒嗘瀽锛屾彁鍙栫敤鎴疯喘涔拌�屼负妯″紡銆傜粨鏋滃睍绀猴細浣跨敤鍙�瑙嗗寲宸ュ叿灞曠ず鍒嗘瀽缁撴灉锛屽府鍔╀紒涓氬埗瀹氳惀閿�绛栫暐銆�

4瀹炶返缁忛獙

鍒嗘瀽鏃ュ織锛氶�氳繃鍒嗘瀽Spark浠诲姟鏃ュ織锛屽彲浠ュ彂鐜版�ц兘鐡堕�堝拰閿欒��锛屽府鍔╄繘琛岃皟浼樺拰浼樺寲銆傝繖浜涙棩蹇楁彁渚涗簡璇︾粏鐨勪俊鎭�锛屽府鍔╁紑鍙戣�呯悊瑙ｄ换鍔℃墽琛岀殑缁嗚妭鍜屾�ц兘闂�棰樼殑鏍规簮銆�

浣跨敤Profiling宸ュ叿锛歅rofiling宸ュ叿鍙�浠ユ彁渚涙洿娣卞叆鐨勬�ц兘鍒嗘瀽锛屽府鍔╄瘑鍒�浠ｇ爜涓�鐨勭摱棰堝拰娼滃湪鐨勪紭鍖栫偣銆傚父瑙佺殑Profiling宸ュ叿鍖呮嫭YourKit銆乂isualVM绛夈��

浠ｇ爜瀹℃煡锛氬畾鏈熻繘琛屼唬鐮佸�℃煡锛屽彲浠ュ彂鐜版綔鍦ㄧ殑鎬ц兘闂�棰樺拰涓嶈壇鐨勭紪绋嬩範鎯�锛屾彁楂樹唬鐮佺殑鏁翠綋璐ㄩ噺鍜屾�ц兘銆�

杩�浠ｄ紭鍖栵細鍦ㄨ皟浼樿繃绋嬩腑锛岄噰鐢ㄨ凯浠ｄ紭鍖栫殑鏂规硶锛岄�愭�ヤ紭鍖栧叧閿�閮ㄥ垎锛岃�屼笉鏄�涓�娆℃�т紭鍖栨墍鏈夐儴鍒嗐�傝繖绉嶆柟娉曟洿瀹规槗鎺у埗鍜岄獙璇佷紭鍖栫殑鏁堟灉銆�

鏍″�癸細寮犻��(1C0m4pJyqZtPma0S7t9ZFfz4hTykKag)