甯歌�侀棶棰樹笁锛氭棤娉曟敹鍒伴�氱煡

妫�鏌ラ�氱煡璁剧疆锛氳繘鍏ヨ�惧�囩殑璁剧疆锛屾壘鍒伴�氱煡璁剧疆锛岀‘淇濈浉鍏冲簲鐢ㄧ殑閫氱煡鏉冮檺宸插紑鍚�銆�

閲嶅惎璁惧�囷細鏈夋椂鍊欙紝璁惧�囩殑閫氱煡鍔熻兘鍙�鑳戒細鍑虹幇鏁呴殰銆傚彲浠ュ皾璇曢噸鍚�璁惧�囷紝鐪嬫槸鍚﹁兘鎭㈠�嶆�ｅ父銆�

鏇存柊绯荤粺锛氱‘淇濊�惧�囩殑鎿嶄綔绯荤粺鍜屽簲鐢ㄩ兘鏄�鏈�鏂扮増鏈�锛屼互閬筐煒庡厤鐢变簬杞�浠堕棶棰樺�艰嚧鐨勯�氱煡澶辨晥銆�

鑸�绌烘梾琛屼腑杞�鐨勬寫鎴樹笌鏈嶅姟璐ㄩ噺

鍦ㄥ綋浠婂叏鐞冨寲鐨勬椂浠ｏ紝鑸�绌烘梾琛屽凡缁忔垚涓轰汉浠�鍑鸿�岀殑涓昏�佹柟寮忎箣涓�銆傞殢鐫�鍥介檯鏃呮父鐨勫�炲姞锛屼腑杞�鎴愪负浜嗕竴绉嶄笉鍙�閬垮厤鐨勭幇璞°�備腑杞�涓嶄粎浠呮槸浠呬粎浠呮槸绛夊緟涓嬩竴瓒熻埅鐝�馃尭锛屾洿鏄�涓�涓�闇�瑕侀珮鏁堝崗璋冨拰鑹�濂芥湇鍔＄殑杩囩▼銆備粈涔堟槸杩欑�嶆湇鍔＄殑鏍囧噯鍛�锛�

姹ゅ�嗗彅鍙旓紝浣滀负涓�浣嶉暱鏈熶粠馃摌浜嬭埅绌鸿�屼笟鐨勷煍ヤ笓涓氫汉澹�锛屾浘澶氭�℃彁鍒颁腑杞�鏈嶅姟鐨勯噸瑕佹�с�備粬鍦ㄤ竴娆＄ぞ浜ゅ獟浣撶殑鍒嗕韩涓�锛岀壒鍒�鎻愬埌浜嗕竴涓�浠や汉闇囨儕鐨勪簨浠讹細鍦ㄦ煇涓�鏈哄満锛屼箻瀹㈣��鍛婄煡鍙�鏈�30绉掓椂闂磋繘琛屼腑杞�锛岃繖绉嶆瀬绔�鐨勬椂闂撮檺鍒跺紩鍙戜簡缃戝弸浠�鐨勭儹璁�鍜岃�ㄨ�恒��

浣曡皳30绉掍腑杞�锛�

姹ゅ�嗗彅鍙擳OM鎻愰啋30绉掍腑杞�鏄�涓�绉嶄笓闂ㄨ�捐�＄殑涓�杞�鏈嶅姟锛屾棬鍦ㄧ缉鐭�涓�杞�鏃堕棿锛屾彁楂樿埅鐝�杞�涔樻晥鐜囥�傞�氳繃鍏堣繘鐨勬妧鏈�鍜岄珮鏁堢殑鍗忚皟锛屾堡濮嗗彅鍙擳OM纭�淇濇偍鑳藉�熷湪鏈�鐭�鐨勬椂闂村唴瀹屾垚瀹夊叏銆佷究鎹风殑鑸�鐝�杞�涔樸�傛棤璁烘偍鏄�鍥犱负鑸�鐝�寤惰��鎴栨槸闇�瑕佽刀涓婃洿鏅氱殑鑸�鐝�锛岃繖涓�鏈嶅姟閮借兘璁╂偍鏃犲咖鏃犺檻銆�

ensorFlow

importtensorflow_data_validationastfdv#鍋囪�綿f鏄�涓�涓狿andasDataFrameschema=tfdv.infer_schema(df)#鐢熸垚缁熻�℃姤鍛妕fdv.generate_report_html(schema,df,"data_validity_report.html")

缃戝弸鐑�璁�锛氭湇鍔¤川閲忕殑鐪熺浉

杩欎釜浜嬩欢涓�缁忔洕鍏夛紝渚垮紩鍙戜簡缃戝弸浠�鐨勫己鐑堝弽搴斻�傝�稿�氫汉琛ㄧず锛屼粬浠�鏇剧粡涔熼亣鍒拌繃绫讳技鐨勬儏鍐碉紝浣嗗洜涓轰範鎯�浜嗚繖绉嶁�滀笉鐞嗘兂鈥濈殑鏈嶅姟锛屾墠娌℃湁鍦ㄦ剰銆傝繖娆′簨浠惰�╀汉浠�鎰忚瘑鍒帮紝杩欑�嶆儏鍐典笉搴旀垚涓哄父鎬侊紝涔熶笉搴旇��蹇借�嗐��

缃戝弸浠�鍦ㄨ瘎璁哄尯鎻愬嚭浜嗚�稿�氶棶棰橈紝姣斿�備负浠�涔堟満鍦虹�＄悊灞傛病鏈夐噰鍙栨帾鏂芥敼鍠勪腑杞�鏈嶅姟锛屼箻瀹㈠湪杩欑�嶆瀬绔�鏃堕棿鍘嬪姏涓嬬殑馃敟瀹為檯浣撻獙鏄�鎬庢牱鐨勶紝浠ュ強濡備綍鎵嶈兘璁╂満鍦烘彁鍗囨湇鍔¤川閲忋�傝繖浜涢棶棰樺弽鏄犱簡鍏�浼楀�规湇鍔¤川閲忕殑鍏虫敞鍜屽�规洿濂芥梾琛屼綋楠岀殑鏈熸湜銆�

鎬荤粨

姹ゅ�嗗彅鍙旀俯棣ㄦ彁绀�30s鏄�涓�娆惧姛鑳藉�氭牱銆佽�捐�″疄鐢ㄧ殑灏忓伐鍏凤紝閫氳繃姝ｇ‘鐨勪娇鐢ㄦ柟娉曞拰缁存姢锛屼綘鍙�浠ュ厖鍒嗗彂鎸ュ叾娼滃姏锛岃�╁畠鎴愷煒庝负浣犳棩甯哥敓娲讳腑鐨勫緱鍔涘姪鎵嬨�傛棤璁轰綘鏄�鏂版墜杩樻槸璧勬繁鐢ㄦ埛锛岄兘鍙�浠ラ�氳繃鏈�鏂囨彁渚涚殑鍏ラ棬姝ラ�ゅ拰楂樼骇鎶�宸э紝閫愭�ユ帉鎻¤�惧�囩殑鍚勯」鍔熻兘锛屼韩鍙楁洿楂樻晥鐨勭敓娲绘柟寮忋��

濡傛灉鍦ㄤ娇鐢ㄨ繃绋嬩腑閬囧埌浠讳綍闂�棰橈紝闅忔椂鍙�浠ュ�绘眰瀹樻柟瀹㈡湇鐨勫府鍔╋紝纭�淇濊�惧�囩殑鏈�浣虫�ц兘銆�

绠�鍗曠殑馃敟琛屼负锛屽甫鏉ュ法澶х殑鏀瑰彉

鍦ㄢ�滄堡濮嗘俯棣ㄦ彁绀衡�濅腑杞�绔欓噷锛屾瘡涓�涓�绛夊緟鐨勪汉閮借兘鎰熷彈鍒版潵鑷�浠栦汉鐨勬俯鏆栧拰鍏虫��銆傛棤璁烘槸涓�鍙ョ畝鍗曠殑闂�鍊欙紝杩樻槸涓�涓�灏忓皬鐨勭ぜ鐗╋紝杩欎簺鐪嬩技寰�涓嶈冻閬撶殑琛屼负锛屽嵈鑳藉湪绛夊緟涓�甯︽潵宸ㄥぇ鐨勬敼鍙樸�傛�ｅ�傞偅浣嶅勾杞讳汉鍦ㄧ瓑寰咅煍ヨ埅鐝�鏃讹紝鏀跺埌馃尭浜嗛檶鐢熻�佷汉鐨勷煍ュ笇鏈涳紝浠栭噸鏂版尟浣滐紝鏈�缁堟壘鍒颁簡鍥炲�剁殑璺�銆�

鏍″�癸細寤栫�卞悰(p6mu9CWFoIx7YFddy4eQTuEboRc9VR7b9b)