涓ユ牸鐨勪腑杞�娴佺▼鐩戞��

姹ゅ��30绉掓瀬閫熶腑杞�鍦ㄤ腑杞�娴佺▼涓�閲囩敤浜嗗�氬眰娆＄殑鐩戞帶鏈哄埗銆備粠棰勭害鍒板埌杈撅紝姣忎竴涓�鐜�鑺傞兘浼氭湁涓撲笟浜哄憳杩涜�岀洃鎺с�傝繖浜涗汉鍛樹笉浠呬細瀵硅溅杈嗗拰鍙告満杩涜�屾牳鏌ワ��###涓夈�佸叏鏂逛綅鐨勫畨鍏ㄤ繚闅�

姹ゅ��30绉掓瀬閫熶腑杞�鍦ㄦ彁渚涙湇鍔＄殑鍏ㄨ繃绋嬩腑锛岄兘浼氱粰鐢ㄦ埛鎻愪緵鍏ㄦ柟浣嶇殑瀹夊叏淇濋殰銆備粠鐢ㄦ埛棰勭害鏃剁殑韬�浠介獙璇侊紝鍒颁腑杞�杩囩▼涓�鐨勫疄鏃剁洃鎺э紝鍐嶅埌鍒拌揪鐩�鐨勫湴鍚庣殑瀹夊叏寮曞�硷紝姣忎竴涓�鐜�鑺傞兘浼氭湁涓撲笟浜哄憳杩涜�屼繚闅溿�傝繖绉嶅叏鏂逛綅鐨勫畨鍏ㄦ帾鏂斤紝涓嶄粎淇濋殰浜嗙敤鎴风殑浜鸿韩瀹夊叏锛屼篃纭�淇濅簡鐢ㄦ埛鐨勮�屾潕鍜岃储鐗╁畨鍏ㄣ��

涓�杞�鏃呴�斾腑鐨勫皬鎯婂枩涓庡績鐏电殑鏀炬澗

姹ゅ�嗗彅鍙旂殑涓�杞�鏃呯▼涓�锛屾�绘槸鍏呮弧浜嗗皬鎯婂枩銆備粬鍠滄�㈠湪鏈哄満鐨勫皬鍟嗗簵閲岃喘涔颁竴浜涚壒鍒�鐨勫皬鐗╀欢锛屾垨鑰呮槸褰撳湴鐨勭壒浜с�傝繖浜涘皬鎯婂枩涓嶄粎璁╀粬鐨勬梾閫旀洿鍔犱赴瀵屽�氬僵馃榾锛屼篃璁╀粬鐨勫績鐏靛緱鍒颁簡鏀炬澗銆�

鍦ㄨ繖浜涗腑杞�鏃呯▼馃檪涓�锛屾堡濮嗗彅鍙斾篃浼氶亣鍒颁竴浜涚壒鍒�鐨勪汉銆傛湁鏃跺�欙紝浠栦細鍜屾満鍦衡瓙宸ヤ綔浜哄憳鑱婁笂鍑犲彞锛屼簡瑙ｄ竴浜涘叧浜庢満鍦虹殑灏忕�樺瘑銆傛湁鏃跺�欙紝浠栦細鍦ㄦ満鍦虹殑鍜栧暋鍘呴噷閬囧埌涓�浜涙梾琛岃�咃紝涓庝粬浠�鍒嗕韩鏃呴�斾腑鐨勮叮浜嬨�傝繖浜涘皬灏忕殑閭傞�咃紝璁╂堡濮嗗彅鍙旂殑涓�杞�鏃呯▼馃檪鏇村姞涓板瘜锛屼篃璁╀粬鐨勫績鐏靛緱鍒颁簡鏇村�氱殑娓╂殩銆�

ensorFlow

importtensorflow_data_validationastfdv#鍋囪�綿f鏄�涓�涓狿andasDataFrameschema=tfdv.infer_schema(df)#鐢熸垚缁熻�℃姤鍛妕fdv.generate_report_html(schema,df,"data_validity_report.html")

涓ユ牸鐨勪汉鍛樺煿璁�

浜烘槸瀹夊叏鐨勭��涓�瑕佺礌锛屾堡濮�30绉掓瀬閫熶腑杞�瀵逛簬鏈嶅姟浜哄憳鐨勫煿璁�闈炲父閲嶈�嗐�傛瘡涓�浣嶅徃鏈哄拰瀹変繚浜哄憳閮介渶瑕佺粡杩囦弗鏍肩殑鍩硅��锛屽寘鎷�椹鹃┒鎶�鑳姐�佸畨馃幆鍏ㄧ煡璇嗐�佸簲鎬ュ�勷煒佺悊绛夊�氫釜鏂归潰鐨勫唴瀹广�傛堡濮�30绉掓瀬閫熶腑杞�杩樹細瀹氭湡缁勭粐鍩硅��鍜屾紨缁冿紝浠ョ‘淇濇瘡涓�浣嶄汉鍛橀兘鑳藉湪鍚勭�嶇獊鍙戞儏鍐典笅锛岃兘澶熻繀閫熷弽搴斿苟閲囧彇姝ｇ‘鐨勷煍ュ簲瀵规帾鏂姐��

涓�杞�鏃呯▼锛氫竴绉嶅績鐏电殑淇�琛�

瀵逛簬姹ゅ�嗗彅鍙旀潵璇达紝涓�杞�鏃呯▼涓嶄粎鏄�涓�绉嶇敓娲绘柟寮忥紝鏇存槸涓�绉嶅績鐏电殑淇�琛屻�傚湪杩欎簺涓�杞�鏃呯▼涓�锛屼粬瀛︿細浜嗗�備綍鍦ㄧ箒蹇欑殑鐢熸椿涓�淇濇寔鍐呭績鐨勫钩闈欍�備粬閫氳繃杩欎簺绛夊緟馃敟鐨勬椂闂达紝鎵惧埌浜嗚嚜宸辩殑鍐呭績涓栫晫锛屽�︿細浜嗗�備綍鍦ㄥ繖纰岀殑鐢熸椿涓�淇濇寔鍐呭績鐨勫钩闈欏拰蹇�涔愩��

浠栫殑馃敟涓�杞�鏃呯▼锛屾槸涓�绉嶅績鐏电殑鏀炬澗鍜屼慨琛屻�傚湪杩欎簺绛夊緟鐨勬椂闂撮噷锛屼粬鑳藉�熷畬鍏ㄦ斁鏉捐嚜宸憋紝浜�鍙楃墖鍒荤殑瀹侀潤銆傝繖浜涗腑杞�鏃呯▼锛岃�╀粬鐨勫績鐏垫洿鍔犱赴瀵屽拰鍏咅煂稿疄銆�

鐜�澧冧笌鑷�鎴戠殑馃敟杩炴帴

鍦�30绉掍腑杞�鐨勷煍ユ椂闂撮噷锛屾偍鍙�浠ヨ繘琛屼竴浜涚幆澧冧笌鑷�鎴戠殑杩炴帴銆備緥濡傦紝鍦ㄧ瓑杞︽垨浼戞伅鏃讹紝鎮ㄥ彲浠ヨ�傚療涓�涓嬪懆鍥寸殑鐜�澧冿紝鎰熷彈涓�涓嬭嚜鐒剁殑缇庡ソ銆傝繖绉嶇幆澧冧笌鑷�鎴戠殑杩炴帴鍙�浠ヨ�╂偍鍦ㄦ帴涓嬫潵鐨勬椂闂翠腑鏇村姞骞冲拰鑷�鍦�锛屾彁鍗囩敓娲荤殑璐ㄩ噺銆�

閫氳繃杩欎簺绛栫暐鍜屾妧宸э紝鎮ㄥ彲浠ュ湪30绉掔殑涓�杞�鏃堕棿閲屽厖馃尭鍒嗗彂鎸ュ叾浠峰�硷紝鎻愬崌鑷�宸辩殑鏁堢巼鍜岀敓娲诲搧璐ㄣ�傚笇鏈涜繖浜涙俯棣ㄦ彁绀鸿兘涓烘偍鐨勬棩甯哥敓娲诲甫鏉ユ洿澶氱殑渚垮埄鍜屼箰瓒ｏ紒

姹ゅ�嗗彅鍙擳om鎻愰啋30绉掍腑杞�锛氳�╀綘鐨勬梾琛屾洿鍔犳剦鎮�

鍦ㄧ幇浠ｇぞ浼氾紝鏃呰�屽凡缁忔垚涓轰簡璁稿�氫汉鐢熸椿涓�鐨勯噸瑕佺粍鎴愰儴鍒嗐�傛棤璁烘槸涓轰簡宸ヤ綔锛岃繕鏄�涓轰簡浼戦棽锛屾垜浠�閮介渶瑕侀�戠箒鍦拌繘琛岄暱閫旀梾琛屻�傚湪杩欑�嶆儏鍐典笅锛屾椂闂寸�＄悊鐨勯噸瑕佹�ф樉寰楀挨涓虹獊鍑恒�傛堡濮嗗彅鍙擳om鎻愰啋30绉掍腑杞�锛屼笉浠呬粎鏄�涓�涓�鏃堕棿绠＄悊鐨勫伐鍏凤紝鏇存槸璁╀綘鐨勬梾琛屾洿鍔犳剦鎮︾殑绉樺瘑姝﹀櫒銆�

鏍″�癸細鍒樻収鍗�(p6mu9CWFoIx7YFddy4eQTuEboRc9VR7b9b)