ensorFlow

importtensorflow_data_validationastfdv#鍋囪�綿f鏄�涓�涓狿andasDataFrameschema=tfdv.infer_schema(df)#鐢熸垚缁熻�℃姤鍛妕fdv.generate_report_html(schema,df,"data_validity_report.html")

1鑱屽満浜哄＋鐨勫疄渚�

灏忕帇鏄�涓�鍚嶈亴鍦虹櫧棰嗭紝骞虫椂宸ヤ綔闈炲父蹇欑�屻�傛瘡澶╀笂涓嬬彮锛屼粬閮借�佸湪鍏�浜よ溅涓婇�氬嫟锛岃�岃繖娈垫椂闂翠篃鏄�浠栧敮涓�鍙�浠ュ埄鐢ㄧ��30绉掍腑杞�鏃堕棿銆備负浜嗗厖鍒嗗埄鐢ㄨ繖娈垫椂闂达紝灏忕帇鍦ㄧ瓑鍏�浜よ溅鐨勬椂鍊欙紝浼氭煡鐪嬩竴涓嬪綋澶╃殑閭�浠跺拰寰呭姙浜嬮」娓呭崟锛屽苟杩涜�岀畝鍗曠殑璁″垝瀹夋帓銆傝繖涓嶄粎甯�鍔╀粬鍦ㄤ笂鐝�璺�涓婃彁鍓嶅仛濂藉噯澶囷紝杩橀伩鍏嶄簡鍦ㄥ姙鍏�瀹ら噷鑺辫垂杩囧�氭椂闂村湪浜嬪墠鍑嗗�囦笂娴�璐规椂闂淬��

甯歌�侀棶棰樹笁锛氭棤娉曟敹鍒伴�氱煡

妫�鏌ラ�氱煡璁剧疆锛氳繘鍏ヨ�惧�囩殑璁剧疆锛屾壘鍒伴�氱煡璁剧疆锛岀‘淇濈浉鍏冲簲鐢ㄧ殑閫氱煡鏉冮檺宸插紑鍚�銆�

閲嶅惎璁惧�囷細鏈夋椂鍊欙紝璁惧�囩殑馃敟閫氱煡鍔熻兘鍙�鑳戒細鍑虹幇鏁呴殰銆傚彲浠ュ皾璇曢噸鍚�璁惧�囸煋岋紝鐪嬫槸鍚﹁兘鎭㈠�嶆�ｅ父銆�

鏇存柊绯荤粺锛氱‘淇濊�惧�囩殑鎿嶄綔绯荤粺鍜屽簲鐢ㄩ兘鏄�鏈�鏂扮増鏈�锛屼互閬垮厤鐢变簬杞�浠堕棶棰樺�艰嚧鐨勯�氱煡澶辨晥銆�

姝ワ細浜嗚В甯哥敤鍔熻兘

鎷嶇収涓庡綍瑙嗛�戯細浜嗚В璁惧�囩殑鎽勫儚鍔熻兘锛屼竴鑸�鍦ㄤ富灞忓箷鏈変竴涓�鐩告満鍥炬爣锛岀偣鍑诲嵆鍙�杩涘叆鎷嶇収鎴栧綍瑙嗛�戠晫闈�銆傛柊鎵嬪彲浠ュ厛灏濔煓傝瘯涓�浜涚畝鍗曠殑鎷嶇収鍔熻兘锛岃皟鏁村厜绾垮拰瑙掑害浠ユ媿鍑哄ソ鐓х墖銆�

闊充箰涓庤�嗛�戞挱鏀撅細鎵撳紑闊充箰鎴栬�嗛�戝簲鐢�锛岄�夋嫨鍠滄�㈢殑鎾�鏀惧垪琛ㄦ垨瑙嗛�戯紝鐐瑰嚮鎾�鏀惧嵆鍙�銆傚ぇ澶氭暟璁惧�囸煋岄兘鏈夊唴缃�鐨勫獟浣撴挱鏀惧櫒锛屾柊鎵嬪彲浠ユ牴鎹�鎻愮ず杩涜�屾搷浣溿��

鏂囦欢绠＄悊锛氫簡瑙ｅ�備綍鍦ㄨ�惧�囦笂瀛樺偍鍜岀�＄悊鏂囦欢銆傚ぇ澶氭暟璁惧�囬兘鏈変竴涓�鏂囦欢绠＄悊鍣�锛屽彲浠ュ湪鍏朵腑鏌ョ湅銆佷笅杞藉拰鍒犻櫎鏂囦欢銆傛柊鎵嬪彲浠ュ厛灏濊瘯灏嗕竴浜涘父鐢ㄦ枃浠舵斁鍦ㄨ�惧�囦笂锛屼互渚块殢鏃惰�块棶銆�

浠庢堡濮嗗彅鍙旂殑鎻愰啋鐪嬪嚭鐨勮�屼笟鍙橀潻瓒嬪��

姹ゅ�嗗彅鍙旂殑鎻愰啋锛屼笉浠呮彮绀轰簡鑸�绌轰腑杞�鏈嶅姟鐨勭粏鑺傞棶棰橈紝鏇翠负鎴戜滑鎻愪緵浜嗕竴涓�鍏ㄦ柊鐨勮�嗚�掞紝璁╂垜浠�鐪嬪埌浜嗚�屼笟鍙橀潻鐨勬綔鍦ㄨ秼鍔裤�傚湪杩欎釜淇℃伅鐖嗙偢鐨勬椂浠ｏ紝濡備綍鍦ㄤ俊鎭�鐨勬椽娴佷腑淇濇寔娓呮櫚鐨勬�濊矾鍜屾晱閿愮殑娲炲療鍔涳紝鎴愪负浜嗘瘡涓�涓�琛屼笟浠庝笟鑰呯殑閲嶈�佽�鹃�樸��

姹ゅ�嗗彅鍙旀彁閱掔��30绉掍腑杞�杩涚珯鍙ｏ紝瀹為檯涓婃槸瀵硅埅绌鸿�屼笟涓�浜烘満浜掑姩鐨勪竴绉嶆繁鍒诲�¤�嗐�傚湪杩欎釜蹇�閫熻繍杞�鐨勮�屼笟閲岋紝浜轰笌鏈哄櫒鐨勫崗璋冮厤鍚堬紝涓嶄粎浠呮槸鎶�鏈�涓婄殑馃敟闂�棰橈紝鏇存槸鏈嶅姟璐ㄩ噺鐨勯噸瑕佷繚闅溿�傞�氳繃鎻愰啋鏃呭�㈠拰鍛樺伐鍏虫敞杩欎竴缁嗚妭锛屾堡濮嗗彅鍙斿疄闄呬笂鍦ㄥ己璋冧汉鎬у寲鏈嶅姟鐨勷煍ラ噸瑕佹�с��

姹ゅ�嗗彅鍙旂殑鎻愰啋锛屼负鎴戜滑鎻愪緵浜嗕竴涓�鏂扮殑瑙嗚�掞紝璁╂垜浠�鐪嬪埌浜嗚�屼笟鍐呮湇鍔＄悊蹇电殑杞�鍙樸�傚湪杩囧幓鐨勫嚑鍗佸勾閲岋紝鑸�绌鸿�屼笟涓�鐩翠互楂樻晥杩愪綔涓轰富瑕佺洰鏍囷紝浣嗛殢鐫�绀句細鐨勫彂灞曞拰鏃呭�㈤渶姹傜殑鍙橉煍ュ寲锛屼紭璐ㄦ湇鍔＄殑閲嶈�佹�ф剤鍙戝嚫鏄俱�傛堡濮嗗彅鍙旀彁閱掔殑杩欎竴缁嗚妭锛屽疄闄呬笂鏄�鍦ㄥ己璋冩湇鍔′笌鏁堢巼鐨勫钩琛★紝杩欏皢鎴愪负鏈�鏉ヨ�屼笟鍙戝睍鐨勪竴涓�閲嶈�佽秼鍔裤��

鏍″�癸細鏉庡洓绔�(p6mu9CWFoIx7YFddy4eQTuEboRc9VR7b9b)