研发
返回Skills 列表
数据质量抽查报告 Skill
给陌生 CSV 做一次列级体检:空值率、唯一率、类型推断、常见值、3σ 外异常值一次出齐,先看清楚再用数据。
📁 数据质量抽查报告 Skill /
SKILL.md1 KB
scripts
profile_csv.py3.2 KB
references
metrics.md0.5 KB
所有文件均为纯文本展示,仅提供查看与打包下载,不在服务器上执行。
SKILL.md
---
name: data-profile
description: 给陌生 CSV 做一次列级体检:空值率、唯一率、类型推断、常见值、3σ 外异常值一次出齐,先看清楚再用数据。
---
# 数据质量抽查报告 Skill
## 触发条件
当拿到一份陌生 CSV 要先用、要给数据定性、或怀疑数据有脏值时触发。
## 执行步骤
1. 运行 python scripts/profile_csv.py data.csv -o profile.md。
2. 先看异常提示列:主键重复、空值率超三成、3σ 外异常,按列逐个处理。
3. 对照 references/metrics.md 确认每个指标怎么算的,别拿画像直接下结论。
4. 把确认属实的脏数据记录进清洗清单,注明列名与处理方式。
5. 清洗后重跑一遍画像,对比指标变化确认清洗生效。
## 依赖
Python 3 标准库(csv/re/argparse/pathlib),不连数据库,只读单个 CSV。
## 输出
一份 profile.md:逐列画像表(空值率/唯一率/类型/常见值/数值范围/异常提示)与排查建议。
纯文本预览
全站累计复制 0 次
使用说明
对任意 CSV 跑 scripts/profile_csv.py 得到画像报告,按异常提示列逐个排查脏数据。
每个 IP 仅可点赞一次 · 点赞后不可取消

暂无评论,来发表第一条评论吧!