让人工智能帮你清洗杂乱表格,又不花冤枉钱
先留住原件,再找出真正的脏数据
你拿到一份社团活动报名表,准备统计缴费人数,却发现日期写法不一、手机号混有空格,同一个人还提交了两次。不要马上把整张表交给人工智能重写。更省钱、也更可靠的做法,是让模型协助确定规则,再让本地程序逐行执行。
先复制原始文件,所有清洗只在副本上进行。记录原始行数、列名和文件使用的字符编码,并在工作副本中增加原始行号。之后发现某个金额被改错,就能回到对应记录,而不是凭印象修补。
用少量代表性记录换来清晰诊断
挑选二三十行样本,同时包含正常记录、空值和异常记录。不要只取开头,因为后面可能藏着带逗号的备注、单元格内换行或不同日期格式。读取时应使用成熟的表格解析工具,不能简单按逗号拆开每一行。
发送样本前,用虚构内容替换姓名、邮箱、手机号和证件号码,并保留原有格式特征。你可以这样提问:请列出这些记录中的格式问题、可能丢失信息的操作,以及需要我确认的业务规则。先要诊断,不要让模型直接修改全部数据。
把含糊要求写成可以验收的规则
“帮我整理干净”没有明确边界。把需求改成具体约束:去除姓名两端空白,保留姓名内部空格;手机号和学号始终按文本处理;空白缴费金额保持缺失,不自动补零。这样可以避免开头的零被吞掉,也不会把未知金额当成未缴费。
日期尤其需要谨慎。“三月四日”与“四月三日”可能来自不同书写习惯,无法确定时就标记待核对。金额中的负数也不一定是错误,它可能代表退款。让模型指出歧义,而不是替你猜答案。
先确定身份依据,再处理重复报名
不要看到同名就删除记录。对于这份报名表,可以先检查报名编号是否唯一;没有可靠编号时,再根据已确认的手机号和活动名称筛选疑似重复项。缺失身份信息的记录不能因为都为空就合并。
如果同一个人重复提交,事先确定保留最早还是最新一条。两次提交的金额不同,就转入人工核对清单。要求清洗程序记录原始行号、触发规则和处理结果,让每一次删除或修改都有依据。
让模型写程序,让电脑处理整份文件
规则确认后,再请模型生成可在本地运行的清洗程序,并说明需要哪些依赖、如何使用以及可能失败的情况。要求程序输出清洗结果、异常记录和处理摘要,不覆盖原件,也不联网发送数据。
先用样本测试,核对通过后再处理完整文件。程序报错时,提供错误信息和最小必要样本即可,不必重新上传整张表。人工智能负责协助编写和修正逻辑,重复执行则交给程序,通常比逐行请求模型更节省调用量。
把调用预算花在规则和疑难记录上
对个人项目而言,先做一次小样本诊断,再做一次规则确认,比反复要求模型“重新清洗”更容易控制开销。通过MyRelay调用时,可以查看每次请求的词元用量与费用,判断较长的上下文是否值得保留。
如果你想把这套流程接入自己的工具,可以创建一个MyRelay账户,先用小额预算验证。后续只发送新增问题与必要背景;普通空格、日期转换和明确的重复规则继续在本地处理,不必每次都付费请模型重新判断。
用行数、金额和反例验证清洗结果
最后检查原始行数与各输出之间是否对得上,并确认异常清单是否与清洗结果互斥,避免重复计数。比较清洗前后的金额汇总,任何变化都应能由去重、退款或已确认的修正解释。
再抽查正常记录与异常记录,特别查看前导零、带逗号的备注、空值和重复提交。尝试重新读取导出的文件,确认中文与列数没有损坏。只有这些检查通过,清洗才算完成;格式统一但含义被改错,并不是真正干净的数据。