AI产品经理,别急着删数据:真正要交付的是一套可回滚的清洗规则
AI项目中的数据清洗远非简单的表格整理,一条看似不规范的记录可能是关键业务信息。本文深入剖析清洗规则制定中的常见误区,提出用规则卡和保留清单确保数据价值不流失,帮助产品经理在AI项目中做出更明智的数据处理决策。 做AI项目时,产品经理经常会收到一句看起来很简单的任务: 这批数据有点脏,上线前先清洗一下。 技术同学开始跑脚本,空值补了,重复项删了,格式统一了。处理后的数据少了一大截,报表里的指标也变得很漂亮。 接入模型一测,效果没提升,原本能回答的问题反而答不上来了。 继续往下查,常见的情况是这样的:缺少标题的文档被当成无效数据删掉了,里面偏偏有一批业务人员整理的常见问题;相似问答被批量合并,不同产品版本的操作说明混成了一条;系统看到手机号和地址就整段过滤,顺手把客服处理这类问题时必须参考的业务规则也删了。 脚本执行得没毛病,数据确实更整齐了。 业务信息一起被洗没了。 这就是AI项目里的数
原文:人人产品经理