54 万行交易流水里，只有 3000 行能用来做诊断。

缺口就在于这中间的一步：ERP 里存的是「每一笔交易」，报告要的是「每个 SKU 的一年」。这不是格式转换，是一次有判断的取舍——八道闸门，每一道都要你决定什么算数、什么不算数。

四种脏法，每种都能让报告错一个数量级。

下面每一行都是从这 54 万行里抓的真实记录，不是我编的例子。看清它们长什么样，你才知道为什么要写那四行代码。

这四行代码就是全部防线的核心

df = raw.dropna(subset=["StockCode", "Description"])          # ① 删空值
df = df[~df["InvoiceNo"].astype(str).str.startswith("C")]        # ② 剔取消单
df = df[(df["Quantity"] > 0) & (df["UnitPrice"] > 0)]       # ③ 剔退货
df = df[~df["StockCode"].astype(str).str.fullmatch(r"[A-Za-z]+")]   # ④ 剔纯字母非商品码

清洗只解决「哪些行算数」，聚合才解决「一行代表一个商品」。

527,918 行流水 → 3,912 个 SKU。这一步有 5 个 groupby，其中两个藏着你必须做对的判断。

关键判断 ①：单价为什么用中位数，不用平均数

# 同一个 SKU 在不同单据上的单价可能差几十倍：
#   促销价  ¥0.01   ← 会输入的「乌龙价」或 1 分钱活动价
#   正常价  ¥2.08   ← 真实售价
#   批发价  ¥1.50   ← 大客户折扣
#   ...

df.groupby("StockCode")["UnitPrice"].median()   # ✅ 中位数：取中间那个价
df.groupby("StockCode")["UnitPrice"].mean()     # ❌ 平均数：被 0.01 拖垮

关键判断 ②：商品名为什么用众数，不用第一条

df.groupby("StockCode")["Description"].agg(lambda s: s.mode().iat[0])  # ✅ 取出现最多的写法
df.groupby("StockCode")["Description"].first()                 # ❌ 取第一条，可能是个错字

第 ⑦ 道闸：销量 ≥ 8 件这条线怎么定

怎么证明这张表是「干净」的？靠它能复算出报告里的每一个数字。

所谓干净，不是「看着整齐」，是任何一个人拿到这张表，都能算出和你一模一样的结论。下面五条验收标准，缺一条这张表就算没过关。

但真实客户的数据，比这个脏十倍

UCI 这份数据是「教科书级的脏」——问题清楚、边界干净、没有历史包袱。真实中小企业的 ERP 导出会多出下面这七种麻烦，每种都要单独做判断：

公式是公开的，把脏数据变成能签字的表，才是这行真正卖的东西。