R 语言:用 nest + broom 批量拟合分组模型
diamonds 有 53940 颗钻石,按切工分成五组。想给每组单独拟合一个价格模型,最直接的做法是写个 for 循环,拟合一次、抽一次系数、拼一次表。nest() + map() + broom 能把这三步压成一次管道。
一、先看池化模型漏掉了什么
lm(log10(price) ~ carat + depth + table, data = diamonds)
系数是:
(Intercept) carat depth table
3.49394 0.85944 -0.00947 -0.00371
carat 斜率 0.85944,R² 0.84772。看着挺好。但这一个数字是五组人混在一起算出来的平均值,它假设五种切工的价格对克拉的反应完全一样。实际上不一样。
二、nest 造嵌套表
library(tidyverse)
library(broom)
dd <- ggplot2::diamonds |>
select(cut, carat, depth, table, price)
nested <- dd |>
group_by(cut) |>
nest()
nested
# A tibble: 5 × 2
# Groups: cut [5]
cut data
<ord> <list>
1 Ideal <tibble [21,551 × 4]>
2 Premium <tibble [13,791 × 4]>
3 Good <tibble [4,906 × 4]>
4 Very Good <tibble [12,082 × 4]>
5 Fair <tibble [1,610 × 4]>
data 这一列里每格装着一个数据框。<list> 不是文字,是真的嵌套结构,nested$data[[1]] 取出来就是个普通 tibble。
三、map 批量拟合
fit <- nested |>
mutate(model = map(data, ~ lm(log10(price) ~ carat + depth + table, data = .x)))
map() 对 data 列每一格调用一次 lm(),结果放回 model 列。五个模型,一行代码。注意公式里用的是 .x 而不是原变量名——map() 把当前那格数据框绑给 .x。
四、glance 摊平
fit |>
mutate(g = map(model, glance)) |>
select(cut, g) |>
unnest(g) |>
transmute(cut, n = nobs, r2 = round(r.squared, 4), sigma = round(sigma, 4))
cut n r2 sigma
<ord> <int> <dbl> <dbl>
1 Ideal 21551 0.859 0.162
2 Premium 13791 0.859 0.168
3 Good 4906 0.840 0.170
4 Very Good 12082 0.855 0.172
5 Fair 1610 0.716 0.178
glance() 一次给出模型级指标:nobs、r.squared、adj.r.squared、sigma、statistic、p.value、df、logLik、AIC、BIC、deviance、df.residual。原来是 12 列的宽表,塞进列表列之后每个模型占一格,unnest() 再还原成长表——五组就是五行。
五、真正想看的斜率
fit |>
mutate(t = map(model, tidy)) |>
select(cut, t) |>
unnest(t) |>
filter(term == "carat") |>
transmute(cut, 斜率 = round(estimate, 4), 标准误 = round(std.error, 4))
cut 斜率 标准误
<ord> <dbl> <dbl>
1 Ideal 0.921 0.0026
2 Very Good 0.908 0.0034
3 Good 0.848 0.0055
4 Premium 0.805 0.0028
5 Fair 0.549 0.0086
跟池化的 0.85944 一比:
| 切工 | 分组斜率 | 与池化差 |
|---|---|---|
| Ideal | 0.921 | +0.062 |
| Very Good | 0.908 | +0.049 |
| Good | 0.848 | −0.011 |
| Premium | 0.805 | −0.054 |
| Fair | 0.549 | −0.310 |
Fair 组的斜率只有 0.549,比池化值低 0.31。意思是:同样多一克拉,Fair 切工的钻石涨价幅度只有 Ideal 的六成。这不是噪声——Fair 组 n=1610,标准误 0.0086,0.31 的距离是 36 个标准误。
用 bootstrap 再确认一次,只用 carat 单个解释变量:
boot_slope <- function(d, B = 400) {
replicate(B, {
s <- d[sample(nrow(d), replace = TRUE), ]
unname(coef(lm(log10(price) ~ carat, data = s))[["carat"]])
})
}
set.seed(20261116)
for (g in c("Fair", "Good", "Ideal")) {
d <- dd |> filter(cut == g)
b <- boot_slope(d)
cat(sprintf("%-5s n=%-6d slope=%.4f CI=[%.4f, %.4f]\n",
g, nrow(d),
coef(lm(log10(price) ~ carat, data = d))[["carat"]],
quantile(b, .025), quantile(b, .975)))
}
Fair n=1610 slope=0.5433 CI=[0.5066, 0.5837]
Good n=4906 slope=0.8588 CI=[0.8397, 0.8793]
Ideal n=21551 slope=0.9224 CI=[0.9126, 0.9315]
三个区间互不重叠。Fair 的区间上限 0.5837 离 Good 的下限 0.8397 还差很远。池化那个 0.85944 谁都不代表,它只是加权平均的产物。
六、三个容易写错的地方
glance() 的 sigma 不是 R²,是残差的标准化标准误。 它是模型级指标,单位跟 log10(price) 一致。手算验证:
fit |>
mutate(手动 = map2_dbl(model, data, ~ sqrt(sum(residuals(.x)^2) / .x$df.residual)))
五组全部差 0(保留 12 位小数也是 0)。分母是 df.residual(= n − 4),不是 n。
map() 里必须用 .x,不能直接写列名。 ~ lm(log10(price) ~ carat, data = .x) 是对的;写成 data = data 会把外层 nested 的 data 列当成一个 tibble 传进去,报错信息很难懂。用 function(d) lm(..., data = d) 也一样。
unnest() 之后要重新 arrange()。 cut 是 ordered factor,unnest() 不会自动按它排序。我上面看到的顺序 Ideal/Premium/Good/Very Good/Fair 是 nest() 的分组顺序,不是切工等级顺序,要按等级看必须显式 arrange(cut)。
七、残差最大的那几颗
augment() 同样可以批量调用,拿到每条观测的 .fitted、.resid、.hat、.sigma、.cooksd、.std.resid:
fit |>
mutate(a = map2(model, data, ~ augment(.x, data = .y))) |>
select(cut, a) |>
unnest(a) |>
slice_max(abs(.resid), n = 3)
结果里 Fair 组那颗 5.01 克拉、18018 美元的钻石残差 −1.43,模型给它预测了 481732 美元。差了 27 倍。这是 log10 变换下大克拉区的系统性高估——池化模型也有同样的问题,只是分组之后才看得清是哪一组最严重。
总结
| 函数 | 作用 | 输出 |
|---|---|---|
nest() |
按组分装数据框 | 列表列 <list> |
map() |
批量拟合 | 列表列装 lm 对象 |
glance() |
模型级指标 | 一行一个模型 |
tidy() |
系数级指标 | 一行一个系数 |
augment() |
观测级指标 | 一行一条数据 |
unnest() |
摊平回长表 | 普通 tibble |
四个 broom 函数对应四个粒度:模型、系数、观测,加上 nest/unnest 这一对进出嵌套的闸门。写完这套之后,我把池化模型全删了——它唯一的作用是提醒我「平均值会骗人」。
下一步想把这套接到分组数量不固定的场景上。现在只有 5 组,nest() 一次就完了;如果按「切工 × 净度」交叉分,是 40 组,其中好几组样本量掉到几十,lm() 会给出荒唐的标准误。得先加一层样本量门槛,把 n < 100 的组单独拎出来走池化,再把两条结果拼回一张表。
- 点赞
- 收藏
- 关注作者
评论(0)