R 语言:用 nest + broom 批量拟合分组模型

举报
yd_248934043 发表于 2026/11/16 07:55:13 2026/11/16
【摘要】 把 diamonds 按切工 nest 成五组,用 map 批量拟合、broom 三个函数摊平,发现池化模型的克拉斜率谁都不代表,Fair 组差了 36 个标准误。

diamonds 有 53940 颗钻石,按切工分成五组。想给每组单独拟合一个价格模型,最直接的做法是写个 for 循环,拟合一次、抽一次系数、拼一次表。nest() + map() + broom 能把这三步压成一次管道。

一、先看池化模型漏掉了什么

lm(log10(price) ~ carat + depth + table, data = diamonds)

系数是:

(Intercept)       carat       depth       table 
    3.49394     0.85944    -0.00947    -0.00371 

carat 斜率 0.85944,R² 0.84772。看着挺好。但这一个数字是五组人混在一起算出来的平均值,它假设五种切工的价格对克拉的反应完全一样。实际上不一样。

二、nest 造嵌套表

library(tidyverse)
library(broom)

dd <- ggplot2::diamonds |> 
  select(cut, carat, depth, table, price)

nested <- dd |> 
  group_by(cut) |> 
  nest()

nested
# A tibble: 5 × 2
# Groups:   cut [5]
  cut       data                 
  <ord>     <list>               
1 Ideal     <tibble [21,551 × 4]>
2 Premium   <tibble [13,791 × 4]>
3 Good      <tibble [4,906 × 4]> 
4 Very Good <tibble [12,082 × 4]>
5 Fair      <tibble [1,610 × 4]> 

data 这一列里每格装着一个数据框。<list> 不是文字,是真的嵌套结构,nested$data[[1]] 取出来就是个普通 tibble。

三、map 批量拟合

fit <- nested |> 
  mutate(model = map(data, ~ lm(log10(price) ~ carat + depth + table, data = .x)))

map() 对 data 列每一格调用一次 lm(),结果放回 model 列。五个模型,一行代码。注意公式里用的是 .x 而不是原变量名——map() 把当前那格数据框绑给 .x。

四、glance 摊平

fit |> 
  mutate(g = map(model, glance)) |> 
  select(cut, g) |> 
  unnest(g) |> 
  transmute(cut, n = nobs, r2 = round(r.squared, 4), sigma = round(sigma, 4))
  cut           n    r2 sigma
  <ord>     <int> <dbl> <dbl>
1 Ideal     21551 0.859 0.162
2 Premium   13791 0.859 0.168
3 Good       4906 0.840 0.170
4 Very Good 12082 0.855 0.172
5 Fair       1610 0.716 0.178

glance() 一次给出模型级指标:nobs、r.squared、adj.r.squared、sigma、statistic、p.value、df、logLik、AIC、BIC、deviance、df.residual。原来是 12 列的宽表,塞进列表列之后每个模型占一格,unnest() 再还原成长表——五组就是五行。

五、真正想看的斜率

fit |> 
  mutate(t = map(model, tidy)) |> 
  select(cut, t) |> 
  unnest(t) |> 
  filter(term == "carat") |> 
  transmute(cut, 斜率 = round(estimate, 4), 标准误 = round(std.error, 4))
  cut        斜率 标准误
  <ord>     <dbl>  <dbl>
1 Ideal     0.921 0.0026
2 Very Good 0.908 0.0034
3 Good      0.848 0.0055
4 Premium   0.805 0.0028
5 Fair      0.549 0.0086

跟池化的 0.85944 一比:

切工 分组斜率 与池化差
Ideal 0.921 +0.062
Very Good 0.908 +0.049
Good 0.848 −0.011
Premium 0.805 −0.054
Fair 0.549 −0.310

Fair 组的斜率只有 0.549,比池化值低 0.31。意思是:同样多一克拉,Fair 切工的钻石涨价幅度只有 Ideal 的六成。这不是噪声——Fair 组 n=1610,标准误 0.0086,0.31 的距离是 36 个标准误。

用 bootstrap 再确认一次,只用 carat 单个解释变量:

boot_slope <- function(d, B = 400) {
  replicate(B, {
    s <- d[sample(nrow(d), replace = TRUE), ]
    unname(coef(lm(log10(price) ~ carat, data = s))[["carat"]])
  })
}

set.seed(20261116)
for (g in c("Fair", "Good", "Ideal")) {
  d <- dd |> filter(cut == g)
  b <- boot_slope(d)
  cat(sprintf("%-5s n=%-6d slope=%.4f  CI=[%.4f, %.4f]\n",
      g, nrow(d),
      coef(lm(log10(price) ~ carat, data = d))[["carat"]],
      quantile(b, .025), quantile(b, .975)))
}
Fair  n=1610   slope=0.5433  CI=[0.5066, 0.5837]
Good  n=4906   slope=0.8588  CI=[0.8397, 0.8793]
Ideal n=21551  slope=0.9224  CI=[0.9126, 0.9315]

三个区间互不重叠。Fair 的区间上限 0.5837 离 Good 的下限 0.8397 还差很远。池化那个 0.85944 谁都不代表,它只是加权平均的产物。

六、三个容易写错的地方

glance() 的 sigma 不是 R²,是残差的标准化标准误。 它是模型级指标,单位跟 log10(price) 一致。手算验证:

fit |> 
  mutate(手动 = map2_dbl(model, data, ~ sqrt(sum(residuals(.x)^2) / .x$df.residual)))

五组全部差 0(保留 12 位小数也是 0)。分母是 df.residual(= n − 4),不是 n。

map() 里必须用 .x,不能直接写列名。 ~ lm(log10(price) ~ carat, data = .x) 是对的;写成 data = data 会把外层 nested 的 data 列当成一个 tibble 传进去,报错信息很难懂。用 function(d) lm(..., data = d) 也一样。

unnest() 之后要重新 arrange()。 cut 是 ordered factor,unnest() 不会自动按它排序。我上面看到的顺序 Ideal/Premium/Good/Very Good/Fair 是 nest() 的分组顺序,不是切工等级顺序,要按等级看必须显式 arrange(cut)。

七、残差最大的那几颗

augment() 同样可以批量调用,拿到每条观测的 .fitted、.resid、.hat、.sigma、.cooksd、.std.resid:

fit |> 
  mutate(a = map2(model, data, ~ augment(.x, data = .y))) |> 
  select(cut, a) |> 
  unnest(a) |> 
  slice_max(abs(.resid), n = 3)

结果里 Fair 组那颗 5.01 克拉、18018 美元的钻石残差 −1.43,模型给它预测了 481732 美元。差了 27 倍。这是 log10 变换下大克拉区的系统性高估——池化模型也有同样的问题,只是分组之后才看得清是哪一组最严重。

总结

函数 作用 输出
nest() 按组分装数据框 列表列 <list>
map() 批量拟合 列表列装 lm 对象
glance() 模型级指标 一行一个模型
tidy() 系数级指标 一行一个系数
augment() 观测级指标 一行一条数据
unnest() 摊平回长表 普通 tibble

四个 broom 函数对应四个粒度:模型、系数、观测,加上 nest/unnest 这一对进出嵌套的闸门。写完这套之后,我把池化模型全删了——它唯一的作用是提醒我「平均值会骗人」。

下一步想把这套接到分组数量不固定的场景上。现在只有 5 组,nest() 一次就完了;如果按「切工 × 净度」交叉分,是 40 组,其中好几组样本量掉到几十,lm() 会给出荒唐的标准误。得先加一层样本量门槛,把 n < 100 的组单独拎出来走池化,再把两条结果拼回一张表。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。