# 采集说明（deyi_wuhan_zhuangxiu 数据集）

> 本说明描述数据集 `G:\one\reflesh\` 的采集范围、方法、字段字典、匿名化规则、复现步骤与已知限制。
> 上次更新时间：2026-09-18（小红书补采 v6 + 四次解析 + v6 剔除记录）

## 一、交付物清单

| 文件 | 内容 |
|---|---|
| `deyi_wuhan_zhuangxiu_samples_raw.csv` | 152 帖原始样本（标题/摘要/正文长度，匿名化） |
| `deyi_wuhan_zhuangxiu_samples_standard.csv` | 152 帖结构化字段（面积/区域/方式/价格标记） |
| `deyi_wuhan_zhuangxiu_price_items.csv` | 13 条已核验价格条目（11 帖） |
| `武汉装修行情采集报告_2025-2026.md` | 行情结论、缺失率、定性避坑、样本偏差与采数建议 |
| `武汉101平旧房装修_本地样本与精细预算_2026.md`、`...xlsx` | 上一会话交付的 101㎡ 专项预算（另案，非本数据集） |
| `wuhan_zhuangxiu_xhs.csv`（镜像 `deyi_wuhan_zhuangxiu_xhs.csv`） | 小红书 93 篇（首轮 40 + v4 补采 32 中的 29 + v5 补采 24 中的 15 + v6 补采 10 中的 9；另有 12 篇捕获异常 + v6 无正文捕获 1 篇剔除） |
| `wuhan_zhuangxiu_xhs_items.csv` | 小红书/公开源分项金额（259 行 / 48 来源；2026-09-16 并入 v5 批 14 来源 87 行，2026-09-18 并入 v6 批 7 来源 63 行） |
| `research_raw/xhs_parse_v3_summary.json` | 三批合并后的字段覆盖率/批次/年份分布 |
| `research_raw/xhs_capture_failures.json` | 12 篇捕获异常剔除清单（含理由、原始 URL） |
| `武汉装修细节补充_避坑与省钱_2026.md` | 对着 101㎡ 旧房的避坑与省钱 |
| `research_raw/xhs_notes_v4.jsonl` | v4 补采原始页（32 篇） |
| `research_raw/xhs_notes_v5.jsonl` | v5 补采原始页（24 篇） |
| `research_raw/xhs_notes_clean.jsonl` | 四批合并清洗结果（93 篇：正文/评论/金额/面积/性质） |
| `research_raw/xhs_item_prices.jsonl` | 机器抽取的分项金额（61 条） |
| `research_raw/xhs_comments.jsonl` | 评论抽出（68 篇有评论，其中 64 篇评论 ≥40 字） |
| `research_raw/public_supplements/` | 土巴兔/搜狐/网易等公开页 |

## 二、采集范围与时间

- **平台**：得意生活（www.deyi.com），板块：装修讨论（f42）、建材/家电市场（fid78）、设计/软装市场（fid936）。
- **样本窗口**：发帖日期 2025-01-09 ~ 2026-06-06（限定 2025-01-01 ~ 2026-08-11）。
- **样本量**：n=152（2025 年 139、2026 年 13），tid 无重复。
- **剔除记录**（不在 152 帖内）：
  - `thread-4461171`：提示信息页（无效页），无正文。
  - `thread-20000238`（2024-10-18）、`thread-19959909`（2024-04-12，迪生装饰促销帖）：发帖时间早于 2025-01-01，不在时间窗内。其中 19959909 含促销信息（1688 元抽奖/5000 元抵用券/1.5 折秒杀 18800 元礼包），因日期越界未纳入条目表，仅供定性参考。
  - `thread-20034137`：经核实为二手房挂牌页（光谷智慧城，已售），非装修帖，已剔除。

## 三、字段字典

### samples_raw.csv（8 列）
| 列 | 说明 |
|---|---|
| tid | 帖子 ID（数字字符串） |
| url | 帖子地址，格式 `https://www.deyi.com/thread-<tid>-1-1.html` |
| post_date | 发帖日期（YYYY-MM-DD） |
| crawl_date | 采集日期（2026-08-11） |
| source_board | 板块：装修讨论 / 建材/家电市场 / 设计/软装市场 |
| title | 帖子标题（匿名化） |
| summary | 主贴正文摘要（匿名化，正文>942 字时截断？——不截断，为全部主贴文本） |
| body_chars | 主贴正文字符数 |

### samples_standard.csv（16 列）
| 列 | 说明 |
|---|---|
| tid,url,post_date,crawl_date,source_board,title | 同 raw |
| area_m2 | 面积（㎡），仅 5 帖披露 |
| layout | 户型（本批 0 帖披露） |
| district | 区域（22 帖披露，如武昌/洪山/青山…） |
| deco_mode | 装修方式：翻新/局部改造/全屋定制/自装（30 帖） |
| deco_style | 装修风格（本批 0 帖披露） |
| price_type | 价格口径：合同/报价、推断、讨论/行情、广告/促销（仅价格帖） |
| total_yuan | 装修总价（元）：仅 20036577 = 63000（推断，去年 80㎡ 案例） |
| per_m2_yuan | 每平单价（元/㎡）：仅 20036577 = 700（合同/报价，出租房自住标准） |
| has_price_item | 是否含价格条目（0/1），11 帖为 1 |
| note | 备注（本批均为空） |

### price_items.csv（9 列）
| 列 | 说明 |
|---|---|
| tid,url,post_date | 同前 |
| item_kind | 条目类型：每平单价 / 面积+总价 / 总价 / 设计费/㎡ / 量房/上门费 / 量房促销 / 促销折扣 / 促销满减 / 促销满赠 / 单次服务价 |
| amount_yuan | 金额（元）；无精确数值的条目留空（如"设计费动辄几千一平"） |
| unit | 单位：元 / 元/㎡ / 元/次 / 元(满2000减200) 等 |
| item_name | 条目名称（含含/不含说明） |
| quote_type | 口径：**合同/报价**（商家对业主实际报价）、**推断**（案例推算）、**讨论/行情**（用户观察价，非成交）、**广告/促销**（商家促销，非成交） |
| context | 原文上下文（匿名化），保留原帖关键语句 |

## 四、口径与统计原则

1. **价格条目与装修总价严格分开**：`price_items.csv` 记录所有已核验条目；仅 `quote_type ∈ {合同/报价, 推断}` 且 `item_kind ∈ {面积+总价, 总价}` 的条目可进入"装修总价"统计。当前满足该条件仅 1 帖（20036577，63000 元），**因此不推算全市均价**。
2. **"500 到 2000 一个平方"已识别**：tid 20014353（2025-01-09）正文"从 500 一个平方到 2000 一个平方不等"已提取为 2 条每平单价（500/2000 元/㎡，讨论/行情口径），不属于成交价。
3. **缺失率口径**：缺失率 = 1 − 非空数/152，四舍五入保留 1 位小数；报告已标注 n。
4. **广告重复帖去重但不删**：全友年中大促 2025-05-30 与 2025-07-09 为重复发帖，两条均保留并互相标注；自流平/货架类同文案广告帖（15+/20+ 条）计入样本总数但无价格条目。

## 五、匿名化规则（生成时自动执行 + 交付前残留扫描）

- 手机号 `1[3-9]\d{9}`、座机 `0\d{2,3}-?\d{7,8}` → `[电话已隐去]`
- 邮箱 → `[邮箱已隐去]`；QQ/V 号 `(qq|Q|v|V)[:：]?\d{5,12}` → `[联系方式已隐去]`
- 微信号 `(微信|wx|WeChat|WX)[号]?[:：]?\w{4,19}` → `[微信已隐去]`
- 引用楼"XXX 发表于 YYYY-MM-DD"、"回复 XXX 的帖子" → `[引用]`（去除昵称）
- 门牌号 `\d{7,8}(?=栋|幢|号|室|单元)` → `[门牌已隐去]`
- 交付前用 `validate_deliverables.py` 第 7 节扫描残留（手机/微信/QQ/邮箱 4 类），当前全部通过。
- CSV 输出为 **UTF-8 无 BOM**，验证脚本拒绝带 BOM 文件。

## 六、复现步骤

前置：`research_raw/` 中保存了抓取页 HTML 与解析中间件（见下）。完整链路：

```
1. fetch_threads.ps1 / fetch_pages.py   → 抓取列表页与帖子页 (research_raw/*.html)
2. extract_text.py                      → HTML → 纯文本 (research_raw/*.txt)
3. parse_threads.ps1                    → 文本 → threads_parsed.jsonl (155 行, 含 3 条剔除)
4. (人工) extracted.json 构建           → 152 帖结构化 + 字段提取
5. extract_prices.py                    → 全正文金额/促销/量房线索扫描 → price_candidates.json
6. (人工) 逐条核验候选                  → 13 条确认为价格条目
7. patch_items.py                       → 已核验条目写入 extracted.json[].items
8. make_csv.ps1                         → 生成 3 个 CSV（匿名化、UTF-8 无 BOM）
9. validate_deliverables.py             → 独立验证（结构/日期/URL/口径/报告数字/匿名化）
```

关键脚本位于 `G:\one\reflesh\research_raw\`：`make_csv.ps1`、`extract_prices.py`、`patch_items.py`、`validate_deliverables.py`。

## 七、验证结果（2026-08-11 复跑）

```
验证项: 32 通过 / 0 失败
[OK] raw: 152 行 × 8 列，列数一致
[OK] std: 152 行 × 16 列，列数一致
[OK] itm: 13 行 × 9 列，列数一致
[OK] raw/std: tid 无重复且与 extracted.json 全量一致 (n=152)
[OK] price_items: 13 条条目，tid 均在样本内
[OK] raw/std: 日期全部在 2025-01-01 ~ 2026-08-11
[OK] 年度分布: 2025=139, 2026=13 (合计 152)
[OK] raw/std: URL 格式/一致性通过
[OK] price_items: quote_type 枚举合法(4类)、金额数值域通过
[OK] standard.has_price_item 与 price_items 完全对齐 (11 帖有价格条目)
[OK] 装修总价口径条目: 1 条 (tid=20036577) — 不足 n≥30，不得推算全市均价
[OK] 20036577 两条口径不同，'报价 700元/㎡' 与 '去年案例 63000元' 不混算
[OK] 报告包含 n=152 / 139 / 13 / 13条 / 11帖 / 缺失率 / 500 / 700 / 63,000 / 80 等关键数字
[OK] raw/std/itm: 匿名化残留扫描通过(手机/微信/QQ/邮箱)
```

## 八-附-1、小红书补采 v4（2026-08-14）

- 脚本：`research_raw/xhs_collect_v4.py`（登录 profile、跳过已采 id、标题打分优先清单/决算/水电/拆除、验证码即停、上限 32 篇）
- 二次解析：`research_raw/xhs_parse_v2.py`（找回被 `#` 截断的正文、抽出评论、标注业主/广告/工长）
- 公开页：`research_raw/fetch_public_prices.py` → `research_raw/public_supplements/`（9/9 成功）
- 限制同前：不绕过访问控制；Cookie 仅本机 profile；交付物已脱敏。

## 八-附-2、小红书补采 v5 与三次解析（2026-09-15/16）

- 脚本：`research_raw/xhs_collect_v5.py`（关键词补齐小户型/大户型/分区/主材分项/2025 时点共 23 组，上限 24 篇，节奏同 v4；新增捕获校验，见下）
- 采集窗口：2026-09-15 23:43 ~ 2026-09-16 00:39，实际新增 24 篇（`xhs_notes_v5.jsonl`）
- 三次解析：`research_raw/xhs_parse_v3.py`（合并 v3 40 + v4 32 + v5 24，note_id 去重；复用 v2 的正文/评论/金额口径）
  - 修复 1：卡片文本按「倒数第二段」取日期与点赞，兼容「标题自带竖线」（4 段变 5 段）与「缺作者」（3 段）的卡片
  - 修复 2：`N天前 / 昨天 / 前天` 等相对日期按各笔记自己的采集日折算为绝对日期（v5 批 32 条）
- 捕获异常剔除（`research_raw/xhs_capture_failures.json`，共 11 篇 + 误采 1 篇）：
  1. 误采推荐词块 1 篇：`6a2fadf6000000001702a9ef`（页面混入多个作者内容，无法归属）
  2. 详情页未打开、正文实为搜索结果/推荐流列表 9 篇：判据为标题之后连续出现 ≥3 组「日期行 + 点赞行」的卡片签名（v5 7 篇 + v4 2 篇）
  3. 点错卡片、正文属另一篇笔记 2 篇：`🔥110㎡挑战硬装10W…` 抓到「原木奶油风130平硬装11.6万」，`武汉128平半包7w…` 抓到「武汉124平半包5.8w」；判据为记录标题未出现在捕获页（无法归属）
- 结果：清洗后 **n=84**（v3 40 + v4 29 + v5 15，即三批原始 95 篇剔除 11 篇捕获异常）；有正文 71、有评论 64、有金额 53、有面积 57、有区域 20、有方式 52
- 分项并入：`research_raw/append_v5_items.py`（幂等）把 v5 批 14 个来源 / 87 行并入 `wuhan_zhuangxiu_xhs_items.csv`（109 → 196 行），帖内分项之和与帖称总额不一致者两行都保留并在备注注明差额
- 复现顺序：`xhs_collect_v5.py` → `xhs_parse_v3.py` → `append_v5_items.py`；采集脚本已内置同样的捕获校验（列表页 / 标题未出现即跳过），避免 v6 复发
- 独立验证：`research_raw/validate_xhs_deliverables.py`（35 项断言全过）——文件齐全、note_id 唯一、批次分布 40/29/15、CSV 表头/行数/镜像字节一致/UTF-8 带 BOM/LF 换行、12 篇剔除记录不在交付内、日期窗口、分项表 196 行 41 来源与金额口径（成交=单一数值，行情/广告=允许「A-B」区间）、匿名化残留按内容字段扫描并含覆盖度自检、报告/说明口径一致性
- 格式约定：小红书链 CSV = UTF-8 带 BOM + LF（`xhs_parse_v3.py` / `append_v5_items.py` 写）；得意链 CSV = UTF-8 无 BOM + CRLF（`make_csv.ps1` 写）；差异已在验证脚本中断言

## 八-附-3、小红书补采 v6 与四次解析（2026-09-18）

- 脚本：`research_raw/xhs_collect_v6.py`（Linux 版；22 组关键词，上限 24 篇）
  - 三项修复：① 搜索页会间歇性挂死 >90 秒，跳转改 `wait_until="commit"` + 重试
    （原版等 `domcontentloaded`，且登录自检无重试，整脚本会崩在第一句）；
    ② XHS 改版后详情页正文已无「发布于 / N 点赞」，日期与点赞只在列表卡片里
    （`标题 | 作者 | 08-21 | 22`），改为从卡片取并兼容相对时间（`4天前`/`昨天`），
    **日期窗口过滤才真正生效**；③ 点开前先用标题比对历史基线预跳过，省掉重复开页
    （实测一个关键词省 10 张卡、约 7 分钟），另加每关键词 8 次尝试上限
- 采集窗口：2026-09-18 09:02 ~ 09:56。**中途触发详情页滑块验证**（笔记 URL 302 到
  `/404?source=/404/sec_...`，页面提示「当前笔记暂时无法浏览」+「安全验证：拖动箭头完成拼图」），
  脚本检测到后立即整批停止（退出码 3）；当时搜索页仍正常，属详情级软限流。
  **不尝试解验证码**，与「不绕过访问控制」原则一致
- 结果：原始 10 篇 → 有效 **n=9**（另 2 篇剔除：`6612630e` 日期越界 2024-04-07、
  `6a8852fa` 无正文捕获），依据见 `research_raw/xhs_v6_exclusions.json`
- 分项并入：`research_raw/append_v6_items.py`（幂等）把 v6 批 7 个来源 / 63 行并入
  `wuhan_zhuangxiu_xhs_items.csv`（196 → 259 行）
- 四次解析：`research_raw/xhs_parse_v6.py`（合并 v3 40 + v4 29 + v5 15 + v6 9 = 93 篇；
  汇总 `research_raw/xhs_parse_v6_summary.json`）
  - 新增日期窗口守卫：`post_date < 2025-01-01` 的记录不入库并记入 v6 剔除清单
  - 未新增通用「切不出正文即异常」规则的原因：v3/v4 批次有 13 篇同样切不出正文，
    已被历史交付与验证脚本计入（批次分布 40/29/15 有断言），通用规则会静默改变历史口径；
    v6 的无正文捕获改由 `EXCLUDE_IDS` 定点剔除
- 复现顺序：`xhs_collect_v6.py` → `xhs_parse_v6.py` → `append_v6_items.py`
- 独立验证：`research_raw/validate_xhs_deliverables.py`（断言已同步至 v6 口径：
  批次分布 40/29/15/9、分项表 259 行 48 来源、v6 批 7 来源、剔除集合 13 篇）

## 八、已知限制

1. 帖子正文可能含图片表格中的价格（未 OCR，如 20036577 附件图），本数据集仅覆盖文字披露。
2. `summary` 为主贴全文；部分帖子有"回复可见"内容（如隐藏清单），未抓取到。
3. 得意生活部分板块需登录（得意家 app 已停运，20021980），2026 年样本偏少。
4. 价格条目上下文来自主贴与回帖文字，成交价未经合同/发票核验。
5. 缺失率高的字段（面积/户型/风格）依赖发帖人主动披露，无法补全。
6. 小红书批次新增：详情页捕获存在两类失败（列表页未打开详情、点错卡片导致正文属另一篇），已按判据剔除 11 篇并记录在 `xhs_capture_failures.json`；被剔除的篇目若需使用，须重新采集。
7. 小红书清单类笔记常把明细放在图片里（如 62 平半包 3 万、132 平自装），未 OCR，故金额字段只覆盖文字披露。