贝叶斯推断、因果识别与非结构化数据（Bayesian Inference, Causal Identification, and Alternative Text Data）

本章以冻结的构造结果为起点，保留模板泛化和摘要信任边界；未训练或调用模型。

主线：金融研究中的预测、概率更新与干预决策具有截然不同的数理本质。贝叶斯推断用后验概率刻画小样本与群组间的不确定性；因果识别用潜在结果与 DAG 表达混杂路径，并在明确假设下识别干预效应；替代数据与大语言模型则必须在时点资格（Point-in-Time, PIT）、延迟入库、版本修订与训练语料截止的严格契约下完成特征提炼。任何跨期拟合词表、混淆事后平滑与实时预测、或将 LLM 预训练截止等同于历史 PIT 的行为，都会导致致命的前瞻偏差。
先修：第6章 概率论与第7章 数理统计（条件概率、贝叶斯定理、期望与方差）、第8章 线性回归（最小二乘与正则化）、第12章 基本面量化与 PIT（财报发布与时点可得性）、第22章 研究设计（因果推断与混杂偏误）、第31章 标签净化与禁运与第38章 机器学习管线（严格时间序列验证与特征防泄漏）。
完成后你能：推导 Beta-Binomial 共轭后验及未来两期联合预测协方差；手算已知超参数的正态层级均值部分池化收缩与后验预测方差；构建因果 DAG 并在识别假设下用分层标准化识别 ATE，手算 Simpson 悖论的反转机制并诊断重叠性（Positivity）破坏；建立严谨的盘后业绩电话会时点账本，在时区转换与延迟入库约束下过滤版本资格；在训练窗内独立拟合 TF-IDF 词表，比较文本 Ridge 回归与历史均值基准；手算稠密词嵌入余弦相似度与否定词情感翻转；设计包含提示词版本哈希与训练语料截止审查的大模型离线研究台账。

1. 本章目标

1. 掌握贝叶斯共轭更新与预测分布：从先验与似然出发，完整推导 Beta-Binomial 的后验参数 $(\alpha_{\mathrm{post}}, \beta_{\mathrm{post}})$；推导未来单期预测均值 $E[\tilde{y} \mid y]$ 与未来两期联合预测概率 $E[\tilde{y}_1 \tilde{y}_2 \mid y] = E[p^2 \mid y]$；证明两次未来的伯努利试验给定参数 $p$ 是条件独立的，但在边际后验预测分布下是相关的，其协方差严格等于后验方差 $\operatorname{Var}(p \mid y)$。
2. 理解层级模型与部分池化（Partial Pooling）的收缩机制：以 Gelman et al. (BDA3) 第 5.4 节为基准，在已知超参数 $(\mu, \tau^2, \sigma^2)$ 条件下，推导各连续收益率资产组后验均值的精度加权收缩权重 $w_j = \frac{n_j / \sigma^2}{1/\tau^2 + n_j / \sigma^2}$；手算小样本组 ($n=4$) 与大样本组 ($n=36$) 向全市场先验均值 $\mu=0.0$ 的收缩差异，并推导包含群组不确定性与新观测噪声的后验预测方差 $\operatorname{Var}_{\mathrm{pred}, j} = V_j + \sigma^2$。明确本章限定在已知超参数的教学范围，不夸大为估计未知超参数的经验贝叶斯。
3. 建立因果图（DAG）与潜在结果框架（Potential Outcomes）：区分统计关联 $P(Y \mid T=t)$ 与因果干预 $P(Y \mid \operatorname{do}(T=t))$；逐项列出识别因果平均处理效应（ATE）的四大假设：一致性（Consistency）、条件可交换性（Conditional Exchangeability）、正值性/重叠（Positivity / Overlap）以及稳定个体处理值假设（SUTVA，包含无个体间干扰与无隐藏处理版本）；手算 Simpson 悖论案例，说明二值成功率的未调整粗差 ($+0.38$，即 $+38$ 个百分点) 如何通过分层标准化得到负向观测差，并在识别假设下解释为ATE ($-0.10$，即 $-10$ 个百分点)；强调不能脱离识别假设将调整后关联等同于无条件真实因果；编写对撞物（Collider）偏误的可运行反例并推导负协方差 $-1/9$。
4. 规范非结构化替代数据的时点契约（PIT Contract）：建立包含 event_time、available_at、ingested_at、revision_time、signal_time、trade_time 与 label_available_at 的多时区规范账本；以美股盘后 16:05 财报电话会为例，施加 20 分钟供应商延迟与 5 分钟内部入库延迟，推演夏令时（EST/EDT）与 UTC 转换规则；编写对晚于信号时间的修订版本（Amendments）与延迟入库记录的剔除逻辑；明确区分公开可访问性与商业抓取/训练/再分发授权许可边界。
5. 构建防泄漏文本预测管线与基准对齐：使用4固定模板循环形成的120条构造业绩电话会事件（带有 CONSTRUCTED_CALL_ 前缀，明确教学构造），严格执行训练集（59 篇）、验证集（29 篇）与测试集（30 篇）时序划分（训练与验证标签成熟时点严格在后续块首个信号时点之前成熟，<）；在训练窗内独立拟合词表与 IDF，冻结后投影至验证集与测试集；处理测试窗外（OOV）词汇时确保训练特征不变异；在统一的测试集上比较全局均值基准与 TF-IDF + Ridge 回归；保留低信噪比下的真实负结果（测试集 MSE $2.3603 \times 10^{-4}$ vs 均值基准 $2.3274 \times 10^{-4}$，相对 $R^2 = -0.0141$；时序汇总 Spearman 秩相关系数 $+0.0763$；明确每日仅单一资产因而截面 IC 未定义，均值常数基准秩相关未定义）；本章为 prediction-only，提供对接下游真实投资组合账本与费用测算的接口规约，不虚构轮换资产的成交换手。
6. 理解词嵌入与否定词情感分析的底层几何：给出 TF-IDF 正式数学定义及 2 篇教学文档完整逐步手算；通过 $6 \times 3$ 手算稠密嵌入矩阵解释词向量空间夹角与平均池化（Mean Pooling）；通过词袋模型（说明词袋表示不假设词语统计独立）在否定词（"not", "no"）修饰下的误判，揭示一元词频特征的局限性与 n-gram / 规则增强的必要性。
7. 建立严密的大语言模型（LLM）离线研究台账：建立离线提示词模板、版本控制与包含完整实际输入文本的 SHA-256 哈希校验机制；模型明确标记为未调用（not_run / unknown），预训练截止日仅作为假设反例；深入剖析大模型预训练语料截止时间为何不能等同于可核查的历史 PIT 资格；阐明零温与种子不能消除硬件及底层非确定性漂移；分析量化研究中的幻觉、不可复现性与事实性核验方法。

所有运行目录须为尚不存在的新路径；示例再次执行时更换 trial 编号。

完成条件：第 15–17 节练习可独立推导手算或运行；code/ch43_bayesian_text.py 在独立输出目录下执行成功并生成完整图表与摘要。

2. 为什么 Quant 需要它

以下公司与电话会场景均为构造教学情境，不是已取得的市场事实。先验错误、样本依赖和因果假设不成立仍可能使结论失效。

量化研究员经常面临三类典型的认知陷阱与建模失败：

第一类陷阱是小样本下的点估计幻觉。在低频宏观对冲或特定事件驱动（如违约事件、CEO 离职、重大并购）策略中，历史样本量极小（可能仅有十几次甚至几次观测）。频率学派的点估计（如样本均值）会剧烈波动；若某行业仅有 4 家公司披露了业绩预喜且全部上涨，样本频率点估计为100%，但这不表示频率学派推断断言总体胜率必为100%；小样本区间仍表达不确定性。贝叶斯方法提供了一套公理化的不确定性更新框架，通过引入合理的先验分布，将极端小样本估计拉向全市场先验均值（收缩效应），并输出完整的后验分布与后验预测方差。收缩有助于降低小样本估计的敏感性，但不能保证优化器配置稳定；错误先验也会引入偏差。

第二类陷阱是把混杂关联当成干预效果。本章构造的补充电话会案例中，处理组总体达标率比对照组高38个百分点；高关注度公司在处理组占比更高，且基础达标率更高。按关注度分层后，两层内的观测差都为−10个百分点。这个方向反转说明总体关联受分组权重影响；把标准化差解释为ATE仍须后文的识别假设，不能从这张表推断管理层行为的真实机制或实际交易盈亏。

第三类陷阱是非结构化数据与大模型应用中的前瞻泄漏（Look-ahead Leakage）。随着另类数据（新闻、研报、电话会、社交媒体）与大语言模型的普及，文本数据已成为前沿量化的兵家必争之地。然而，文本数据的时点结构极其脆弱：

1. 入库延迟：新闻发布于盘后 16:05，供应商分发需 20 分钟，公司内部入库需 5 分钟。在 16:30 之前，本地量化研究数据库根本不可用该文本，若策略信号在 16:15 生成并假想在盘后撮合，则直接构成了实盘不可行的时间穿越；
2. 事后修订：财务电话会速记稿常常在次日被发行人更正或补充，若直接拿最新的修订版本回测历史信号，便泄漏了未来更正信息；
3. 预训练语料污染：大语言模型的预训练语料爬取自互联网，假设模型训练截止至 2023 年底，那么训练语料可能包含 2022 年事件发生后的报道。仅凭截止声明不能证明用于 2022 年历史信号的输出没有未来知识；是否实际受污染仍需专门实验。

本章在数理上打通贝叶斯推断与因果识别，在工程上落地严密的 Point-in-Time 文本处理链条，为量化研究建立起不可逾越的时间与因果护城河。

3. 直觉

为了建立清晰的物理图像，我们从三个金融与统计案例出发：

3.1 贝叶斯共轭更新与资产收益率层级收缩

• 共轭更新直觉：设某量化策略的交易胜率为 $p \in [0, 1]$。在实盘之前，你基于全市场同类策略的先验认知设定 $p \sim \operatorname{Beta}(2, 2)$（期望胜率 0.5）。若10次构造交易中8次盈利，极大似然点估计为80%，但这个点估计不表达小样本不确定性。本例所设先验下，贝叶斯更新给出后验均值 $\approx 71.4\%$，自适应地在先验常识与微弱样本之间取得平衡。
• 连续资产收益率的部分池化（Partial Pooling）：考虑跨行业或风格群组的连续超额收益率估计。设全市场长期无条件超额收益先验中枢为 $\mu = 0.0$，组间离散度为 $\tau = 0.02$，单笔交易观测噪声为 $\sigma = 0.04$。
  • 组 1 为新上市科技股，历史样本极小（$n_1 = 4$），样本均值为 $\bar{y}_1 = +0.03$（$+3\%$）。由于样本量极低，模型赋予其 $50\%$ 的收缩权重，后验均值被强烈拉回至 $+0.015$；
  • 组 2 为成熟大盘蓝筹，历史样本充分（$n_2 = 36$），样本均值为 $\bar{y}_2 = +0.01$（$+1\%$）。由于证据扎实，模型赋予其 $90\%$ 的样本权重，后验均值为 $+0.009$。 部分池化机制自动完成了“对缺乏证据的群组克制信任、对证据确凿的群组尊重数据”的收缩折衷。

3.2 辛普森悖论与分析师关注度混杂

本例构造200家公司记录，处理是“盘后补充电话会（发布补充指引，$T=1$）”，结果是次日开盘超额收益是否达标（$Y \in \{0,1\}$）。观察表中，处理组达标率64%，对照组26%，未调整差为38个百分点；这只是关联。 按分析师关注度 $Z$ 分层：高关注度层中处理组90家、达标63家，对照组10家、达标8家，组内差为$0.70-0.80=-0.10$；低关注度层中处理组10家、达标1家，对照组90家、达标18家，组内差同样为$0.10-0.20=-0.10$。 处理组90%来自高关注度层，而对照组90%来自低关注度层，因此总体关联与组内差方向相反。使用目标总体各层50%的权重，标准化差为$-0.10$。只有在一致性、条件可交换性、正值性及所列SUTVA等识别假设下，才可把它解释为目标总体ATE；四格表本身不能验证这些假设，也不提供实际市场干预证据。

3.3 电话会文本的时间旅行

某上市公司于盘后 16:05 结束了电话会。你在历史数据库里检索到该电话会的文本，并用它计算次日 09:30 开盘买入的信号。看似时间是顺流而下的，但数据库里的这篇文本很可能是次日上午 10:00 经过公司法律与投资者关系部门二次校对后的修订版（更正了口误数据）。如果在 09:00 就使用这篇文本计算情感得分，你的算法实际上搭乘了“时间机器”。必须在信号时点冻结历史入库账本，严格拒绝未来版本。

4. 数学基础

本章统一遵循课程标准符号表（notation.md），先修符号、维度与时间契约如下：

5. 正式定义

5.1 贝叶斯共轭更新（Conjugate Bayesian Updating）

参数 $\theta$ 的先验（prior）$p(\theta)$ 表示观察数据前的概率分布；似然（likelihood）$p(y\mid\theta)$ 是固定数据 $y$ 后关于参数的函数，通常不是参数上的归一化密度。贝叶斯定理将二者组合为后验（posterior）：

分母是边际似然（marginal likelihood），保证后验积分为 1；离散参数时将积分换为求和。它不是把数据概率与参数概率混为一谈。

在贝叶斯统计中，若先验分布 $p(\theta)$ 与后验分布 $p(\theta \mid y)$ 属于同一概率分布族，则称该先验分布为似然函数 $p(y \mid \theta)$ 的共轭先验（Conjugate Prior）。对于二项似然 $y \sim \operatorname{Binomial}(n, p)$，其共轭先验是 Beta 分布 $\operatorname{Beta}(\alpha, \beta)$。后验分布同样为 Beta 分布：

5.2 后验预测分布（Posterior Predictive Distribution）

后验预测分布是在观测到已有数据 $y$ 后，对未来新观测 $\tilde{y}$ 的边际概率分布。它通过对模型参数 $\theta$ 的后验不确定性进行积分而得到：

核心命题：对于未来两次共享同一未知参数 $p$ 的伯努利试验 $(\tilde{y}_1, \tilde{y}_2)$，在给定参数 $p$ 的条件下，它们是条件独立的：$P(\tilde{y}_1=1, \tilde{y}_2=1 \mid p) = p^2$。但对 $p$ 积分消除后，它们在边际后验预测分布下是相关的：

当后验浓度有限且两个 Beta 参数均为正时，协方差精确等于 $\operatorname{Var}(p \mid y)>0$。这来自共享参数的不确定性，不表示一次未来结果物理上导致另一次结果。

5.3 正态层级模型与部分池化（Normal Hierarchical Model & Partial Pooling）

以下闭式解假设：给定已知超参数时各组先验独立；给定各自 $\theta_j$ 时，组内观测条件独立、同方差且为所述正态分布。新观测噪声独立于 $\theta_j$ 和旧观测。若组内有时间相关或异方差，不能直接沿用 $\sigma^2/n_j$ 和本节固定精度权重。

考虑 $J$ 个资产或分析师组，组 $j$ 的参数 $\theta_j$ 来自公共先验 $\theta_j \sim \mathcal{N}(\mu, \tau^2)$，组内样本观测满足 $y_{j, i} \sim \mathcal{N}(\theta_j, \sigma^2)$。样本均值 $\bar{y}_j$ 的抽样方差为 $\sigma_j^2 = \sigma^2 / n_j$。

在已知超参数 $(\mu, \tau^2, \sigma^2)$ 条件下，组均值 $\theta_j$ 的后验均值满足部分池化闭式解（Gelman et al. BDA3 式 5.17）：

后验精度是先验精度与样本精度之和：$1/V_j = 1/\tau^2 + n_j/\sigma^2$。对该组未来新观测 $\tilde{y}_j$ 的后验预测方差为 $\operatorname{Var}_{\mathrm{pred}, j} = V_j + \sigma^2$。

5.4 潜在结果（Potential Outcomes）与平均处理效应（ATE）

设二值处理变量 $T \in \{0, 1\}$。对每个个体，定义一对潜在结果：

• $Y(1)$：该个体接受处理（$T=1$）时的潜在结果；
• $Y(0)$：该个体未接受处理（$T=0$）时的潜在结果。
  因果推断的根本难题在于，现实中每个个体只能观察到其中一个潜在结果：$Y = T \cdot Y(1) + (1-T) \cdot Y(0)$。

目标人群的平均处理效应（Average Treatment Effect, ATE）定义为：

5.5 因果识别的四大假设（Causal Identification Assumptions）

依据 Hernán & Robins (2020)，要将观测数据中的统计对比转化为因果 ATE，必须满足以下四大基础假设：

1. 一致性（Consistency）：若个体实际接受处理 $T=t$，则其观察到的结果 $Y$ 等于潜在结果 $Y(t)$，即 $Y = Y(T)$。

2. 条件可交换性（Conditional Exchangeability / No Unmeasured Confounding）：在充分控制混杂协变量 $Z$ 的条件下，潜在结果分布与实际处理分配条件独立：$(Y(0), Y(1)) \perp T \mid Z$。在 DAG 中，这意味着控制 $Z$ 能够完全阻断所有连接 $T$ 与 $Y$ 的后门路径（Backdoor Paths）。

3. 正值性 / 重叠（Positivity / Overlap）：在目标总体的每一个混杂分层 $z$（即 $P(Z=z) > 0$）内，接受处理和对照的概率均严格大于零：

   $$0 < P(T=1 \mid Z=z) < 1$$

   正值性是指所有分层均有正概率接受任一处理，绝非变量服从正态分布。若某层全部接受处理或全部未接受处理，该层的对照潜在结果无法从数据中识别，算法必须显式报错拒绝，绝不可静默填充！

4. 稳定个体处理值假设（Stable Unit Treatment Value Assumption, SUTVA）：包含两个紧密关联的核心维度：

   • 无个体间干扰（No Interference）：某个体的处理状态不会影响其他个体的潜在结果（例如一只股票召开电话会并被纳入策略买入，不会直接改变未开会股票在平行世界下的潜在超额收益）；
   • 无处理版本变异 / 无隐藏版本（Treatment Variation Irrelevance / No Hidden Versions of Treatment）：对于声明的处理水平 $T=t$，不存在未被观测到的异质处理版本导致潜在结果产生差异（例如不论由 CEO 还是 CFO 召开、不论语速快慢，处理定义 $T=1$ 在因果机制上是同质等价的）。

5.6 分层标准化（Standardization）

在条件可交换性、正值性、一致性与 SUTVA 同时满足时，目标总体因果 ATE 可通过在目标人群边际分布 $P(Z)$ 上对各层条件效应进行标准化加权计算：

必须强调：分层标准化计算得到的数值对比，仅在上述四大识别假设完全成立时才能被解释为目标总体因果平均处理效应（Causal ATE）；若存在未观测混杂（Unmeasured Confounder）、违反 SUTVA 或发生样本选择偏误，调整后的统计关联仍然只是特定控制下的条件关联，绝不能直接无条件宣称为真实因果。

5.7 时点可得性（Point-in-Time, PIT）与延迟契约

输入必须具有非缺失、带时区的完整事件、修订、可用、入库、信号、成交和标签时间。教学选择器要求每个 source_id 只有一个决策截止，版本编号为递增正整数；重复版本、矛盾时间和缺失正文会报错，晚入库版本被过滤。许可字段只保存来源说明，不由程序自动认定法律授权。直接训练入口也执行这些检查。

替代数据必须记录每个版本的完整生命周期时间戳：

• 资格判定（在上述有效输入与版本语义前提下）：当且仅当 $\max(\operatorname{available\_at}, \operatorname{ingested\_at}) \le \operatorname{signal\_time}$ 时，该版本在决策时刻具备可用资格。
• 版本更替：若同一事件发布了多个修订版，决策时点只能使用在信号截止前最新已入库的合规版本，禁止事后向前覆盖。

5.8 词袋模型（Bag-of-Words, BoW）与 TF-IDF 特征表示

• 词袋模型将一段文本视作词汇出现频数的无序多重集（Multiset），忽略词序、语法与句法依存。
• 重要概念澄清：词袋特征表示法本身并不假设词语在统计上相互独立（将各个特征的条件分布视为相互独立的假设属于朴素贝叶斯分类器 Naive Bayes 等特定模型，而非 BoW 向量表示本身）。词袋表示的根本局限在于丢弃了顺序信息，无法原生捕捉修饰词、短语组合与否定词极性翻转。
• 词频-逆文档频率（TF-IDF）通过对常见虚词降权、对领域特异性信息词赋权，构建反映词项重要程度的连续稠密/稀疏向量。

5.9 离线大语言模型审查台账与不可复现性防御

在量化研究中规范使用大语言模型（LLM）时，必须构建具备离线审计能力的哈希摘要校验台账：

• 完整提示词（Prompt Template + 实际输入文本）进行 SHA-256 密码学哈希（摘要）；
• 密码学哈希只校验摘要一致性，需要独立可信的预期摘要基准；不是加密，也不是不可变时间戳存证。若输入和记录内摘要一起改变，本地重算仍可一致。独立保存的可信摘要能用于对照，但本教学代码不提供该基准的可信保管机制。
• 模型调用状态显式记录为未调用（model_status: not_run），模型标识记录为 not_run / unknown，训练语料截断日仅能作为反例检验假设；
• 明确记录复现性局限：设置 temperature=0 和固定种子并不能保证跨硬件架构、跨推理引擎版本的比特级复现；模型底层更新或浮点计算漂移会显著影响文本特征输出。

本章所有因果数表均为构造关联数据。生成器不观测潜在结果，无法检验无未测混杂等识别假设；标准化差只有在假设成立时才可解释为 ATE。

6. 推导

6.1 Beta-Binomial 共轭后验与预测协方差推导

步骤 1：先验密度与似然函数。
设参数 $p \in [0, 1]$ 服从 Beta 先验：

在给定共享 $p$ 条件下，$n$ 次条件独立同分布伯努利试验中观察到 $y$ 次成功，其二项似然函数为：

步骤 2：后验密度计算。
根据贝叶斯定理，后验密度与先验和似然的乘积成正比：

对比 Beta 分布的核，直接识别出后验分布为：

步骤 3：后验均值与方差。
由 Beta 分布的一阶和二阶矩性质：

步骤 4：后验预测概率与协方差。
对单次未来试验 $\tilde{y} \in \{0, 1\}$：

对未来两次试验 $(\tilde{y}_1, \tilde{y}_2)$：

利用方差恒等式 $E[p^2 \mid y] = \operatorname{Var}(p \mid y) + (E[p \mid y])^2$，代入 Beta 分布二阶原始矩公式：

两期联合成功的协方差为：

证毕。在上述有限正参数条件下，两次试验给定 $p$ 条件独立，但积分后正相关。若随后观察到第一期成功，会进一步更新 $p$ 的后验，提高对第二期成功的条件预测；这是信息更新，不是两次结果之间的因果作用。本例相关系数为 $1/(10+4+1)=1/15$。

6.2 正态层级均值收缩（Partial Pooling）推导

前提假设：沿用§5.3的组先验独立与给定组均值后条件独立同方差假设；超参数 $\mu, \tau^2, \sigma^2$ 已知。组 $j$ 的均值潜变量 $\theta_j \sim \mathcal{N}(\mu, \tau^2)$，组内样本 $y_{j, 1}, \dots, y_{j, n_j} \sim \mathcal{N}(\theta_j, \sigma^2)$。样本均值 $\bar{y}_j = \frac{1}{n_j}\sum_{i=1}^{n_j} y_{j, i}$ 满足 $\bar{y}_j \mid \theta_j \sim \mathcal{N}(\theta_j, \sigma^2 / n_j)$。

步骤 1：共轭更新精度合成。
组样本均值的抽样精度为 $n_j / \sigma^2$，先验精度为 $1 / \tau^2$。
由正态分布的共轭性质，对数后验密度为二次型：

展开二次项系数：

直接识别后验精度 $1/V_j$ 与后验方差 $V_j$：

步骤 2：后验均值加权分解。
线性项系数除以二次项系数，得到后验均值 $\hat{\theta}_j$：

定义收缩权重 $w_j$：

则后验均值表示为先验均值与样本均值的凸组合：

步骤 3：后验预测方差。
对该组未来的新观测 $\tilde{y}_j = \theta_j + \tilde{\epsilon}$，其中 $\tilde{\epsilon} \sim \mathcal{N}(0, \sigma^2)$ 独立于 $\theta_j$ 及旧观测：

证毕。

6.3 辛普森反转与因果标准化推导

设二值混杂变量 $Z \in \{1, 2\}$，二值处理 $T \in \{0, 1\}$，二值结果 $Y \in \{0, 1\}$。

步骤 1：未调整关联差异。
根据全概率公式，未调整条件期望为：

因此，未调整差为：

注意：$P(Z=z \mid T=1) \ne P(Z=z \mid T=0)$，权重的剧烈失衡会引发辛普森反转。

步骤 2：因果标准化的识别推导。
由一致性与条件可交换性 $(Y(t) \perp T \mid Z)$：

在目标人群 $P(Z)$ 上取边际期望：

在上述识别假设与目标总体正值性下，相减得到因果平均处理效应：

此式中，两项在每一层使用的权重均为相同的目标总体边际分布 $P(Z=z)$，在所列识别假设下消除了此DAG中由 $Z$ 引起的混杂偏差。

6.4 TF-IDF 形式化数学与双文档逐步手算

步骤 1：形式化数学定义。
设语料库包含 $|D|$ 篇文档，词表大小为 $M$。

1. 词频（Term Frequency, TF）：文档 $d$ 中词项 $t$ 的出现次数记为 $f_{t, d}$。在标准词频中取原始词频 $\mathrm{tf}(t, d) = f_{t, d}$。

2. 平滑逆文档频率（Smooth Inverse Document Frequency, IDF）：为防止零除及对仅出现一次的罕见词过分赋权，采用 scikit-learn 标准平滑对数公式：

   $$\mathrm{idf}(t, D) = \ln\left(\frac{1 + |D|}{1 + \mathrm{df}(t)}\right) + 1$$

   其中 $\mathrm{df}(t)$ 为语料库中包含词项 $t$ 的文档总数。

3. 加权向量与 L2 归一化：

   $$x(t, d) = \mathrm{tf}(t, d) \times \mathrm{idf}(t, D)$$

   为了减弱文档长度尺度差异，当 $\|\mathbf x(d)\|_2>0$ 时进行 L2 单位化：

   $$\mathbf{v}(d) = \frac{\mathbf{x}(d)}{\|\mathbf{x}(d)\|_2} = \frac{\mathbf{x}(d)}{\sqrt{\sum_{t=1}^M x(t, d)^2}}$$

若文档为空或全部词项为 OOV，本实现保留零向量，不做除零；零向量与其他向量的余弦相似度未定义。

步骤 2：两篇教学文档手算实例。
设训练语料仅包含两篇微型文档：

• 文档 1: $d_1 = \text{"growth profit"}$
• 文档 2: $d_2 = \text{"growth loss"}$
  语料库文档数 $|D| = 2$。

1. 提取词表与词频： 按字母表排序的词表为：["growth", "loss", "profit"] ($M=3$)。

   • $d_1$ 词频向量：$\mathrm{tf}_1 = [1, 0, 1]$
   • $d_2$ 词频向量：$\mathrm{tf}_2 = [1, 1, 0]$

2. 计算文档频数 $\mathrm{df}$ 与平滑 $\mathrm{idf}$：

   • 词项 "growth" 出现在 $d_1$ 和 $d_2$ 中，$\mathrm{df}=2$：

     $$\mathrm{idf}(\text{"growth"}) = \ln\left(\frac{1+2}{1+2}\right) + 1 = \ln(1) + 1 = 0.0 + 1.0 = 1.000000$$

   • 词项 "loss" 仅出现在 $d_2$ 中，$\mathrm{df}=1$：

     $$\mathrm{idf}(\text{"loss"}) = \ln\left(\frac{1+2}{1+1}\right) + 1 = \ln(1.5) + 1 \approx 0.405465 + 1.0 = 1.405465$$

   • 词项 "profit" 仅出现在 $d_1$ 中，$\mathrm{df}=1$：

     $$\mathrm{idf}(\text{"profit"}) = \ln\left(\frac{1+2}{1+1}\right) + 1 = \ln(1.5) + 1 \approx 0.405465 + 1.0 = 1.405465$$

3. 计算未归一化特征向量 $\mathbf{x} = \mathrm{tf} \times \mathrm{idf}$：

   • $\mathbf{x}_1 = [1 \times 1.0, 0 \times 1.405465, 1 \times 1.405465] = [1.0, 0.0, 1.405465]$

   • 模长 $\|\mathbf{x}_1\|_2 = \sqrt{1.0^2 + 0^2 + 1.405465^2} = \sqrt{1.0 + 1.975332} = \sqrt{2.975332} \approx 1.724915$

   • 归一化向量 $\mathbf{v}_1$：

     $$\mathbf{v}_1 = \left[ \frac{1.0}{1.724915}, 0.0, \frac{1.405465}{1.724915} \right] \approx [0.579739, 0.000000, 0.814802]$$

   • $\mathbf{x}_2 = [1 \times 1.0, 1 \times 1.405465, 0 \times 1.405465] = [1.0, 1.405465, 0.0]$

   • 模长 $\|\mathbf{x}_2\|_2 \approx 1.724915$

   • 归一化向量 $\mathbf{v}_2$：

     $$\mathbf{v}_2 = \left[ \frac{1.0}{1.724915}, \frac{1.405465}{1.724915}, 0.0 \right] \approx [0.579739, 0.814802, 0.000000]$$

4. 计算两文档余弦相似度：

   $$\cos(\mathbf{v}_1, \mathbf{v}_2) = \mathbf{v}_1 \cdot \mathbf{v}_2 = 0.579739^2 + 0.0 \times 0.814802 + 0.814802 \times 0.0 = 0.579739^2 \approx 0.336097$$

   该近似数值表明，两篇文档虽然共享高频词 "growth"，但由于特征词 "profit" 与 "loss" 的 IDF 赋权更高且相互正交，归一化后的余弦相似度被拉低至约 $0.3361$。

6.5 稠密词嵌入空间几何与均值池化（Mean Pooling）推导

设每个词汇被映射到一个 $K$ 维欧氏空间中的单位向量 $\mathbf{e}(w) \in \mathbb{R}^K, \|\mathbf{e}(w)\|_2 = 1$。

1. 短语/句子均值池化（Mean Pooling）： 对于包含 $L$ 个词项的文本序列 $S = (w_1, w_2, \dots, w_L)$，其未归一化稠密句子表征为词向量的简单代数均值：

   $$\mathbf{s} = \frac{1}{L} \sum_{l=1}^L \mathbf{e}(w_l)$$

2. 单位球投影（要求 $L>0$ 且 $\|\mathbf s\|_2>0$）：

   $$\mathbf{u}_S = \frac{\mathbf{s}}{\|\mathbf{s}\|_2}$$

单位词向量也可能相消：$[1,0]$ 与 $[-1,0]$ 的均值是零，不能归一化；空文本也需另定处理。本例非零，通用流程应拒绝或显式保留零向量并将余弦记为未定义。 3. 两段文本语义相似度（两个归一化向量均存在）：

与稀疏高维的 TF-IDF 相比，稠密词嵌入将同义词（如 "growth" 与 "expansion"）映射在临近的超球面区域，从而能够绕过一元词袋的完全正交限制。但在金融场景下，若无特定领域微调，通用嵌入极易将反义词（如 "profit" 与 "loss"）判定为高度相似（因为它们经常出现在相同的语法上下文中）。这也是金融量化必须严格审查嵌入表征质量的核心原因。

7. 金融解释

7.1 贝叶斯收缩如何表达组合输入的不确定性？

在量化资产配置（如 Black-Litterman 模型或多因子收益预测）中，直接使用历史样本均值进行均值-方差优化是著名的“误差放大器”（Error Maximizer）。历史样本均值受短期市场特质冲击扰动巨大。
正态层级模型（Partial Pooling）的金融学实质是：全市场的所有资产共享一个基准的长期风险溢价均值 $\mu$，但在截面上具有异质性 $\tau^2$。对于披露样本极少的小盘股（$n_j=4$），数据包含的信息量低，模型将其估计值强烈收缩至市场中枢（收缩权重 $w_j=0.5$）；对于数据充分的大盘股（$n_j=36$），模型给予自身样本更高信任度（$w_j=0.9$）。后验预测方差 $\operatorname{Var}_{\mathrm{pred}}=V_j+\sigma^2$ 中，小样本增加的是组均值不确定性 $V_j$；两组未来观测噪声 $\sigma^2$ 相同。这里的超参数均已知，各组数据不用于估计共享超参数；这不同于经验贝叶斯或未知超参数的完整层级推断。该教学算例未证明实盘收益或优化稳定性改善。

7.2 混杂与做市商策略中的逆向选择

考虑一种可能的微观结构机制：主动订单流 $T$ 与随后价格变化 $Y$ 的关联，可能同时受到交易者信息、订单规模等 $Z$ 的影响。总体相关不能直接解释为买单的因果价格冲击；知情与非知情交易者的分层关联也须实际数据与识别模型支持。本章未估计各组真实价格冲击，不能据此断言哪一组冲击更小。

7.3 替代数据时间延迟与过拟合虚荣

量化团队在向管理层汇报另类数据回测时，极易展示虚高 Sharpe 的回测曲线。其根源往往是“时间戳造假”：新闻或文本虽然在 16:05 发生，但在实际生产中，数据供应商的解析服务常因网络抖动发生排队，或者内部数据工程 ETL 在盘后存在并发瓶颈。只有严格把关可用与入库时间均不晚于信号，才满足文本可得性的必要条件；成交、标签、样本选择和模型有效性仍需另行验证。

7.4 新闻更新与电话会修订：两个时点场景

构造新闻 CONSTRUCTED_NEWS_001 于 2022-03-14 09:12 EDT 发布，09:13 供应商可得、09:14 本地入库。09:15 信号可以使用 v1；09:16 发布、09:18 入库的 v2 即使更准确，也不能覆盖这个历史信号。换算为 UTC 后为 13:12、13:13、13:14、13:15、13:16、13:18，日期相同；这与 §8 的盘后电话会跨日场景不同。下列独立代码复用完整字段结构，明确只改变构造新闻记录，不将其并入冻结主实验：

import pandas as pd
from quant_course.bayesian_text import (
    generate_constructed_text_dataset,
    filter_pit_eligible_documents,
)
base, _ = generate_constructed_text_dataset()
v1 = base.iloc[[0]].copy()
v1["source_id"] = "CONSTRUCTED_NEWS_001"
times = {
    'event_time': '2022-03-14T13:12:00Z',
    'revision_time': '2022-03-14T13:12:00Z',
    'available_at': '2022-03-14T13:13:00Z',
    'ingested_at': '2022-03-14T13:14:00Z',
    'signal_time': '2022-03-14T13:15:00Z',
    'trade_time': '2022-03-14T13:30:00Z',
    'label_start': '2022-03-14T13:30:00Z',
    'label_end': '2022-03-15T13:30:00Z',
    'label_available_at': '2022-03-15T13:30:00Z',
}
for field, stamp in times.items():
    v1[field] = pd.Timestamp(stamp)
v1["text"] = "constructed preliminary revenue growth report"
v2 = v1.copy()
v2["version_id"] = 2
v2["revision_time"] = pd.Timestamp("2022-03-14T13:16:00Z")
v2["available_at"] = pd.Timestamp("2022-03-14T13:17:00Z")
v2["ingested_at"] = pd.Timestamp("2022-03-14T13:18:00Z")
v2["text"] = "constructed corrected revenue decline report"
selected = filter_pit_eligible_documents(pd.concat([v1, v2], ignore_index=True))
assert selected["version_id"].tolist() == [1]
print(selected[["source_id", "version_id", "text"]])

新闻供应商是否保存原版、电话会文本是否经过事后校对，都要向具体来源核对。时点过滤不能恢复从未存档的旧版本。训练内的 TF-IDF 也不能补救把未来修订当作历史输入的错误。

贝叶斯案例同样需要模型边界：二项更新假设给定 $p$ 条件独立且成功定义一致，不能把有依赖的交易随意当成独立投币。先验敏感性可手算：同样 8/10，Beta(1,1) 的后验均值为 9/12=0.75，Beta(20,20) 为 28/50=0.56；强先验更难被十次观察改变，不一定更准确。

8. Numerical Example

本节继承历史 A8-C 冻结协议 qa/a8/ch42_ch43_batch/EXPERIMENT_PROTOCOL.json 与同目录 EXPERIMENT_ADDENDUM_v1.json 下的构造结果。历史手算/代码核对和补充演示保持原身份；BIL20未重跑。

8.1 Beta-Binomial 手算实例

• 输入：先验 $\alpha = 2, \beta = 2$；观察到 $n = 10$ 次试验，成功 $y = 8$ 次。

• 后验参数：

  $$\alpha_{\mathrm{post}} = 2 + 8 = 10, \quad \beta_{\mathrm{post}} = 2 + 10 - 8 = 4$$

• 后验均值与方差：

  $$E[p \mid y] = \frac{10}{10 + 4} = \frac{10}{14} = \frac{5}{7} \approx 0.714286$$
  $$\operatorname{Var}(p \mid y) = \frac{10 \times 4}{14^2 \times (14 + 1)} = \frac{40}{196 \times 15} = \frac{40}{2940} = \frac{2}{147} \approx 0.013605$$

• 未来预测：

  • 单次试验预测成功概率：$P(\tilde{y} = 1 \mid y) = 10/14 = 5/7 \approx 0.714286$。

  • 两次试验联合成功概率：

    $$E[p^2 \mid y] = \frac{10 \times (10 + 1)}{14 \times (14 + 1)} = \frac{110}{210} = \frac{11}{21} \approx 0.523810$$

  • 后验均值平方：$(E[p \mid y])^2 = (10/14)^2 = 100/196 = 25/49 \approx 0.510204$。

  • 差值核对：

    $$E[p^2 \mid y] - (E[p \mid y])^2 = \frac{11}{21} - \frac{25}{49} = \frac{77 - 75}{147} = \frac{2}{147} \equiv \operatorname{Var}(p \mid y)$$

  两者完全精确吻合。

8.2 正态层级收缩手算实例

本例的收益用小数表示：$0.02=2\%$，$0.03=3\%$。均值与标准差都使用收益小数单位；后验方差 $V_j$ 和预测方差使用该单位的平方。例如组1的 $V_1=0.0002$ 是均值参数的不确定性，开方后为 $0.014142$（约1.4142个百分点的收益尺度）；未来单笔收益另有观测噪声，故预测方差为 $0.0002+0.0016=0.0018$，开方后约为 $0.042426$（4.2426个百分点的收益尺度）。若把收益数值改用百分数表示，均值与标准差乘100，方差须乘 $100^2$；收缩权重不变。本例的超参数仍为已知常数，不在此估计。

• 已知超参数：先验均值 $\mu = 0.0$，先验标准差 $\tau = 0.02$；观测标准差 $\sigma = 0.04$。

• 精度常数：

  $$\tau^{-2} = \frac{1}{0.02^2} = 2500, \quad \sigma^{-2} = \frac{1}{0.04^2} = 625, \quad \frac{\sigma^2}{\tau^2} = \frac{0.0016}{0.0004} = 4$$

• 组 1：$n_1 = 4$, 样本均值 $\bar{y}_1 = 0.03$。

  • 收缩权重：$w_1 = \frac{4}{4 + 4} = 0.5$。
  • 后验均值：$\hat{\theta}_1 = (1 - 0.5) \times 0.0 + 0.5 \times 0.03 = 0.015$。
  • 后验精度：$1/V_1 = 2500 + 4 \times 625 = 5000 \implies V_1 = 1/5000 = 0.0002$。
  • 后验标准差：$\sqrt{0.0002} \approx 0.014142$。
  • 后验预测方差：$\operatorname{Var}_{\mathrm{pred}, 1} = V_1 + \sigma^2 = 0.0002 + 0.0016 = 0.0018$。
  • 预测标准差：$\sqrt{0.0018} \approx 0.042426$。

• 组 2：$n_2 = 36$, 样本均值 $\bar{y}_2 = 0.01$。

  • 收缩权重：$w_2 = \frac{36}{36 + 4} = \frac{36}{40} = 0.9$。
  • 后验均值：$\hat{\theta}_2 = (1 - 0.9) \times 0.0 + 0.9 \times 0.01 = 0.009$。
  • 后验精度：$1/V_2 = 2500 + 36 \times 625 = 2500 + 22500 = 25000 \implies V_2 = 1/25000 = 0.00004$。
  • 后验标准差：$\sqrt{0.00004} \approx 0.006325$。
  • 后验预测方差：$\operatorname{Var}_{\mathrm{pred}, 2} = V_2 + \sigma^2 = 0.00004 + 0.0016 = 0.00164$。
  • 预测标准差：$\sqrt{0.00164} \approx 0.040497$。

8.3 辛普森因果分层手算实例

• 评估指标定义：本案例中的结果变量 $Y \in \{0, 1\}$ 表示次日开盘超额收益达到基准阈值的二值成功事件，其均值 $E[Y]$ 代表无量纲成功概率；两概率之差乘以 100 才是百分点（Percentage Points, pp），绝非平均收益率百分比。

• 列联表数据（总样本 $N=200$）：

  • 高关注度层 $Z=\mathrm{high}$（行业龙头）：
    • 处理组 $T=1$（开会）：$n=90$，成功 $63$ 次 $\implies E[Y \mid T=1, Z=\mathrm{high}] = 63/90 = 0.70$（$70\%$）；
    • 对照组 $T=0$（未开会）：$n=10$，成功 $8$ 次 $\implies E[Y \mid T=0, Z=\mathrm{high}] = 8/10 = 0.80$（$80\%$）；
    • 层内对比：$0.70 - 0.80 = -0.10$（成功率降低 $10$ 个百分点）。
  • 低关注度层 $Z=\mathrm{low}$（微盘尾部）：
    • 处理组 $T=1$（开会）：$n=10$，成功 $1$ 次 $\implies E[Y \mid T=1, Z=\mathrm{low}] = 1/10 = 0.10$（$10\%$）；
    • 对照组 $T=0$（未开会）：$n=90$，成功 $18$ 次 $\implies E[Y \mid T=0, Z=\mathrm{low}] = 18/90 = 0.20$（$20\%$）；
    • 层内对比：$0.10 - 0.20 = -0.10$（成功率降低 $10$ 个百分点）。

• 未调整粗差对比：

  • 处理组总计：$n=100$，总成功 $63 + 1 = 64 \implies E[Y \mid T=1] = 64/100 = 0.64$（$64\%$）；
  • 对照组总计：$n=100$，总成功 $8 + 18 = 26 \implies E[Y \mid T=0] = 26/100 = 0.26$（$26\%$）；
  • 未调整粗差：$0.64 - 0.26 = +0.38$（表面成功率高出 $38$ 个百分点）。

• 标准化观测差；在§5.5识别假设下解释为 ATE（目标总体分布 $P(Z=\mathrm{high})=0.5, P(Z=\mathrm{low})=0.5$）：

  $$\operatorname{ATE} = 0.5 \times (-0.10) + 0.5 \times (-0.10) = -0.10$$

  未调整差为 $+38$ 个百分点，标准化差为 $-10$ 个百分点；只有在本例假定的识别条件成立时，后者才解释为目标总体 ATE。该表展示了权重引起的关联反转，本身不证明处理的真实因果方向。

8.4 TF-IDF 双文档手算对照表

基于第 6.4 节逐步推导，$d_1 = \text{"growth profit"}$, $d_2 = \text{"growth loss"}$ 的词频、平滑逆文档频率与特征向量如下表所示：

• 向量模长：$\|\mathbf{x}_1\|_2 = \|\mathbf{x}_2\|_2 = \sqrt{1.0^2 + 1.405465^2} \approx 1.724915$
• 余弦相似度：$\cos(\mathbf{v}_1, \mathbf{v}_2) = 0.579739^2 + 0 + 0 = 0.336097$

8.5 文本预测模型严格时序划分与构造结果数表

依据历史冻结协议，4个固定文本模板循环形成120条构造事件（不是120条独立新文本）。成熟训练59、验证29、测试30条各含同样4模板；只验证时间块外推，未验证新文本、新模板或新公司语言的泛化。OOV负例仅检查词表/IDF不变，不构成新文本预测能力测试。

120条构造电话会事件（CONSTRUCTED_CALL_000 至 119）执行严格时序划分。训练集标签可得时点必须严格早于验证集首个信号时点（label_available_at < next_signal_time，<）；验证集标签必须严格早于测试集首个信号时点。

• 样本切分规模：
  • 训练集（Train）：合格样本 59 篇（索引 0..58；索引 59 样本标签在 $D_{61}$ 09:30 成熟，晚于验证集首个信号 $D_{61}$ 09:00，严格剪除）；
  • 验证集（Val）：合格样本 29 篇（索引 60..88；索引 89 样本标签在 $D_{91}$ 09:30 成熟，晚于测试集首个信号 $D_{91}$ 09:00，严格剪除）；
  • 测试集（Test）：样本 30 篇（索引 90..119）。
• 训练词表规模：严格在 59 篇训练文本上 fit，提取独有词表 42 词。
• 验证集 Ridge 超参数调优：
  • $\alpha = 0.1 \implies \mathrm{MSE}_{\mathrm{val}} = 0.00021835$
  • $\alpha = 1.0 \implies \mathrm{MSE}_{\mathrm{val}} = 0.00021697$
  • $\alpha = 10.0 \implies \mathrm{MSE}_{\mathrm{val}} = 0.00021133$（最优超参数：$\alpha^* = 10.0$）
• 测试集最终评估对比：

8.6 否定词情感与手算词嵌入实例

人工矩阵每行分别对应 growth、profit、loss、decline、stable、steady，三列只是教学轴（强度、动量、不确定性），不是估计得到的金融因子：

先将每行除以自身范数。例如 growth 的模长为 $\sqrt{1.46}$，profit 为 $\sqrt{1.31}$，两者余弦为：

句子先对其单位词向量取均值，再归一化；本例忽略连接词 and。以下代码给出全部向量与相似度：

from quant_course.bayesian_text import hand_embedding_matrix, negation_sentiment_scorer
vectors, similarities = hand_embedding_matrix()
print(vectors, similarities)
print(negation_sentiment_scorer("earnings performance did not improve showing no growth"))

• 否定词翻转： 句子：“earnings performance did not improve showing no growth despite aggressive restructuring”
  • 固定词典的朴素一元计分（BoW 本身并不指定情感权重）：识别出 "improve" ($+1$) 与 "growth" ($+1$)，得分 $+2$（严重误判为极度乐观！）；
  • 否定词滑动窗口算法："not" 激活 3 词翻转窗口，"improve" 被翻转为 $-1$；"no" 激活翻转窗口，"growth" 被翻转为 $-1$，综合得分 $-2$（符合本构造句的预设负面含义）。此三词窗口规则未保证复杂否定、双重否定、讽刺或一般金融文本的准确性。
• 词嵌入空间余弦相似度（基于 $6 \times 3$ 人工指定、归一化嵌入矩阵（未训练真实语料））：
  • growth 与 profit 的余弦相似度为 $+0.9834$；
  • growth 与 loss 的余弦相似度为 $-0.8595$；
  • 短语 $S_1$ ("growth and profit") 与短语 $S_2$ ("loss and decline") 的均值池化向量余弦相似度为 $-0.8836$。