在回归分析中，平方误差是最常用的；它有一个简单的理论基础，以及有简单的算法可以求解它；此外，我们也可以通过使用多种几何来可视化增进理解。我们在统计决策理论里面已经讨论过回归函数，即 $\mu(x) = \mathbb{E}(Y | X = x)$ ，它最小化的期望误差是平方误差： $\mathbb{E}((Y - \mu(x))^2 | X = x)$ ；而条件中位数最小化的是绝对值误差 $\mathbb{E}(|Y - \mu(x)| | X = x)$ 。

给定 $0 < \tau < 1$ ，如果我们想要对一个条件分位数 $Q^\tau(Y | X = x)$ 进行建模，怎么办呢？条件分位数 $Q^\tau$ 满足 $\mathrm{Pr}(Y \le Q^\tau) = \tau$ ，我们期望找到一个函数 $f: x \mapsto Q^\tau(Y | X=x)$ 。我们看看能不能找到一个损失，使得这个损失的条件期望是条件分位数。

Check function

\rho_\tau (u) = \left\{ \begin{aligned} &\tau |u|, && u \ge 0 \\ &(1 - \tau) |u|, && u \le 0. \end{aligned} \right.

上述的 check function 中， $\rho_\tau(0) = 0$ 。当 $u > 0$ 时，这个函数以斜率 $\tau$ 递增，当 $u < 0$ 时以斜率 $1 - \tau$ 递减。

分位回归

现在假设 $Y$ 有概率密度函数 $f$ ，概率质量函数 $F$ 。

基于莱布尼兹积分定理，我们可以证明函数

\mathbb{E}_Y(\rho_\tau(Y - \theta)) = \int_{-\infty}^\infty \rho_\tau(y - \theta) f(y) dy

在 $\theta = F^{-1}(\tau) = Q^\tau(Y)$ 有最小值。

因此，在分位回归中，我们寻找 $\beta$ ，使得

\mathbb{E}(\rho_\tau(Y_i - Z_i^T \beta)) ~~ \text{for IID data}

有最小值，那么

\hat{\beta} = \hat{\beta}(\tau) = \arg \underset{\beta}{\min} R_\tau(\beta),

其中

R_\tau(\beta) = \sum_{i=1}^n \rho_\tau (y_i - z_i^T \beta).

函数 $R_\tau$ 相比较于均方误差更难优化。它可以基于线性规划来求解。

模型

分位回归中，隐含的模型假设为

Y_i = Z_i^T \beta + \varepsilon_i, ~~~ \varepsilon_i \overset{\mathrm{i.i.d.}}{\sim} V.

其中 $Z_i$ 是一个表示输入变量的向量，且为了方便对偏置建模，在第一个元素的位置插入了 1。 $V$ 则是另一个分布。那么，

Q^\tau (Y | X = x) = Z_i^T \beta + Q^\tau (V).

我们可以看到，改变 $V$ 只影响 $\beta$ 中的偏置项。不管 $V$ 是高斯分布，指数分布甚至是柯西分布，我们都能得到同样的 $\beta$ ，只有偏置项 $\beta_0$ 有所不同。

分位回归（Quantile Regression）

Check function

分位回归

模型