这篇文章比较technical，来看故事的同学请直接忽视。想了解怎么开发金融交易策略的，可以继续。

　　通常量化交易策略的研究是怎么样展开的呢？一般是准备一些具有预测价值的数据，挖掘潜在的α值，然后基于这些α值训练模型来做预测，之后在训练模型的基础上进行一些多空策略做回测。如果效果不错，就可以用在实际的交易中。

　　在我们的团队中，球友会有越来越多的金融机器学习模型开始不依赖于回测夏普比率、最大回撤以及其它指标了。

　　有经验的同学可能已经知道了：回测过程虽然是量化金融里最基础的工作，但是它并不完美。我们在做回测之前，会先分析背后的机器学习模型及其特征重要性。

　　这篇文章主要就《Advances in Finance Machine Learning》中提到的一些方法和实验展开，来介绍和理解特征重要性在研究交易策略方面的应用。为什么不相信回测了呢？

　　策略算法工程师在做研究时，往往把假设陈述为 “基于特征X和模型Y的策略会得到夏普比率Z”。然而，研究是要形成关于金融变量之间

　　由于经典的回测是在历史数据上进行的，所以我们倾向于解释过去模拟交易的随机模式和

　　（不能解释因果关系）来证明假设。之后，基于这些“发现”，会多次“修正”模型和策略，这就导致了下一个问题。

　　回测容易出现多重假设测试——越是试图基于单一数据的回测来优化策略，就越有可能深陷错误的发现。因此，“过度拟合”的预测模型很容易在回测中表现良好，但我们绝对不能把钱放在这样的模型上。

　　在这篇文章中，会介绍有哪些方法可以在不做回测的情况下评估基于几个数据源的交易策略。这不仅仅是一个机器学习从业者的工具，也是一个很有用的框架，用于检验交易或投资组合管理指标之外的策略或假设。

　　除了与研发相关的优势（作为数学假设的校验），还有几个对金融机构来说很方便的优势。在这些场景中，可以应用特征重要性分析来得到想要的效果。

　　在评估新的数据源、市场和替代数据研究时，正确的特征重要性对于识别哪些数据具有真正的预测价值至关重要。

　　在实时交易中，只选择最重要的特征进行交易，可以作为降低机器学习模型性能下降相关风险的方法之一。

　　跟踪特征重要性在时间上的演变，可以比传统的计量经济学模型更好地解释经济因素的动态，这也有利于风险管理和早期趋势预测。

　　统计学中著名的p值并不是验证特征重要性的完美方法。下面是在研究中可以用到的一些方法：

　　单一特征重要性法（SFI，Single Feature Importance）：适用于任何模型，OOS（out-of-sample，样本外）计算，分别分析每个变量，如果一些特征只有共同出现才能体现其重要性时（如A特征只有在B特征存在的情况下才能表现其重要性），可能会有问题。

　　平均不纯度下降法（MDI，Mean Decrease Impureity）：IS(in-sample，样本内)计算，专门为树型算法(决策树、随机森林)设计，这个算法速度快，具有可解释性。

　　平均准确度下降法（MDA，Mean Decrease Accuracy）：OOS样本外计算，适用于任何模型，最重要的是，它直接比较了将某特征进行无序打乱前后，训练结果的评价指标准确度的下降情况球友会。

　　聚类特征重要性：当两个特征共享信息时，在MDA中打乱数据可能会导致性能降低，因此，采用聚类的方法是有意义的。

　　lanations）：（以一种统一的方法来解释任何机器学习模型的输出。）是一种解释个体预测的方法。SHAP是基于博弈论最优的Shapley值，它在现代机器学习实践中应用非常广泛。

　　最后，我们希望能够有一种方法来检验发现的重要特征的正确性是否“充分”。这个可以借助PCA来实现，PCA是无监督的，因此，不会对标签进行过度拟合。还可以通过计算PCA“特征重要性”（即特征值大小）与其他任何特征重要性方法之间的 相关性（加权Kendalls tau）来实现。

　　对于大部分的特征重要性，我们都需要训练模型并评估其准确性，所以我们需要一种方法来正确测试这种准确性。典型的组合方法是K-Fold交叉验证和时间序列交叉验证。

　　在金融领域，由于各种原因，比如不是IID采样得到的观测值或样本数量不充足等，为了充分利用数据集对模型或算法效果进行测试和评估，需要更严格地分离训练集和测试集。一个简单的K-Fold交叉验证示意图如下所示：

　　首先，为了评估整个流程，我们可以用模拟数据进行二元分类实验，其中一部分特征是预测性的，一部分特征是冗余的（即只是预测性特征的组合），还有一部分特征是完全随机的。特征重要性的目标是告诉我们哪些特征是不重要的，所以我们在模拟交易中只能依靠线;。

　　为了更接近交易场景，可以做一个信噪比很低的数据集：3个信息特征、2个冗余特征和15个随机特征，分别表示为 I、R 和 N。下面就来看不同的特征重要性算法的结果。

　　从视觉上看，除SFI外，其他方法在识别 I 和 R 特征方面都表现良好。另外，PCA特征值和CFI重要性之间的加权Kendalls tau计算出来为0.44，表现出了较高的相关性。

　　下面来看真实的金融时间序列来做的重复实验。数据选取的是2000年到2020年的AAPL。首先，用分数阶微积分使时间序列平稳，提取以下特征数据集。

　　接下来，用三重界限法标签（triple barrier labeling）创建二元分类标签。特征的滚动窗口为14天，预测范围为7天。在这种情况下，特征重要性将如何表现呢？下面是基于2000年到2010年的数据得到的特征重要性，然后，用2010年到2020年的不同特征数据集测试 样本外数据的性能。

　　虽然这些表现并不完美，但至少可以除去大部分的垃圾特征，降低未来的风险。另外，还可以用其他类似的数据集中检验特征重要性，如MSFT（微软）和IBM。下面分别是MDI、MDA和SHAP可视化的结果。

　　然后只在样本外数据上进行Purged K-Fold交叉验证，计算几个指标。由于随机森林算法的核心中使用了Bootstrapping算法，所以不同的运行结果可能会有所不同，可以进行100个实验，将其做平均，计算出F1分数、马修斯相关系数和ROC-AUC等指标。

　　从上面的结果可以看到，平均来说，在样本内精心选择的特征集上训练的模型，在样本外的表现更好。

　　Numerai是一家使用AI技术的金融技术公司，以举办去中心化金融预测挑战赛（类似于kaggle）寻找最佳交易策略闻名。用户获得经过模糊和匿名的金融数据，创建并提交模型，之后将这些模型组合成一个元模型，在真实市场上进行交易。基于这个元模型的贡献及其在真实交易中的表现，用户可以获得相应的报酬，报酬可能是美元或加密货币。

　　Numerai数据的一个问题是我们对数据和标签一无所知：名称标签和分类都被加密了，并且在每个时间段内（不同的年代era）特征都会变化和调整，这里无法应用任何金融知识来获得最大的利益。

　　可以做的是对XGBoost的超参数进行调整，下面来看看特征重要性分析是否能在这方面起到作用。

　　如果年代其实也是混杂的呢？那最好做正常的分组K-Fold交叉验证，年代对应分组。另外，为了加快计算速度，这里使用了线性回归模型，只使用MDA作为训练数据的特征重要性分类器。

　　根据MDA特征重要性，从每一类中选取前75%来保存一致性，并在样本外数据上进行交叉验证实验。这里的直方图代表了验证数据集上的不同年代。所有情况下的ML模型都是简单的线性回归。

　　从上面的图中又可以看到，在更干净的数据集上训练出来的模型，即使不知道每个特征的含义，单纯依靠 MDA的值，也比在完整数据集上训练出来的模型表现更好。

　　我们可以看到，为了形成我们对金融市场的假设或策略并对其进行评估，确实需要机器学习的过程和研究特征重要性。当我们要定义实际的交易和风险管理规则时，回测可以后面再做，但在思考新的变量、新的因子或新的阿尔法来帮助我们战胜市场时，回测在这个阶段并不是一个非常理想的方法和步骤，而特征重要性也许是一个更好的选择。

　　可以看到，机器学习模型的特征重要性可以帮助我们识别出真正的市场驱动因素，以便以后在这些因素上建立盈利的策略。

　　然而，市场中的相关性和依赖性总是不断变化的，因此，在获取特征重要性时，不仅要追踪过去的平均特征重要性，还要追踪它是如何随着时间的推移而变化的。