样本内和样本外测试【回测必看系列！】

样本内和样本外测试

简短的定义：样本内和样本外测试是指将数据分成两组，其中一组用于测试，另一组用于验证。

这篇文章是我们关于曲线拟合文章的延伸。

如果交易者只能选择使用一种稳健性测试方法，大多数人都会毫不犹豫地选择样本内和样本外测试。事实上，这种方法是如此有用，以至于它已经被调整为至少另外两个独立的概念；向前走测试和孵化。在这篇文章中，你将了解什么是样本内和样本外测试，以及为什么它有效。让我们开始吧!

关于回溯测试的一些话

在对一个想法进行回溯测试时，我们喜欢使用大量的市场数据。我们能获得的数据越多，就越能决定我们策略的稳健性。一般来说，我们希望有5-20年的数据可以使用，以确保市场的变化特征在结果中得到体现，并提供一个良好的样本量。

大多数初级交易员所做的是在所有可获得的数据上测试他们的想法，认为大量的数据足以确保他们观察的有效性。那些了解曲线拟合概念的人，会明白这是不正确的。最有可能的是，他们所做的是将一个想法与市场噪音相适应，结果是一旦进行现场交易就会立即失败。

这就是样本内和样本外测试发挥作用的地方，它是发现曲线拟合策略，然后再将资金置于风险之中的一个伟大方法。这一切都非常简单。

1）将所有数据分成两部分。

2）对其中一个数据片断进行所有的测试。

3）一旦完成测试，在另一个数据片上验证你的发现。

用于测试的数据块被称为样本内，用于验证的数据块被称为样本外。因此，"样本内和样本外的测试"。

实际演示

为了更好地理解什么是样本内和样本外测试，我们将用这种方法对一个想法进行回测。我们的回溯测试将在豆粕期货市场上按以下步骤进行。

为样本内和样本外时期设定数据范围。
在样本内数据上测试我们的想法。
调整我们的策略，直到我们觉得完成。
验证我们在样本外的优势。
这就是我们将使用的数据。

符号。@SM

条形大小：每天

数据范围：2009-2019

样本内：2009-2017（8年）

样本外：2017-2019（2年）

1. 为样本内设置数据范围。

在上面的图片中，你可以看到我是如何设置Tradestation的。在这个阶段，2017年和2019年之间的数据必须被排除。否则你以后将无法使用它。

2. 在样本内的数据上测试我们的想法。

现在，当我们已经加载了所有的数据，是时候测试我们的想法了。在这个演示中，我们将研究当RSI2指标越过50时买入，5天后卖出会发生什么。

在插入策略并加载结果后，我们得到了以下的股票曲线。



这看起来还不错，但我们希望有更好的结果，所以我们试着通过运行优化来调整一下，看看什么值最有效。

我们发现，在卖出前多等一会儿会更好，所以我们不是在10天而是5天后卖出。

这开始看起来挺好的。然而，我们希望有更好的表现，所以我们将尝试添加一个过滤器

在尝试了许多不同的指标和设置后，我们发现将RSI2指标应用于信号前一天，并要求它超过15，效果很好。

这看起来好得多!



在这个阶段，我们对性能感到满意，并决定把它留在这里。该策略已经准备好进行样本外的验证。

3. 对样本外数据进行验证。

这就是为什么我们把一些数据保存为样本外的原因。下面你可以看到我们的策略在样本外数据上的表现。



正如你所看到的，它并没有惨遭失败，但在样本外数据中没有创造新的股票高点。如果市场在我们的样本内和样本外期间没有变化，我们所做的唯一事情就是将我们的策略与市场噪音进行曲线拟合。

很明显，这个策略失败了，这可能不是那么有趣的认识。尤其是当你花了几个小时的努力工作来开发它的时候。尽管如此，这也比在现场交易中输钱要好得多

为什么会有这样的效果？

样本外测试的主要前提是，真正的市场行为将在两个数据集中保持一致，而随机的市场噪音则不会。因此，随机市场噪音的优势拟合在样本外测试中不会起作用，而基于真实市场行为的优势则相反。然而，没有一种方法是傻瓜式的，所以适用于样本外测试。一个曲线拟合的优势很可能除了运气之外一无所获。

危险和弊端

即使样本内和样本外测试是一个能够辨别曲线拟合优势和真实优势的伟大工具，它也可能被滥用。许多人最常做的事情，也是应该避免的，就是在没有意识到的情况下将样本外数据转换为样本内数据。

经常发生的情况是，交易者在样本外数据上验证了他们的想法，却发现它已经失败。意识到这一点后，他们回到样本数据，调整他们的策略，并在非样本数据上再次测试。

实际上，他们所做的是将样本外数据转换为样本内数据。样本外数据需要不被看到，才不会失去其价值!

另一个需要牢记的要点是，每个进行多次回测的交易员，很快就会记住市场在某些时候的表现。他在创建策略时将变得有偏见。如果在查看数据之前，用这些知识来拟合优势的样本外部分，那么样本外部分可能会在你没有意识到的情况下失去其验证的价值。

总结

样本外和样本内测试是辨别曲线拟合策略与真实策略的最佳方法之一。然而，在测试时，交易者很容易被诱惑在样本内和样本外数据之间交替使用，这可能是毁灭性的。尽管如此，只要考虑到本文所涉及的危险，样本外测试将是所有形式的策略创建和市场数据测试中的一个宝贵工具。

本帖隐藏的内容需要回复才可以浏览