开拓者期货期权程序化系统交易论坛

标题: 客观的看待历史测试报告 [打印本页]

作者: yuezongqi 时间: 2012-6-7 14:09:05 标题: 客观的看待历史测试报告

第一：要让历史测试数据真实，大部分朋友的历史测试数据都含有太多的水分。
第二：要学会让未来的资金曲线与历史测试的大体相符，差别不是很大，关于此问题属于自己的观点和体会。

作者: liq77 时间: 2012-6-7 14:15:36

赞同第一条，不过“要学会让未来的资金曲线与历史测试的大体相符”这基本上是不可能的事。因为谁也无法预测未来。

作者: liq77 时间: 2012-6-7 14:18:21

个人以为，面对未来不是靠什么去预测的技术问题，而是站在什么样的基石上去迎接的问题。也许有点文不对题，但这方面很乐意与楼主探讨

作者: yuezongqi 时间: 2012-6-7 14:23:52

从概率上面讲，是可以做到大概与历史相符。
比如你有100万的资金。
100万的资金用10个交易系统，只要这10个系统的交易原理都是符合市场逻辑的。
好比这10个系统里面有6个系统在未来一年里面表现不是很佳。但是另外有4个系统表现优于历史。
这10个系统综合起来，跑出来的效果不又和历史大体相符了吗？

作者: yuezongqi 时间: 2012-6-7 14:24:24

乐意跟大家一块探讨。

作者: yuezongqi 时间: 2012-6-7 14:42:26

测试报告中一个重要的参考指标，交易次数，往往被大家所忽视。

作者: yuezongqi 时间: 2012-6-7 14:55:24

100万资金配比情况简要说明

资金配比方式：5%的长线波段模型+15%的中线波段模型+5%小波段模型测试+30%的日内模型

长线波段模型：
平均每年交易频率为10次左右
平均下来一月交易1次
长线波段模型为5% 左右的仓位，具体操作品种如下
Cu 1手

中线波段模型：
平均每年交易频率为40次左右
大概平均6天交易一次，碰到震荡行情则会交易频繁一些，趋势行情下则会长时间不交易。
波段交易模型为15% 左右的仓位，具体操作品种如下
Ru 1手 Ta 4手 RB 3手 L2手 Y2手 M 6手

小波段模型：
平均每年交易频率为70次左右
大概平均4天交易一次，碰到震荡行情则会交易频繁一些，趋势行情下则会长时间不交易。
波段交易模型为5% 左右的仓位，具体操作品种如下
Ta 4手 RB 3手

日内交易模型：
平均每年交易频率为90次左右
大概平均3天交易一次，每天最多交易一次，如果日内行情趋势比较明显则可能会产生一次，如果日内波动较为平缓，则不进行交易。
日内交易模型为30%左右的仓位，具体操作品种如下：
IF日内模型1号交易股指日内1手， IF日内模型2号交易股指日内1手。

5%的长线波段模型+15%的中线波段模型+5%小波段模型测试+30%的日内模型
结果如下：

交易理念：趋势跟踪交易
测试平台：TB （交易开拓者）
测试时间：2008.1.1—2012.5.29
测试交易时间：1596天
手续费设置：Ru 万4 ，铜万4， Rb 万3， Y 20，Ta 20块，L 20，IF 万4，M 20
滑点设置：均设置为2个滑点
测试品种：IF 2手 Cu 1手 Ru 1手 TA 8手 L 2手 RB 6手 Y 2手 M 6手

测试资金曲线如下：
[attach]9280[/attach]
测试月度盈利柱状图：
[attach]9282[/attach]

测试月度盈利点状图：
[attach]9283[/attach]

作者: yuezongqi 时间: 2012-6-7 15:03:08

测试阶段性盈利如下：
2008年 461337 46%
2009年 417575 41%
2010年 1218935 121% （注：股指盈利812223）
2011年 763477 76% (注：股指盈利477200)
2012年 282983 28% （注：股指盈利1350201）

总交易手数：4309（注：此为交易手数，并非交易次数）
总盈利：3158467
盈利比率：35.02%
手续费：450612
总交易月份：53个月
亏损月份：15个月
最大亏损月份：2011.9
最大亏损月份亏损金额：70139
最大盈利月份：2010.5
最大盈利月份亏损金额：328167
最大资金回撤：161727
最大资金回撤比例：16.2%
最大回撤发生时间：2011.4.21

测试结果注明：Rb 合约是从2009.3.27 日开始的，IF合约是从2010.4.16日开始的

作者: yuezongqi 时间: 2012-6-7 15:04:04

前些天做的，欢迎探讨。

作者: 太极宗师 时间: 2012-6-7 15:35:01

股指在2012年赚的数字似乎不对，多了一位数吧

作者: SHLiang 时间: 2012-6-7 15:37:15

4个模型，每个模型几个品种，参数是分别优化，还是统一的参数啊？

作者: 太极宗师 时间: 2012-6-7 15:37:35

请教一下，做商品隔夜的话，你的模型遇到过涨跌停吗？遇到的时候是都在你的持仓方向中还是有相反的？如果相反，如何处理的，继续持仓吗？理论上中小波段操作很可能遇到停板和持仓相反的情况。

作者: z7c9 时间: 2012-6-7 15:58:05

作者: liq77 时间: 2012-6-7 19:29:29

本帖最后由 liq77 于 2012-6-7 19:33 编辑

从资金从资金曲线来看，那是相当的不错。不过测试的结果是怎么得出来的？优化过吗？如何优化呢？
例如RU，四年多来的测试参数有改变吗？

作者: liq77 时间: 2012-6-7 19:39:55

看了你另外一个帖子中的图例，好像所有品种都是用000测试的，为什么不用888试一试呢？结果会很不相同的！而且，严格地说，888是存在的，只是在接缝处有失真，而000是压根不存在的合约。

作者: 太极宗师 时间: 2012-6-7 21:18:14

咋看出来是000？如果是中长周期可能还是指数比较贴近实际吧？ 888在合约切换的时候跳空非常大

作者: liq77 时间: 2012-6-8 06:18:28

本帖最后由 liq77 于 2012-6-8 06:23 编辑

太极宗师发表于 2012-6-7 21:18
咋看出来是000？如果是中长周期可能还是指数比较贴近实际吧？ 888在合约切换的时候跳空非常大 ...

跳空非常大,那是合约切换不合适的原因，合适的话一般不会有太大基差的。TB在这方面应该有所改进，遗憾的是他们对诸如此类的建议一般都是应付一下就不再有回音了。你翻一翻老贴，几年前的建议如今再提，答复还是“以后考虑”。。。这不是抱怨，而是各自追求的目标不同，TB自有TB的道理。。。

作者: 天空之城 时间: 2012-6-8 07:35:36

个人观点，系统本身原理正确，再消除了过度拟合的因素之后，运行比较长的时间，未来资金曲线走势是会符合原来的趋势的。
大多数说测试结果好，实盘结果查的其实是心理控制不过关，没有坚持下来，或是改动了策略和手工干预了。
因为人性是不会变的，人性在周而复始的重演着，肯定了这一点也就肯定了行情不是完全无法预测的。这里所谓的预测是指在比较长时间内单边市和震荡市维持较为固定的比例，这才是系统赚钱的根本原因。
再说，真正好的策略是在随机生成的行情中也能赚钱的。一味否定历史测试的作用观点太片面了些。

作者: liq77 时间: 2012-6-8 08:16:09

不能否定历史测试的作用！但是一定要正确认识历史测试的本质缺陷。
依我看，“测试结果好，实盘结果差”的原因大多数是因为历史测试做得不到位。也就是说，要做到
“系统本身原理正确，再消除了过度拟合的因素”这两点很难。
如何防止（怎样才不算）过度拟合？
请教大家：极少（小于三个）的参数，完全不拟合做不到，那么怎样才算不过度拟合？

作者: liq77 时间: 2012-6-8 08:18:23

本帖最后由 liq77 于 2012-6-8 08:19 编辑

楼主的曲线很完美，如果做到了18楼提出的要求，那么帐户资金将可期望爆发性增长。。。
但要做到（不是泼冷水）恐怕不可能。。。

作者: liq77 时间: 2012-6-8 08:22:21

太极宗师发表于 2012-6-7 21:18
咋看出来是000？如果是中长周期可能还是指数比较贴近实际吧？ 888在合约切换的时候跳空非常大 ...

实际上最近几次合约切换时，基差在5-8个点的机会很多，完全可以避免很大的跳空

作者: yuezongqi 时间: 2012-6-8 09:43:29

太极宗师发表于 2012-6-7 15:35
股指在2012年赚的数字似乎不对，多了一位数吧

确实是多了一位

作者: yuezongqi 时间: 2012-6-8 09:46:11

SHLiang 发表于 2012-6-7 15:37
4个模型，每个模型几个品种，参数是分别优化，还是统一的参数啊？

并非四个模型，比如中线系统里面就有3个模型，虽然总体效果差不多，但是模型之间还是略有差别。
同一个系统中的模型参数基本上一致。

作者: yuezongqi 时间: 2012-6-8 09:48:14

太极宗师发表于 2012-6-7 15:37
请教一下，做商品隔夜的话，你的模型遇到过涨跌停吗？遇到的时候是都在你的持仓方向中还是有相反的？如果相 ...

遇到过涨跌停，但是持仓不是全部相反，有一部分方向是相同，有一部分相反。
方向相反的品种，如果没给信号就继续持仓。

作者: yuezongqi 时间: 2012-6-8 09:54:22

liq77 发表于 2012-6-7 19:39
看了你另外一个帖子中的图例，好像所有品种都是用000测试的，为什么不用888试一试呢？结果会很不相同的！而 ...

参数没变。
用888测试和用000测试效果差别不是很大。

爆发性的增长真是做不到。

动态资金管理方式始终不怎么会。

因为代客理财，所以风险第一。

作者: 天空之城 时间: 2012-6-8 10:29:06

liq77 发表于 2012-6-8 08:16
不能否定历史测试的作用！但是一定要正确认识历史测试的本质缺陷。
依我看，“测试结果好，实盘结果差”的 ...

极少（小于三个）的参数，完全不拟合做不到，那么怎样才算不过度拟合？
这个不可能完全做到，但是肯定是可以选出相对合适的参数的。
我有个方法，咱们可以讨论一下是不是合适：
1.参数优化把每个参数优化值域设在可用区域内。优化结果如果绝大多数结果都是盈利的，而且不盈利的参数组合有明显的特征的话就认为系统本身原理是正确的。
2.去掉极端的和孤岛效应强的参数组。
3.两个参数的话做一张曲面图，三个参数的话以最少的参数划分做多张曲面图，这样方便划分参数区域，在盈利比较好的区域中选择最集中的区域，如果在曲面图上的一个很大的区域的盈利都是相对较好，完整性也比较好，那么在这个区域中选择。
4.在具体的参数选择中我的做法是去掉边缘的参数，在剩下的参数中选最有利于我心理控制的参数。有一些随机的成分吧，这里我觉得只有一大堆参数都能用也是拟合较弱的一个表现吧。
5.做一些外推性检验，不改变参数。一般结果只要不是太差或者亏损都是证明参数算是合理的。

另外：这样选出来的参数往往盈利不是最高的，楼主那样的高增长模型我觉得肯定是有过度拟合的。

作者: yuezongqi 时间: 2012-6-8 10:51:22

依我看，“测试结果好，实盘结果差”的原因大多数是因为历史测试做得不到位。也就是说，要做到
“系统本身原理正确，再消除了过度拟合的因素”这两点很难。
以上观点比较赞同。

关于不过度拟合资金曲线，我的方式是，先找到合理的参数。
然手在相同的周期系统下，针对不同的交易品种，模型参数一致。

作者: liq77 时间: 2012-6-8 14:50:33

谢谢楼上两位！结合26楼和27楼的讨论，减少过度拟合的方法，一个是选取收益相对参数不敏感的模型，再一个是检验同一参数下对多品种的适应性。
以上两点真是不容易做到！

作者: 天崖 时间: 2012-6-8 15:17:22

作者: 受伤的小鱼 时间: 2012-6-8 21:23:49

yuezongqi 发表于 2012-6-7 14:23
从概率上面讲，是可以做到大概与历史相符。
比如你有100万的资金。
100万的资金用10个交易系统，只要这10个 ...

另外四个系统就是要和六个一样不佳的话，你会不会暴，会损失掉你多少？

作者: 受伤的小鱼 时间: 2012-6-8 21:31:09

受伤的小鱼发表于 2012-6-8 21:23
另外四个系统就是要和六个一样不佳的话，你会不会暴，会损失掉你多少？ ...

就这么一句话，市场在一年中就处于小波幅震荡状态中，你的交易理念必定会亏钱，你怕不怕出现这样的情况？

作者: 受伤的小鱼 时间: 2012-6-8 21:35:27

既然你是2008的数据开始测的，你用的应该是888主力合约，000指数合约的结果虽然不会差，但是在回撤上之类个人认为还是有相当不同的，用你的趋势理念看一下2007的TA，看下2012的锌，你不能保证这些个品种就不能象他们的过去那样进行着

作者: liq77 时间: 2012-6-9 07:35:46

yuezongqi 发表于 2012-6-8 09:54
参数没变。
用888测试和用000测试效果差别不是很大。

能把888测试的结果贴出来吗？据我的经验，通常用888测试效果要比000差很多，本人一般是用效果差的测试来做评估的。

作者: yuezongqi 时间: 2012-6-11 10:14:43

只贴报告，不总结了。
有什么问题欢迎共同探讨。
下面都为888合约测试。

作者: yuezongqi 时间: 2012-6-11 10:18:02

[attach]9343[/attach]

[attach]9342[/attach]

[attach]9341[/attach]

[attach]9340[/attach]

[attach]9339[/attach]

作者: yuezongqi 时间: 2012-6-11 10:19:15

[attach]9344[/attach]

作者: lanhai123 时间: 2012-6-11 10:30:54

楼主好生了得！水平够威够力！

作者: Bless_！！！ 时间: 2012-6-11 18:05:07

从胜率和盈亏比看应该是趋势系统，目前实盘怎样，

作者: tsdaquan 时间: 2012-6-11 23:21:45

请教楼主的100万资金分配为“5%的长线波段模型+15%的中线波段模型+5%小波段模型测试+30%的日内模型”的比率是如何得出的？从这个比率看出，总仓位最大为55%，隔夜最大仓位25%，楼主的仓位控制的很好。但日内30%的仓位比率是否还可以高一些，如此可以更充分利用资金，而风险可控。以上拙见仅供参考。

作者: yinmuxun 时间: 2012-7-6 16:10:11

测试报告中一个重要的参考指标

作者: BLUESGUITAR 时间: 2012-7-7 21:46:13

楼主能不能发一下你2008年1月至今，PTA的资金曲线图？

我有个2参数15分钟PTA的模型，在2009年之后感觉很满意，但是就是在2008年大跌之前那一段时间表现非常差

我想看看你们的模型在那段时间的表现

作者: BLUESGUITAR 时间: 2012-7-7 21:56:57

[attach]9681[/attach]

[attach]9679[/attach]

[attach]9680[/attach]

[attach]9682[/attach]

[attach]9683[/attach]

作者: BLUESGUITAR 时间: 2012-7-7 22:00:50

上面模型指令价格开仓没有记录滑点，单边手续费按50元记录

但是这个模型如果把所有的K线都加上去，就发现2008年大跌之前的那段盘面被完杀。。。请问楼主如果类似我这样的系统，还能实盘交易否？

这个模型我做出来有2个月了，平时挂在实盘账户里观察没有进行交易就是有顾虑，请问如何解决这个问题，求教

[attach]9684[/attach]

作者: yuezongqi 时间: 2012-7-9 10:54:06

[attach]9687[/attach]
实盘目前如上
后期可能会不断更新

作者: wolf_dd 时间: 2012-8-2 10:26:05

请问：做历史测试时，选取多长时间或者那个时间段的数据测试会比较好，是不是越多越好？

欢迎光临开拓者期货期权程序化系统交易论坛 (http://bbs.tb18.net/)