企业资讯,产品资讯_博拉资讯 技术资讯 性能提升30倍丨基于 DolphinDB 的 mytt 指标库实现

性能提升30倍丨基于 DolphinDB 的 mytt 指标库实现

广告位

MyTT 是一个简单易用的 Python 库,它将通达信、同花顺、文华麦语言等指标公式最简化移植到了 Python 中,实现的常见指标包括 MACD、RSI、BOLL、ATR、KDJ、CCI、PSY 等。MyTT 全部基于 numpy 和 pandas 的函数进行封装。

为了方便用户在 DolphinDB 中计算这些技术指标,我们使用 DolphinDB 脚本实现了 MyTT 中包含的指标函数,并封装在 DolphinDB mytt module (mytt.dos)中。 相比于 Python 中的 MyTT 库,DolphinDB mytt module 中的计算函数不仅在批处理中性能有大幅提升,而且支持 DolphinDB 的流式增量计算引擎,可以直接用于实时流计算场景。

因为 DolphinDB mytt module 是基于 DolphinDB V1.30.18 和 DolphinDB V2.00.6 开发的,所以建议用户使用 DolphinDB V1.30.18 和 DolphinDB V2.00.6 及以上版本运行 mytt 指标库中的函数。


1. 函数及参数的命名与用法规范

  • Python MyTT 库中所有函数名大写,所有参数名大写,为适应使用者的使用习惯,DolphinDB mytt module 中的函数名、参数、参数默认值均与 MyTT 保持一致。
  • 为得到有意义的计算结果,mytt 中函数的参数表示时间跨度的参数均要求至少是 2。
  • 由于 LAST 函数与 DolphinDB 中内置关键字冲突,mytt 中将此函数命名为 LAST_。

2. 环境配置

把附件的 mytt.dos 放在节点的 [home]/modules 目录下,[home] 目录由系统配置参数 home 决定,可以通过 getHomeDir() 函数查看。初次使用模块文件时,[home]目录没有 modules 目录,手动创建 modules 目录,然后把 mytt.dos 模块文件放入该目录即可。

DolphinDB 模块使用的教程文档:DolphinDB 教程:模块

3. 使用范例

3.1 脚本中直接使用指标函数

对一个向量直接使用 mytt 模块中的 EMA 函数(指数平滑法)进行计算:

// 如果未设置自动加载 mytt module,新会话需要手动加载一次 mytt module  use mytt    close = 7.2 6.97 7.08 6.74 6.49 5.9 6.26 5.9 5.35 5.63  x = EMA(close, 5)

3.2 在 SQL 语句中分组使用

用户经常需要在数据表中对多组数据在每组内进行计算。在以下例子中,先构造了一个包含 2 个股票的数据表:

use mytt    close = 7.2 6.97 7.08 6.74 6.49 5.9 6.26 5.9 5.35 5.63 3.81 3.935 4.04 3.74 3.7 3.33 3.64 3.31 2.69 2.72  date = (2020.03.02 + 0..4 join 7..11).take(20)  symbol = take(`F,10) join take(`GPRO,10)  t = table(symbol, date, close)

对其中每只股票使用 mytt 模块中的 EMA 函数进行计算:

update t set EMA = EMA(close, 5) context by symbol

3.3 返回多个列的结果

某些函数会返回多个列的结果,例如函数 BIAS(乘离率指标)。

直接使用的例子:

use mytt    close = 7.2 6.97 7.08 6.74 6.49 5.9 6.26 5.9 5.35 5.63  bias1, bias2, bias3 = BIAS(close, L1 = 2, L2 = 4, L3 = 6)

在 SQL 语句中使用的例子:

use mytt    close = 7.2 6.97 7.08 6.74 6.49 5.9 6.26 5.9 5.35 5.63 3.81 3.935 4.04 3.74 3.7 3.33 3.64 3.31 2.69 2.72  date = (2020.03.02 + 0..4 join 7..11).take(20)  symbol = take(`F,10) join take(`GPRO,10)  t = table(symbol, date, close)  select *, BIAS(close, L1 = 2, L2 = 4, L3 = 6) as `bias1`bias2`bias3 from t context by symbol    symbol date       close  bias1    bias2    bias3  ------ ---------- ----- -------- -------- --------  F      2020.03.02 7.2  F      2020.03.03 6.97 -1.623  F      2020.03.04 7.08  0.783  F      2020.03.05 6.74 -2.46     -3.68  F      2020.03.06 6.49 -1.89     -4.839  F      2020.03.09 5.9  -4.762    -9.958   -12.333  F      2020.03.10 6.26  2.961    -1.378   -4.767  F      2020.03.11 5.9  -2.961    -3.87    -7.74  F      2020.03.12 5.35 -4.889    -8.586   -12.391  F      2020.03.13 5.63  2.55     -2.679   -4.925  GPRO   2020.03.02 3.81  GPRO   2020.03.03 3.935 1.614  GPRO   2020.03.04 4.04  1.317  GPRO   2020.03.05 3.74 -3.856    -3.639  GPRO   2020.03.06 3.7  -0.538    -3.99  GPRO   2020.03.09 3.33 -5.263    -10.061 -11.417  GPRO   2020.03.10 3.64  4.448     1.041  -2.435  GPRO   2020.03.11 3.31 -4.748    -5.293  -8.732  GPRO   2020.03.12 2.69 -10.333   -17.039 -20.921  GPRO   2020.03.13 2.72  0.555    -11.974 -15.833

4. 函数计算性能

本节将以 AVEDEV 函数为例做直接使用的性能对比,同时使用真实股票日频数据对所有函数进行分组使用性能对比。

4.1 直接使用性能对比

在 DolphinDB 中:

use mytt    close = 7.2 6.97 7.08 6.74 6.49 5.9 6.26 5.9 5.35 5.63  close = take(close, 100000)  timer x = mytt::AVEDEV(close, 100)

对一个长度为 100000 的向量直接使用 mytt 模块中的 AVEDEV 函数,耗时为 25ms。

与之对应的 Python 代码如下:

import numpy as np  from MyTT import *  import time    close = np.array([7.2,6.97,7.08,6.74,6.49,5.9,6.26,5.9,5.35,5.63])  close = np.tile(close,10000)  start_time = time.time()  x = AVEDEV(close, 100)  print("--- %s seconds ---" % (time.time() - start_time))

Python MyTT 库中的 AVEDEV 函数耗时为 25000ms,是 DolphinDB mytt module 中的 AVEDEV 函数的 1000 倍。测试数据量越大,性能差异越显著。

4.2 分组使用性能对比

  • 测试数据为上海证券交易所 2020 年,全年 2919 个证券(筛选交易日大于 120)日频交易数据,总记录数为 686,104 条。
  • 计算逻辑为按照股票代码进行分组计算各指标。
  • 为了测试函数计算性能,DolphinDB 和 Python 测试代码都是单线程运行。
  • DolphinDB 测试代码
  • Python 测试代码
  • 测试数据
  • Python MyTT 库

测试结果如下表所示:

序号 函数 Python(ms) DolphinDB(ms) 运行时间比
1 RD 296 16 18
2 RET 243 13 18
3 ABS 229 15 15
4 LN 253 25 10
5 POW 311 30 10
6 SQRT 248 19 13
7 MAX 390 34 11
8 MIN 373 29 12
9 IF 282 21 13
10 REF 740 17 43
11 DIFF 662 22 30
12 STD 1,263 24 98
13 SUM 1,297 22 58
14 CONST 258 22 11
15 HHV 1,207 30 40
16 LLV 1,218 31 39
17 HHVBARS 2,952 41 72
18 LLVBARS 2,878 38 75
19 MA 1,220 24 50
20 EMA 1,171 26 45
21 SMA 1,199 28 42
22 WMA 4,322 20 216
23 DMA 1,123 27 41
24 AVEDEV 176,652 32 5,520
25 SLOPE 53,703 29 1,851
26 FORCAST 60,321 38 1,587
27 LAST 4,132 38 108
28 COUNT 1,249 20 62
29 EVERY 1,267 28 45
30 EXIST 1,490 22 67
31 BARSLAST 559 18 31
32 BARSLASTCOUNT 607 17 35
33 CROSS 2,088 80 26
34 LONGCROSS 6,019 94 64
35 VALUEWHEN 968 27 35
36 BETWEEN 489 42 11
37 MACD 3,060 86 35
38 KDJ 4,705 144 32
39 RSI 2,539 103 24
40 WR 5,632 166 33
41 BIAS 5,318 135 39
42 BOLL 3,067 90 34
43 PSY 2,596 82 31
44 CCI 163,681 76 2,153
45 ATR 2,281 101 22
46 BBI 3,667 66 55
47 DMI 6,181 250 24
48 TAQ 2,292 64 35
49 KTN 3,170 164 19
50 TRIX 4,329 97 44
51 VR 2,732 117 23
52 EMV 4,437 132 33
53 DPO 2,455 59 41
54 BRAR 4,909 156 31
55 DFMA 2,890 52 55
56 MTM 1,659 43 38
57 MASS 4,602 99 46
58 ROC 2,000 63 31
59 EXPMA 1,900 49 38
60 OBV 1,790 94 19
61 MFI 3,488 158 22
62 ASI 4,173 316 13

从测试结果分析可知:

  • DolphinDB mytt module 中的函数计算性能远远超过 Python MyTT 库,最大的性能差距达到 5520 倍,普遍性能差距在 30 倍左右。

**Python pandas 测试核心代码 **

data.groupby("symbol").apply(lambda x: RSI(np.array(x.close), N = 24))

DolphinDB 测试核心代码

RSI = select symbol, tradedate, mytt::RSI(close, N=24) as `RSI from data context by symbol

5. 正确性验证

基于 4.2 分组使用性能对比中的测试数据和代码,验证 DolphinDB mytt module 中函数的计算结果是否和 Python MyTT 库一致。

5.1 浮点数精度问题

结果有差异的函数

  • CROSS, LONGCROSS

原因

  • 浮点数精度问题
  • 对于 CROSS 和 LONGCROSS 函数,在浮点数比较上,DolphinDB mytt module 中的处理比 Python MyTT 库更加严谨。DolphinDB mytt module 中首先会对浮点数 round 保留小数点后 6 位,然后再进行大小判断,而 MyTT 中并没有类似处理,因此对于相同大小的浮点数,Python 的判别可能会出错,如下图所示:

性能提升30倍丨基于 DolphinDB 的 mytt 指标库实现

5.2 NULL 值的处理

结果有差异的函数

  • SUM, DMI, EMV, MASS, MFI, ASI

原因

  • 若输入向量开始包含空值,则从第一个非空位置开始计算。DolphinDB mytt module 与 Python MyTT 库的计算规则一致。
  • 对一个滚动 / 累积窗口长度为 k 的函数,每组最初的 (k-1) 个位置的结果均为空。DolphinDB mytt module 与 Python MyTT 库的计算规则一致。
  • 对一个滚动 / 累积窗口长度为 k 的函数,若一组中第一个非空值之后再有空值,Python MyTT 库会对包含 nan 的窗口计算结果都处理为 nan。DolphinDB mytt module 会对窗口内非 NULL 的元素按计算规则计算,得到一个非 NULL 的计算结果。

DolphinDB 代码与结果:

close = [99.9, NULL, 84.69, 31.38, 60.9, 83.3, 97.26, 98.67]  mytt::SUM(close, 5);    [,,,,276.87, 260.27, 357.53, 371.51]

Python 代码与结果:

close = np.array([99.9, np.nan, 84.69, 31.38, 60.9, 83.3, 97.26, 98.67])  MyTT.SUM(close,5)    array([nan, nan, nan, nan, nan,  nan, 357.53, 371.51])

以滑动窗口求和为例,close 向量的第 2 个元素为空值,DolphinDB mytt module 在计算第 5 个元素(60.9)时,回看过去 5 个窗口内的数据 [99.9, NULL, 84.69, 31.38, 60.9],对非 NULL 的元素求和,所以结果向量的第 5 个元素为 276.87。

Python MyTT 库会对包含 nan 的窗口计算结果都处理为 nan,所以结果向量的前 6 个元素都为 nan。

除上述因为浮点数精度问题和 NULL 值的处理问题导致计算结果存在差异外,其余函数计算结果的百分比误差均小于 1e-10。

6. 实时流计算案例

在 DolphinDB V1.30.3 中发布的响应式状态引擎(Reactive State Engine)是许多金融场景流批统一计算中的重要构件,DolphinDB mytt module 在开发时就对其做了适配,使得 mytt 模块中的大部分函数可以在响应式状态引擎中实现增量计算。

  • 当前无法在响应式状态引擎中使用的指标函数:RET, CONST, BARSLAST, BARSLASTCOUNT,已经规划开发。
  • 所有 mytt 中的 技术指标函数 均支持增量计算。

示例代码如下:

def cleanEnvironment(){  	try{unsubscribeTable(tableName="snapshotStream",actionName="aggr1min") } catch(ex){ print(ex) }  	try{dropStreamEngine("myttReactiveStateEngine") } catch(ex){ print(ex) }  	try{dropStreamEngine("aggr1min") } catch(ex){ print(ex) }  	try{dropStreamTable(`snapshotStream) } catch(ex){ print(ex) }  	try{dropStreamTable(`outputTable) } catch(ex){ print(ex) }  	undef all  }  cleanEnvironment()  go    //load modules  use mytt    //define stream table  name = `tradetime`SecurityID`high`low`open`close`vol  type = `TIMESTAMP`SYMBOL`DOUBLE`DOUBLE`DOUBLE`DOUBLE`INT  share streamTable(100:0, name, type) as snapshotStream  name = `SecurityID`tradetime`K`D`J`DIF`DEA`MACD`UPPER`MID`LOWER`ROC`MAROC  type = `SYMBOL`TIMESTAMP`DOUBLE`DOUBLE`DOUBLE`DOUBLE`DOUBLE`DOUBLE`DOUBLE`DOUBLE`DOUBLE`DOUBLE`DOUBLE  share streamTable(1000000:0, name, type) as outputTable    //register stream computing engine  reactiveStateMetrics=<[      tradetime,      mytt::KDJ(close, high, low, N=9, M1=3, M2=3) as `K`D`J,      mytt::MACD(close, SHORT_=12, LONG_=26, M=9) as `DIF`DEA`MACD,      mytt::KTN(close, high, low, N=20, M=10) as `UPPER`MID`LOWER,      mytt::ROC(close, N=12, M=6) as `ROC`MAROC  ]>    createReactiveStateEngine("myttReactiveStateEngine", metrics=reactiveStateMetrics, dummyTable=snapshotStream, outputTable=outputTable, keyColumn=`SecurityID, keepOrder=true)    createTimeSeriesEngine(name="aggr1min", windowSize=60000, step=60000, metrics=<[first(open),max(high),min(low),last(close),sum(vol)]>, dummyTable=snapshotStream, outputTable=getStreamEngine("myttReactiveStateEngine"), timeColumn=`tradetime, useWindowStartTime=true, keyColumn=`SecurityID)    subscribeTable(tableName="snapshotStream", actionName="aggr1min", offset=-1, handler=getStreamEngine("aggr1min"), msgAsTable=true, batchSize=2000, throttle=1, hash=0, reconnect=true)

7. DolphinDB mytt 指标列表

7.1 核心工具函数

函数 语法 解释
RD RN(N, D = 3) 四舍五入取 3 位小数
RET RET(S, N = 1) 返回序列 倒数第 N 个值,默认返回最后一个
ABS ABS(S) 返回序列或数值 S 的绝对值
LN LN(S) 求序列 S 底是 e 的自然对数
POW POW(S, N) 求序列 S 的 N 次方
SQRT SQRT(S) 求序列 S 的平方根
MAX MAX(S1, S2) 配对比较两个序列,给出比较以后大的序列
MIN MIN(S1, S2) 配对比较两个序列,给出比较以后小的序列
IF IF(S, A, B) 序列布尔判断,if S == True return A else B
REF REF(S, N = 1) 对序列整体下移动 N 个单位,返回平移后的序列,会产生 NAN
DIFF DIFF(S, N = 1) 序列 S 的前一个值减后一个值,序列头部会产生 NAN
STD STD(S, N) 求序列 S 的滚动 N 日标准差,返回滚动标准差序列
SUM SUM(S, N) 对序列 S 求滚动 N 日总和
CONST COUNT(S) 返回序列 S 最后一个值组成常量序列
HHV HHV(S, N) 求序列 S 的滚动 N 日最大值,返回滚动最大值序列
LLV LLV(S, N) 求序列 S 的滚动 N 日最小值,返回滚动最小值序列
HHVBARS HHVBARS(S, N) 求序列 S 的滚动 N 期内最高值到当前的天数, 返回距离天数序列
LLVBARS LLVBARS(S, N) 求序列 S 的滚动 N 期内最低值到当前的天数, 返回距离天数序列
MA MA(S, N) 求序列 S 的 N 日简单移动平均值,返回移动平均序列
EMA EMA(S, N) 求序列 S 的指数移动平均,为了精度,S>4*N,EMA 至少需要 120 周期 alpha = 2/(span+1)
SMA SMA(S, N, M = 1) 中国式的 SMA,至少需要 120 周期才精确 (雪球 180 周期),alpha = 1/(1+N)
WMA WMA(S, N) 求 S 序列 S 的 N 日加权移动平均,Yn = (1*X1+2*X2+3*X3+…+n*Xn)/(1+2+3+…+n)
DMA DMA(S, A) 求 S 的动态移动平均,A 作平滑因子,必须 0 < A < 1
AVEDEV AVEDEV(S, N) 求序列 S 的滚动平均绝对偏差
SLOPE SLOPE(S, N) 求序列 S 的滚动 N 周期内的线性回归模型的斜率
FORCAST FORCAST(S, N) 求序列 S 的滚动 N 周期内的线性回归模型的预测值
LAST_ LAST_(S, A, B) BOOL 型判断,从前 A 日到前 B 日一直满足 BOOL 条件,要求 A > B & A > 0 & B >= 0

7.2 应用层函数 (通过核心工具函数实现)

函数 语法 解释
COUNT COUNT(S, N) 序列 S 是 BOOL 型,求最滚动 N 天内满足 BOOL 为 True 的天数
EVERY EVERY(S, N) 序列 S 是 BOOL 型,求最滚动 N 天内 全部 满足 BOOL 为 True 的天数
EXIST EXIST(S, N) 序列 S 是 BOOL 型,判断最滚动 N 天内 是否存在 满足 BOOL 为 True
BARSLAST BARSLAST(S) 序列 S 是 BOOL 型,统计上一次条件成立到当前的周期
BARSLASTCOUNT BARSLASTCOUNT(S) 序列 S 是 BOOL 型,统计连续满足条件的周期数
BARSSINCEN BARSSINCEN(S, N) 序列 S 是 BOOL 型,统计滚动周期 N 内第一次满足条件到当前的周期数
CROSS CROSS(S1, S2) 判断两个序列是否交叉的函数,判断向上金叉穿越 CROSS(MA(C,5),MA(C,10)) ,判断向下死叉穿越 CROSS(MA(C,10),MA(C,5))
LONGCROSS LONGCROSS(S1, S2, N) 判断两个序列是否在个持一定周期后再交叉的函数,判断两个序列是否再个持 N 周期后再交叉,N = 1 时等同于 CROSS(S1, S2)
VALUEWHEN VALUEWHEN(S, X) 解决当 S 条件成立时, 取 X 的当前值, 否则取 S 的上个成立时对应的 X 值
BETWEEN BETWEEN(S, A, B) 判断 S 序列是否介于 A 和 B 之间的函数,当 S 处于 A 和 B 之间时为真,包括 A<S<B 或 A>S>B

7.3 技术指标函数 (全部通过核心工具和应用函数实现)

函数 语法 解释
MACD MACD(CLOSE, SHORT = 12, LONG = 26, M = 9) 平滑异同平均线
KDJ KDJ(CLOSE, HIGH, LOW, N = 9, M1 = 3, M2 = 3) KDJ 指标
RSI RSI(CLOSE, N = 24) RSI 指标, 和通达信小数点 2 位相同
WR WR(CLOSE, HIGH, LOW, N = 10, N1 = 6) W&R 威廉指标
BIAS BIAS(CLOSE, L1 = 6, L2 = 12, L3 = 24) BIAS 乖离率
BOLL BOLL(CLOSE, N = 20, P = 2) BOLL 指标,布林带
PSY PSY(CLOSE, N = 12, M = 6) PSY 指标,心理线
CCI CCI(CLOSE, HIGH, LOW, N = 14) CCI 指标,顺势线
ATR ATR(CLOSE, HIGH, LOW, N = 20) 真实波动 N 日平均值
BBI BBI(CLOSE, M1 = 3, M2 = 6, M3 = 12, M4 = 20) BBI 多空指标
DMI DMI(CLOSE, HIGH, LOW, M1 = 14, M2 = 6) DMI 动向指标
TAQ TAQ(HIGH, LOW, N) 唐安奇通道 (海龟) 交易指标
KTN KTN(CLOSE, HIGH, LOW, N = 20, M = 10) 肯特纳交易通道
TRIX TRIX(CLOSE, M1 = 12, M2 = 20) 三重指数平滑平均线
VR VR(CLOSE, VOL, M1 = 26) VR 容量比率
EMV EMV(HIGH, LOW, VOL, N = 14, M = 9) EMV 简易波动指标
DPO DPO(CLOSE, M1 = 20, M2 = 10, M3 = 6) 区间震荡线
BRAR BRAR(OPEN, CLOSE, HIGH, LOW, M1 = 26) BRAR-ARBR 情绪指标
DFMA DFMA(CLOSE, N1 = 10, N2 = 50, M = 10) DFMA 平行线差指标
MTM MTM(CLOSE, N = 12, M = 6) MTM 动量指标
MASS MASS(HIGH, LOW, N1 = 9, N2 = 25, M = 6) 梅斯线
ROC ROC(CLOSE, N = 12, M = 6) 变动率指标
EXPMA EXPMA(CLOSE, N1 = 12, N2 = 50) 指数平均数指标
OBV OBV(CLOSE, VOL) 能量潮指标
MFI MFI(CLOSE, HIGH, LOW, VOL, N = 14) MFI 资金流量
ASI ASI(OPEN, CLOSE, HIGH, LOW, M1 = 26, M2 = 10) 振动升降指标

8. 路线图(Road Map)

  • 优化当前无法在响应式状态引擎中使用的指标函数,包括 RET, CONST, BARSLAST, BARSLASTCOUNT,预计在 DolphinDB V1.30.19 和 DolphinDB V2.00.7 支持上述函数的增量计算和在响应式状态引擎中的使用。
  • 长期保持对 Python MyTT 包的同步更新。

附件

计算性能测试环境

  • CPU 类型:Intel(R) Core(TM) i7-7700 CPU @ 3.60GHz 3.60 GHz
  • 逻辑 CPU 总数:8
  • 内存:32GB
  • OS:Windows 10

 

本文来自网络,不代表企业资讯,产品资讯_博拉资讯立场,转载请注明出处。

作者: 博拉资讯

上一篇
下一篇
广告位

发表回复

返回顶部