做程序化交易，你真的需要数据库吗？

转帖请注明来自 知乎 《Quicklib程序化交易Python开源框架和工具》 专栏

现在越来越多的交易爱好者和私募参与到程序和交易和量化交易中来，在搭建自己的程序化交易平台的时候，必须涉及到一个问题：数据如存储？

有很多时候考虑到选择数据库的方式存储行情数据， 但我想问，你真的需要数据库来存储行情数据吗？
替代文字
我们来看看百度百科对数据库的定义：

数据库是长期储存在计算机内、有组织的、可共享的数据集合。数据库中的数据指的是以一定的数据模型组织、描述和储存在一起、具有尽可能小的冗余度、较高的数据独立性和易扩展性的特点并可在一定范围内为多个用户共享。

这种数据集合具有如下特点：尽可能不重复，以最优方式为某个特定组织的多种应用服务，其数据结构独立于使用它的应用程序，对数据的增、删、改、查由统一软件进行管理和控制。从发展的历史看，数据库是数据管理的高级阶段，它是由文件管理系统发展起来的。

定义中提到 ：对数据的增、删、改、查由统一软件进行管理和控制。
那么这里提出2个问题：
（1）“增”可以理解，就是添加数据，但你确定需要 删、改、查 吗？
拿期货行情数据为例，通常我需要将实时行情存储，如果我开启一个策略，需要计算M10 周期最近100个周期的KDJ指标，那么我只要需要最近的100X10X60X2个TICK数据即可，我只需要按时间顺序读取最近的12万个TICK。

（2）如果是从数据库读取的话，需要通过select语句或存储过程等方式 获得记录集，并逐条取出，这个过程是非常耗时的
这个过程是非常耗时的，并且每条记录之间，按默认设置，数据库为了便于插入数据，往往在记录之间留有空白的存储空间，往往按默认设置，80%的空间是无用的，也就是说，本来你只需要1M的空间你，实际占了5M的硬盘空间。事实上，你可能并没有插入数据的请求。因为行情数据存储都是顺序的，按时间顺序写入之后，通常不需要再插入新的行情数据。

大多数情况， 对行情数据的存储是不需要 “删”、“改”的

对“查”来说，也并不是逐条取得，通常是取一个时间段的数据，并不是数据库方式的 “查”数据的方式。

而且由于数据库的IO较慢。有人说，可以用内存数据库啊，事实上内存数据库会占用大量的内存空间，而且他的快也只是和关系型数据库比。并不是最优的选择。

采用数据库存储行情数据方案，享不到数据库的好，却浪费了大量空间，降低了读取性能。

这个性能降低可能是比直接采用文件存储的几十倍的差距。

用文件存储是一个更好的选择，事实上很多知名的股票软件公司都采用文件存储行情数据的。

比如文件存储怎么做呢?
按一个规则制定：
比如rb1710的2017年6月5日的TICK行情数据，就存储在
…\data\20170605\TICK\rb1710.csv 目录的文件下
该文件将顺序存储当天的TICK数据。
当我需要读取最近3天数据的时候，就按先后分别读取
…\data\20170605\TICK\rb1710.csv
…\data\20170606\TICK\rb1710.csv
…\data\20170607\TICK\rb1710.csv

这3个文件即可， 每个文件逐行读取。
如果需要进一步节省硬盘存储空间，我可以将data文件夹设置为 压缩属性。

在没有设置压缩属性的情况下，采用文件方式存储数据大约占用硬盘空间是采用SQL Server默认设置的20%硬盘空间。

在设置了data文件夹的压缩属性的情况下，采用文件方式存储数据大约占用硬盘空间是采用SQL Server默认设置的4%硬盘空间。

更小的硬盘空间占用，不仅降低了读写数据IOPS的占用，而且提高了读取性能（大约比SQL SERVER快 几十倍，内存数据库差距会稍小，但代价是更大的内存占用），也降低了因为磁盘故障导致数据错误的可能。

Quicklib提供了期货文件存储方式的工具和API

期货全品种行情收集工具下载
http://www.quicklib.cn/download/Quicklib_DataCollect_Windows.rar
期货行情重播API作为回测客户端（对应本地的期货全品种行情收集工具作为服务器）

Quicklib官方网站： http://www.quicklib.cn
QuickLib程序化交易开源框架-首页
替代文字

其他工具下载：

当然Quicklib还有一系列工具，比如资金曲线分时图工具，按每10秒取样一次，绘制资金曲线分时图，可以很方便来进行交易策略的调整，还有全市场行情采集工具，以及回播行情API，接入分布式计算可以实现TICK基本的高效回测，并支持实盘的数据和历史数据的结合。

1是可以用来尽心基于TICK的回测，2是可以用来进行降低交易系统的初始化时间，本地局域网维护行情历史数据，非常简单便利。

CTP账户资金曲线工具使用说明 一、本工具用于绘制资金曲线分时图。 每10s查询一次账户的动态权益，可用资金，静态权益（前一天结算权益，当天不会变化） 盈亏比例计算公式为: 盈亏比例 = 100*(动态权益-静态权益）/静态权益)% 二、 通过修改配置文件setting.ini信息，运行后自动按配置文件中的账户登录，并保持资金变化信息到Data\日期\账户.csv 文件中； 双击列表中的账户，可以打开当天资金曲线分时图。 三、设置您的CTP账户，可支持模拟和实盘账户，目前只支持1个账户，未来会支持多账户资金曲线数据存储和绘制。 CTP账户资金曲线工具 下载 http://www.quicklib.cn/download/Quicklib_AcountCurve_windows.rar

Quicklib CTP 期货行情库交易库下载
http://www.quicklib.cn/download/Quicklib_ctp_furure_windows.rar

Quicklib CTP2 A股行情库
http://www.quicklib.cn/download/Quicklib_ctp2_Ashare_windows.rar

Quicklib MOM模式 博易资管交易库
http://www.quicklib.cn/download/Quicklib_BoyiMom_furure_windows.rar

（用于接入资管投顾系统，MOM模式可实现私募进行投顾的选拔考核，并通过自己的风控系统接入实盘）

期货全品种行情收集工具下载
http://www.quicklib.cn/download/Quicklib_DataCollect_Windows.rar
期货行情重播API作为回测客户端（对应本地的期货全品种行情收集工具作为服务器）
替代文字
分布式计算例子，可用于回测
http://www.quicklib.cn/download/DistributedComputing

Quicklib 监控器库（预警、监控、交易信号数据复制、跟单）
http://www.quicklib.cn/download/Quicklib_Monitor&CtpExample_windows

http://www.quicklib.cn/download/Quicklib_Monitor_windows.rarhttp://www.quicklib.cn/download/Quicklib_Monitor_windows.rar