【历史文档】算子样例-更新入库
由qxiao创建,最终由small_q 被浏览 194 用户
更新
本文内容对应旧版平台与旧版资源,其内容不再适合最新版平台,请查看新版平台的使用说明
新版量化开发IDE(AIStudio):
https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW
新版模版策略:
https://bigquant.com/wiki/doc/demos-ecdRvuM1TU
新版数据平台:
https://bigquant.com/wiki/doc/dai-PLSbc1SbZX
新版表达式算子:
https://bigquant.com/wiki/doc/dai-sql-Rceb2JQBdS
新版因子平台:
https://bigquant.com/wiki/doc/bigalpha-EOVmVtJMS5
\
使用场景
将数据保存为DataSource文件,以便API可直接调用
输入端
- 数据。需要保存成DataSource的模块上游数据
输入参数
- 表名:填写DataSource表名,必填。
- 主键字段:数据在保存时会根据该主键进行去重,一般会以date和instrument为主键,保险起见,可以填写全部字段,这样去重就不会删除数据,必填。
- 日期字段:时间所对应的字段,如果没有可不填。
- 分表方式:为提升数据读取性能,bigquant支持对数据进行分表,若数据在百万行以内,可不分表,选填。
- 覆盖原数据:该勾选项如果勾选后,会删除该表原始数据,并更新覆盖,因此一般建议不勾选。在每日增量数据更新入库时,及时有重复数据也不必担心,因为DataSource有自动去重机制,所以不用勾选“覆盖原数据”选项。该选项一般用于删除旧数据。
- 公开数据:是否将该数据公开。勾选后,其他用户通过表名也能访问该数据。
- 中文表名:DataSource表的表名。
- 表描述:DataSource表的描述
- 数据字段描述:表字段文档信息。一般是字典格式,可不填。
- 数据文档:是否生成数据文档。勾选后,若具有管理员权限并公开了该数据,那么该表数据文档会自动生成,免去了手动编写文档的重复工作。
输出端
- 数据:读取出来的文件数据
运行结果
可以通过模块输出来查看读取出来的具体数据
模块示例
我们演示如何将一份名为data.csv的文件保存为DataSouce文件。
流程如下:
- 读取csv到研究环境的内存
- 修改数据的日期字段的格式
- 更新入库为datasource
https://bigquant.com/experimentshare/bf1ecccbb35c45a18d1ff848f083a260
\