Tag: Loading

南大通用GBase 8a 集群加载sftp 和ftp数据的样例

南大通用GBase 8a数据库通过LOAD方式加载时，如果出现功能报错，或者性能问题，可以通过本文档介绍的方案，打开加载的详细日志，分析每一步的执行情况，包括获得锁，连接数据源获得文件大小，分配任务并开始加载，提交等等阶段。以便为问题的排查提供帮助。

南大通用GBase 8a数据库通过LOAD方式加载时，其错误数据将写入到指定的目录或位置上(新版已经支持指定sftp/ftp等），通过对错误日志trc信息，可以找到错误的原因，通过对err日志分析，可以找到该错误对应的数据行。彼此对照，可以排查出最终结果。

南大通用GBase 8a 加载时，要求数据和表结构匹配。但某些情况下，会出现数据和表无法完全匹配的情况。GBase数据库支持人工指定匹配策略的方案，以数据为主，配置TABLE_FIELDS参数， 用filler填充无效的数据，来达到顺利加载的目的。

86版本不再使用加载服务dispserver和控制文件，而是采用了SQL方式从数据源(ftp, http, hadoop) 直接加载的方式。本文提供SQL语法和样例。