使用GBase 8a集群时,经常遇到个很简单的需求,将一个表的数据全部导出成文件后,如何确保能全部正确的导入。导入表可能是重建的同一个表,本集群的另一个表,或者另一套集群的表。本文提供一个可行的方案来解决这个需求。
标签: 导出
包含南大通用GBase 8a MPP数据库集群 数据导出 内容的文章
GBase 8a通过python udf规避ftp,sftp导出文件未完成前就被使用的情况
GBase 8a的导出功能支持ftp,sftp等协议。如果导出内容较多,则目标文件需要一段时间才能生成。而在导出期间如果该文件被使用,则其内容处于不完整状态,会造成数据不一致,格式报错等情况。本文通过python实现ftp和sftp的改名功能,在一定规则下规避这个情况。
南大通用GBase 8a导出定长格式数据文件的方法
定长格式,每个字段占用相同的字节数,无需再考虑分隔符,可以简化加载处理逻辑,但一般会出现空间浪费。当数据内容复杂,不好设置合适的分隔符时,定长可能是唯一的方案。本文介绍GBase 8a导出定长数据的方法。
南大通用GBase 8a导出报错This version of GBase doesn't yet support 'outfile remotely for dis-Express Engine tables
南大通用GBase 8a数据库集群支持导出数据到本地和远端服务,比如sftp,ftp,hadoop等,但要求必须是express引擎表。对其它引擎类型的表,比如元数据表为memory 或者 gssys引擎,当前版本尚不支持导出到远端的功能,只能先导出到本地,否则就会报This version of GBase doesn't yet support 'outfile remotely for dis-Express Engine tables的错误。
南大通用GBase 8a导出加载数据时,字段内容包含换行\n怎么处理
南大通用GBase 8a数据库集群,支持导出时指定行分隔符和列分隔符,如果数据中的字符和其冲突,可以考虑用多个字符做分隔符,当然也可以用不常见或冲突几率低的不可见字符做分隔符。
GBaes 8a导出文件时指定大小 fiesize
GBaes 8a导出文件时指定大小 fiesize
南大通用GBase 8a导出加载报错FIELDS ESCAPED STRING must be only one byte
南大通用GBase 8a导出加载报错FIELDS ESCAPED STRING must be only one byte
南大通用GBase 8a导出和加载使用多个不可见字符做分隔符
南大通用GBase 8a加载使用不可见字符做分隔符
南大通用GBase 8a导出本地文件时多了目录,gbase_export_directory参数用处
南大通用GBase 8a数据库集群提供select into outfile方式导出数据到文件,指定本地文件时,数据库参数gbase_export_directory会自动创建同名的目录。如果想去掉,需要关闭这个参数。
南大通用GBase 8a导出报错File XXX already exists和强制覆盖写解决方案writemode by overwrites
南大通用GBase 8a数据库集群提供select into outfile方式导出数据到文件,如果导出的文件已经存在,则会报File XXX already exists的错误。如果想强制覆盖写入,可以增加writemode by overwrites解决。