南大通用GBase 8a 数据库集群,通过load方式从数据源进行加载,原则山不支持直接从本地文件加载。新的版本必须用file://方式对文件进行加载。如果直接使用文件,则报这个错误Unsupported local file for loader
标签: 加载
包含南大通用GBase 8a MPP数据库集群 加载 内容的文章
南大通用GBase 8a加载hadoop文件报错Couldn't resolve host name
南大通用GBase 8a数据库集群支持hadoop加载,但要求每个节点都要配置主机IP的配置信息(DNS),如没有配置则会报Couldn't resolve host name错误
南大通用GBase 8a获得加载的任务号taskId的参数gbase_loader_last_task_id
南大通用GBase 8a通过load方式进行数据加载,每个加载任务一旦启动,会产生一个task id号码,用户可以通过其查看错误数据等信息。 数据库通过session级的变量gbase_loader_last_task_id获得最后一次加载的任务号。
南大通用GBase 8a的global hash索引参数key_dc_size导致加载耗时波动
南大通用GBase 8a数据库集群支持global Hash索引,用于精确查询。为了方便释放空间,提供了key_dc_size参数,如果该参数和每次加载的数据量出现匹配,将会很容易出现抖动。
南大通用GBase 8a 加载大量小文件时,通过NOSPLIT参数较少执行计划耗时
南大通用GBase 8a 数据库集群,在记载的执行计划阶段,要先获得每个加载文件的大小,然后接近容量平均的方式,分发个多个加载服务进行处理。如果文件很多,也很小,其耗时也将很多,甚至接近真正加载的耗时。通过NOSPLIT参数吗,可以去掉这个检测,直接按文件数量划分工作量。
南大通用GBase 8a加载极慢卡住原因,是某台机器网卡故障导致
某客户反馈,加载卡住,但将某台数据节点服务器停掉后,性能恢复。在尝试手工加载时,发现确实很慢。
南大通用GBase 8a加载报错Serious errors,at least partition of table is invalid or offline
南大通用GBase 8a数据库集群,是通过主副本来保持一致性,如果主备分片所在服务器都出现OFFLINE或服务CLOSE,就会出现主副本都不可用,报Serious errors,at least partition of table is invalid or offline。
南大通用GBase 8a加载LOAD报错 Too many bad records 原因和解决方案
南大通用GBase 8a 数据库集群通过LOAD方式加载入库到一张表里面,当用户数据和表列定义出现不匹配是,会生成错误数据被忽略掉 skipped records, 用户可以通过max_bad_records参数设定最多错误行数,默认为不限制,如果超过则报Too many bad records错误。
南大通用GBase 8a 加载LOAD数据无法入库错误 Validate error
南大通用GBase 8a 数据库集群通过load方式将数据加载入库到一张表里,当数据某一列的值,无法转换为表对应字段类型时,比如带字母的字符串转化为数字,则会报Validate error这类错误。原因可能是列的顺序匹配错误,或原始数据采集问题。
南大通用GBase 8a 加载LOAD数据无法入库错误 skipped records,Out of range value
南大通用GBase 8a 在加载LOAD时,如果发现数据和目标表不匹配,会将错误数据和原因,写入到日志里。 其中Out of range value错误是因为数据超过了范围,包括数字过大或过小,日期超过限制等。