南大通用GBase 8a集群的调度服务gclusterd负责对外连接,解析SQL和调度下发任务,并返回结果集。从职能设计上不会消耗大量的CPU和磁盘资源。本文介绍几种可能发生的特殊情况。
作者: laozizhu
南大通用GBase 8a加载hadoop 测试2.6.10版本3节点集群安装
本文介绍hadoop 2.6.10版本的三节点集群的简单安装,用于测试GBase 8a的加载功能。该安装不包含zookeeper等高可用功能和安全相关的,只用于可以启动服务,放置文件和通过GBase 8a加载这个文件的功能测试用。
Suse 12和redhat 7.5+ 修改任务数TasksMax,DefaultTasksMax,UserTasksMax等全局、用户的配置
从Redhat 7.5和Suse 12开始,在Systemd里提供了新的任务数限制,覆盖了limit.conf里的参数值。本文介绍该功能在全局默认任务数DefaultTasksMax,单元和服务级的任务数TasksMax,所有用户的任务数UserTasksMax以及单个用户任务数TasksMax的配置方法。
南大通用GBase 8a加载支持通配符来批量导入整个目录或匹配的所有文件
南大通用GBase 8a的加载功能,支持通配符,包括*和?两种匹配多个和单个字符。本文介绍通配符来批量导入整个目录或匹配的所有文件使用方法。
南大通用GBase 8a里面null常量数据的类型指定方法
南大通用GBase 8a里,null常量数据,注意不是某个字段的数值为null,而是一个null常量,如果不指定类型,默认未varbinary。可以通过cast强制指定类型,也可以根据上下文,从其它对应字段取得类型,比如union的其它表的。
Clickhouse按照插入时的顺序返回数据max_threads参数的使用
Clickhouse默认是多线程处理数据,如果没有指定order by ,则不确认数据的返回顺序。如果希望按照数据插入时的顺序返回,则可以通过设置单线程来实现。本文介绍max_threads参数的使用例子。
Clickhouse创建不排序的无主键的MergeTree表tuple的使用
Clickhouse 的MergeTree引擎,要求必须提供order by 或者 primary key, 否则表创建失败。但Clickhouse提供了 tuple功能,可以不指定排序列。
Clickhouse 主键或排序键不能为null的报错和解决方法Sorting key cannot contain nullable columns
默认Clickhouse的排序键和主键是不允许null的,否则会报Sorting key cannot contain nullable columns的错误信息。可以通过参数强行设置允许为null,但不建议使用。
Clickhouse 合并存储提高小数据量的处理性能表参数min_bytes_for_wide_part和min_rows_for_wide_part
在Clickhouse里,每次数据装在都会生成一个part, 内部数据是按照列存储的,每个列一组文件。当数据量很少时,会浪费很多的磁盘IO次数。新版本Clickhouse里,在建表时可以通过min_bytes_for_wide_part和min_rows_for_wide_part两个参数,来设置一个阈值。当参数低于阈值时,会将part数据合并存储来减少IO次数。
Clickhouse 元数据表system.settings介绍和使用
Clickhouse 可以通过set 来设置参数值,通过show setting 来查看当前的值。 参数内容是保存在system.settings元数据表里面的。