gbase(gbase数据库怎么连接)这样也行？

Mark wiens

发布时间：2024-03-30

GBASE是国产的分布式并行集群数据库，据说有\x26quot;三高\x26quot;优势，即：高性能、高性价比、高可用性，不过查询速度确实很快，几千万的数据select * 秒出......

　1、GBASE简介说明GBASE是国产的分布式并行集群数据库，据说有"三高"优势，即：高性能、高性价比、高可用性，不过查询速度确实很快，几千万的数据select * 秒出；　　先介绍下常用的表，Gbase的表分为哈希表、复制表、临时表等等，哈希表需要一个哈希字段，类似分区字段，复制表无需这个字段；一般大数据的表使用哈希分表，小数据的就是万级以下数据可以用复制表。

　1.1、常用表介绍复制表：创建表使用 REPLICATED 关键字，这样创建的表为复制表复制表将会存储于 Gbase Cluster 的各个节点上，每个节点都会保存完整数据哈希分布表：创建表时使用 DISTRIBUTED BY column _name 指定创建表中的物理列 column _name 是哈希列，这样创建的表为哈希分布表。

数据按照指定的 Hash 字段进行哈希分；　临时表：创建表时使用 TEMPORARY 关键字，这样创建的表为临时表，临时表仅存在于当前 session 中　　假设Gbase集群有30台机器，复制表会在30台机器都存在一张且数据是一样的；哈希表存在的也是30台机器，不同是每台机器的数据可能不一样，比如用户信息表的哈希字段是用户ID，可能1台机器存储的是1开头的用户ID，另外一台存储的是2开头的用户ID，每台存储是不一样的。

　2、Gbase使用介绍　　GBASE数据库目前使用的客户端是gbase studio，打开之后点击右键新建一个集群名称自定义，比如我的命名为rpt

　　然后对着集群名称右击选择新建，输入其中一个节点IP，用户名，密码，端口一般都是默认的，可以点击测试，确认是否连接成功；测试成功后点击保存。

　　然后对着新建集群点击右键连接，输入密码确定即可

2.1、建表介绍　　介绍我使用过的哈希分布表，复制表建表SQL；　1、哈希表建表SQL：　　CREATE TABLE user_busi_log_20171210 (　　BUSI_LOG_ID bigint(20) DEFAULT NULL COMMENT 受理日志编号,

　　BUSI_TYPE int(10) DEFAULT NULL COMMENT 业务类型,　　BUSINESS_ID bigint(20) DEFAULT NULL COMMENT 操作编号,　　OPER_TYPE int(10) DEFAULT NULL COMMENT 操作类型,

　　CUST_ID bigint(20) DEFAULT NULL COMMENT 客户编号,　　STATE varchar(3) DEFAULT NULL COMMENT 记录状态,　　OP_ID bigint(20) DEFAULT NULL COMMENT 操作员,

　　ORG_ID bigint(20) DEFAULT NULL COMMENT 组织单元,　　DONE_CODE bigint(20) DEFAULT NULL COMMENT 受理编号,　　CREATE_DATE datetime DEFAULT NULL COMMENT 创建日期,

　　NOTES varchar(255) DEFAULT NULL COMMENT 备注　　) COMPRESS(5, 5) DISTRIBUTED BY(BUSI_LOG_ID)　2、复制表建表SQL：

　　CREATE TABLE dim_order_type_20171210 (　　ID varchar(200) DEFAULT NULL COMMENT 编码,　　plan_id varchar(60) DEFAULT NULL COMMENT 套餐编号,

　　ord_type varchar(60) DEFAULT NULL COMMENT 订单类型,　　CREATE_TIME varchar(6) DEFAULT NULL COMMENT 创建时间,　　PROVINCE varchar(50) DEFAULT NULL COMMENT 省份,

　　CREATE_DATE varchar(8) DEFAULT NULL COMMENT 创建日期,　　SYNC_DATE datetime DEFAULT NULL COMMENT 同步日期　　) COMPRESS(5, 5) REPLICATED DEFAULT CHARSET=utf8 TABLESPACE=sys_tablespace

　　说明：一般建表会加压缩COMPRESS(5, 5)，节省空间，默认表空间也可以不指定　　Gbase的日期格式如果需要秒，需要datetime类型，否则取不到秒，类似，to_char(),日期格式转换，其他常用的函数与oracle函数类似，具体函数使用了就明白了。

3、Gbase数据测试　　Gbase数据库数据不论是抽取还是装载都需要一个加载机中转，可以理解为一个FTP中转，　　公司的ETL 工具gbase库装载，先抽取文件存放在加载机（ftp）上，然后清空需要装载的数据表（避免重复数据）后面在把ftp目录上的文件加载到目标表，最后是记录日志

3.1、日志查找　　装载报错后，点击对应节点看到的日志只有INFO和WARN,看不到有用的信息，第一次配置遇到错误很头大，因为没有看到明显的错误提示

　　点击"HERE"找到加载机对应的节点

　　然后去加载机（FTP登录的加载机是日志中打印的IP和用户名，密码可以找维护人员获取）　　找到这个端口下面的对应的日志信息

　　比如我的端口是6683，日志目录在load6683下面，因为日志文件较多，可以模糊查询说明：_error_data.log 是错误的数据文件日志，l_og.log是日志文件ls -l *CM_DATA*.log 查询日志文件

ls -l *CM_DATA*error*.log

　　查看报错的.log日志文件（日志的文件名是由编号_用户名目标表名_执行日期_执行时间_加载机IP_log组成）　　cat 查看日志文件，如果太长可以使用 head 或者tail 查询指定的行数；　　日志提示字段长度不够（此处吐槽下因为测试的是一个FTP文件，原来数据提供方提供的是纯数据文件，这周数据文件包含了字段信息所以原来的长度不够，维护修改之后没有通知，看了文件才知道基本上所有字段长度都不够，本次测试是一个网络方面的有235个字段，维护修没通知的修改比较坑），因为字段太多，所以使用head -100 查看前面的字段长度是否都错了