外部表numeric列包含空值如何插入到本地表

于 2020-03-27 14:13:43 发布
阅读量1.5k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： HighGo DB之安全机制 文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pg_hgdb/article/details/105140356
本文介绍在从Oracle导出包含空字符的表至PostgreSQL时遇到的问题及解决方法。由于空字符串与NULL值不等，导致数据类型冲突。通过创建外部表，使用varchar类型替代numeric，再通过case when语句转换为空值，最后修改数据类型为numeric或timestamp。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

环境

症状

问题原因

解决方案

环境

系统平台：Linux x86-64 Red Hat Enterprise Linux 7

版本：4.7.7,4.7.6,4.7.5,4.3.2,4.1.1

症状

从Oracle中导出的表中包含许多空字符，但数据类型是numeric或timestamp，查询外部表和插入本地表会报错，信息如下：

cqsm=# select * from fwbb_time ;  --fwbb_time是外部表

ERROR:  invalid input syntax for type numeric: ""

CONTEXT:  COPY fwbb_time, line 4, column age: ""

STATEMENT:  select * from fwbb_time ;

ERROR:  invalid input syntax for type numeric: ""

CONTEXT:  COPY fwbb_time, line 4, column age: ""

问题原因

在HGDB中空字符串与NULL值并不相等，所以会造成numeric=''的错误语义

解决方案

解决的方法有很多，如果只是一张单表且数据量不大可以使用case when语句来处理（此种方法仍可以保证空值不被转换，适用于特殊场景），方法如下：

1、创建外部表，将numeric列先用varchar类型代替

create foreign table f2wbb_time(id int,name text,fg varchar(8),age varchar,time_o text)

server pg_file_server options(filename '/home/postgres/wbb_time.csv',format 'csv',header 'true',delimiter ','); 

2、从外部表插入到本地表

select id,name,case when age='' then NULL else age end::real as age , time_o  into b2wbb_time from f2wbb_time;

3、修改本地表列数据类型

alter table b2wbb_time alter column age type numeric;

alter table b2wbb_time alter COLUMN time_o type timestamp USING time_o::timestamp without time zone;

更多详细信息请登录【瀚高技术支持平台】查看瀚高技术支持平台 

博客
瀚高用户反馈调研
04-22 1218
瀚高用户调研
博客
【只为求才,Want AD】
12-10 1971
【求才】有数据库DBA经验，或开发经验均可谈。中国大陆地区。感谢关注和推荐。company: www.highgo.comSend Resumes To Mail: [email protected]
博客
基于PostgreSQL进行Java应用开发
11-04 4186
该手册由PG实验室的成员结合多年对postgresql数据库的使用及Java应用开发经验，总结了一套实战入门手册。帮助PostgreSQL软件爱好者及初学者快速学习postgresql数据库的相关知识。针对应用如何适配postgresql数据库，提供了丰富的技巧案例。开发人员在不了解postgresql的情况下，通过该手册的学习，能够自主的实现基于postgresql的应用开发工作。以上是适配手册涵盖的章节内容。本手册一共6个章节：第1章PostgreSQL介绍 1.1.PostgreSQL起源
博客
应用存储过程执行报错解决方案（APP）
07-01 90
mybatis中不管什么查询，都必须返回resultType或者resultMap的值，否则就会报错的。看看mybatis的配置文件，漏了一项：resultType属性值。系统框架：springmvc+mybatis。系统平台：银河麒麟（飞腾）U系 V4。应用中使用存储过程报错。版本：4.3.4.5。没有设置返回值类型。
博客
Hibernate报No Dialect mapping for JDBC type 1111(APP)
06-30 58
客户使用Hibernate，实体类的中设置的数据类型与数据库表中的字段类型不一致，导致查询时报错。客户应用中报错No Dialect mapping for JDBC type 1111。系统平台：Linux x86-64 Red Hat Enterprise Linux 7。附：各个类型的编码可以在java.sql.Types中查看。将实体类的类型与表中的字段类型统一。
博客
select查询时，where子句包含汉字需要怎么处理？（APP）
06-30 332
SELECT * FROM pl_admins WHERE username = ‘熊军’;表中有这条记录，却查询不到。3、SELECT * FROM pl_admins WHERE username =‘熊军’::bpchar;2、SELECT * FROM pl_admins WHERE username = N’熊军’;4、设计表将该字段username字段的排序规则由default设置为zh_CN.utf8。系统平台：银河麒麟（龙芯）R系 V4。1、关掉Oracle兼容，后查询。
博客
idea的EasyCode插件连接瀚高数据库(APP)
06-27 160
客户在idea工具中使用EasyCode插件连接瀚高数据库的企业版时，连接设置的url中提示“jdbc:highgo不存在”的错误。EasyCode插件连接瀚高数据库的企业版时，使用的是postgresql的驱动，url中不应该写成highgo。系统平台：Linux x86-64 Red Hat Enterprise Linux 7。url中把highgo改成postgresql，客户修改之后，连接成功。
博客
替换MySQL函数convert(htmlText using utf8)的方法（APP）
06-27 205
在瀚高数据库中，使用 convert_from(htmlText,‘UTF8’) 可以达到与MySQL的 convert(htmlText using utf8) 一样的效果。ISV技术人员反馈问题：有没有方法能直接将bytea类型转换成字符串。
博客
Druid连接池，报错：unkow jdbc Driver : jdbc:highgo://xxxxxx （APP）
06-26 123
原因是使用druid的自动识别URL串功能，Driver免配置，即配置文件中仅需配置连接串信息，即可根据连接串中的类型自动确定数据库类型，从而自动选择Driver。但是目前Druid不支持自动识别highgo，所以需要手动配置。系统平台：Linux x86-64 Red Hat Enterprise Linux 7,Microsoft Windows (64-bit) 10。–其中jdbc.driver的值为：com.highgo.jdbc.Driver。
博客
mybatis3调用瀚高procedure报错（APP）
06-26 423
客户项目中使用的Mapper 3.0，应用中通过call调用存储过程（procedure）时报错。mybatis3调用瀚高procedure报错（错误信息：调用过程请使用CALL）的解决方案。系统平台：Linux x86-64 Red Hat Enterprise Linux 7。解决方案：将数据库中存储过程（procedure）修改为函数（function）。
博客
启动hghac服务报错：OSError: [Errno 98] Address already in use
06-25 568
启动hghac服务无法正常启动，检查服务状态报错：OSError: [Errno 98] Address already in use。2.判断占用端口进程能否杀掉，如能杀掉执行kill命令。使用netstat -tunlp 查看端口占用情况。
博客
repmgr集群docker环境开启SQL转发功能报错
06-25 521
连接数据库报错：FATAL: PostgresMain 4292 SQL-Fonward could not create connection with master node!V4.3.4.6 版本的 repmgr集群运行在docker环境下时，​当集群发生切换后使用客户端连接数据库触发报错。该报错可通过修改备库recovery文件解决（所有备库都需要修改），修改完成后备库需要重新启动。系统平台：中标麒麟（龙芯）7。版本：4.3.4.6。
博客
使用order by排序时，未按照字符的顺序进行排序显示（APP）
06-24 390
因为客户使用了order by comvert_to(SUBSTRING(name,1,1),‘GB18030’)，GB18030编码中’闫’排在’赵’的后面，查询结果并没有问题。使用order by name collate “zh_CN”，替换order by comvert_to(SUBSTRING(name,1,1),‘GB18030’)。系统平台：Linux x86-64 Red Hat Enterprise Linux 7。使用oeder by排序时，闫（‘Y’）排在了赵（‘Z’）的后面。
博客
HGDB中如何生成唯一的19位的数值(APP)
06-24 197
客户的源库是MySQL，业务上需要生成唯一的19位的数值，客户之前采用的是雪花算法。雪花算法用到了序列号、时间戳和位运算。在HGDB中也可以实现雪花算法，通过创建序列，获取时间戳，然后经过位移运算，拼接到一块可以得到一个唯一的19位数值。系统平台：银河麒麟（飞腾）U系 V4。1、创建序列，下面生成id的函数需要。2、创建雪花算法生成id的函数。② 获取1百万个id，无重复。③ 获取1千万个id，无重复。
博客
企业版V6.0.2身份鉴别功能(passwordcheck插件控制方式）
06-23 276
passwordcheck插件drop后，身份鉴别相关参数hgidcheck.pwdlock,hgidcheck.pwdlocktime,hgidcheck.pwdvaliduntil会失效，创建新用户无口令复杂度要求和口令错误次数检验，口令有效期永久。passwordcheck插件启用时，新用户设置口令需满足口令复杂度要求，口令有限期为7天，口令错误次数检验为5次。口令复杂度规则及配置可参考support文章《企业版V6口令复杂度配置》初始化后默认passwordcheck插件启用。
博客
安全版V4.5密码加密算法由SM3改为MD5
06-23 270
注：参数password_encryption为动态参数，文件pg_hba可动态修改，因此无需重启数据库。系统平台：Linux x86-64 Red Hat Enterprise Linux 7。1、用默认三权用户和普通用户登录数据库，修改密码加密算法并更改密码。3、修改数据目录中的pg_hba.conf文件，将sm3改为md5。2、更改.pgpass中的密码，如未配置.pgpass请忽略此步。注：普通用户忘记密码时，可用管理员用户syssso设置密码。
博客
hghac集群主备数据不一致
06-20 136
系统平台：中标麒麟（龙芯）7版本：4.5hghac集群中主备库数据不一致，存在较大数据差异。用户修改数据库中流复制相关用户密码后，未修改hghac.yml中的对应的用户密码，也未检查流复制备库连接字符串中的用户密码是否正确，导致流复制断开，集群数据不一致。查看集群状态主库正常，两个备库均存在数据差异，猜测备库与主库连接已断开。wal进程已停止，检查数据库日志发现如下大量报错：登录test-hghac-2服务器，对被锁定的用户进行解锁：解锁完成后，a_replication用户立刻再次被锁。与客户沟通
博客
打开hgdbdeveloper工具新建连接提示：操作失败 null
06-20 169
打开hgdbdeveloper工具新建连接提示：操作失败 null。点击hgdbdeveloper工具的窗口–选择重置窗口。
博客
同名写法不同的关键字的屏蔽方法（APP）
06-19 340
经过分析，SQL语句使用了大小写混合的“SysDate”，而关键字sysdate是小写的。在进行关键字判断时，未匹配上，直接跳过屏蔽判断，进入到后面的处理。而后面转换成小写后又判断为关键字。注意：关键字屏蔽功能是安全版v4.5.6开始有的，之前的版本除非是特殊打包的才会有。不需要重启，使用：select pg_reload_conf();经过测试，该方式是可行的。
博客
rpm安装包在银河麒麟上安装失败的解决办法（APP）
06-19 554
安装包：hgdb4.3.4.8-see-kyl-server10sp1-phytium-64-20210315.rpm。数据库自带了所需的依赖，但是在操作系统中也存在，导致冲突，强制安装使用自带的依赖。如上，rpm执行安装后，未正确安装完成，而且未报明确错误。系统平台：银河麒麟（飞腾）U系 V4。增加–force选项，进行强制安装。版本：4.3.4.8。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值