阿里云文档 2023-07-26

PolarDB在减灾与应急时空的解决方案与案例

方案背景华宁环球(北京)减灾与应急科技有限公司专注于自然灾害风险、灾害应急预警领域全栈数据、模型及平台研发,面向保险等行业及各级政府提供技术服务,数据及模型研发及成果应用处于行业领先水平。公司主营OpenRIS灾害风险大数据平台提供了海量灾害数据的快速地图展示、统计查询、切割下载、上传数据定制化在线...

阿里云文档 2023-07-26

PolarDB在新零售行业的解决方案

需求背景百华悦邦成立于2007年,目前于全国百城建立150家服务中心,拥有1200名检修工程师,服务超过5000万移动终端用户。凭借全程的IT、产品、客服系统,对业务全流程进行系统监控,保障用户手机数据安全,享受快捷、优质、安心的手机增值服务。业务挑战支撑全国门店的核心工单业务系统的 Oracle ...

阿里云文档 2023-07-26

PolarDB在保险行业的解决方案与案例

需求背景某保险公司(中国前三)核心及业务系统迁移是当前保险业机构最大规模的数据库国产化改造项目。该公司依托云计算技术和互联网技术构建了分层清晰的数字化平台,推动技术架构和技术标准的统一,实现系统间整合和内通外联,同时,基于大后台+小前端移动互联布局,联合信创合作方,攻克多项技术难题,在业内率先建设信...

文章 2023-03-25 来自:开发者社区

【大数据开发运维解决方案】Sqoop增量同步mysql/oracle数据到hive(merge-key/append)测试文档

上一篇文章介绍了sqoop全量同步数据到hive,本片文章将通过实验详细介绍如何增量同步数据到hive,以及sqoop job与crontab定时结合无密码登录的增量同步实现方法。一、知识储备在生产环境中,系统可能会定期从与业务相关的关系型数据库向Hadoop导入数据,导入数仓后进行后续离线分析。故我们此时不可能再将所有数据重新导一遍,此时我们就需要增量数据导入这一模式了。增量数据导入分两种,一....

【大数据开发运维解决方案】Sqoop增量同步mysql/oracle数据到hive(merge-key/append)测试文档
文章 2023-03-25 来自:开发者社区

【大数据开发运维解决方案】Sqoop全量同步mysql/Oracle数据到hive

前面文章写了如何部署一套伪分布式的handoop+hive+hbase+kylin环境,也介绍了如何在这个搭建好的伪分布式环境安装配置sqoop工具以及安装完成功后简单的使用过程中出现的错误及解决办法,接下来本篇文章详细介绍一下使用sqoop全量同步oracle/mysql数据到hive,这里实验采用oracle数据库为例,后面一篇文章将详细介绍:1、sqoop --incremental ap....

【大数据开发运维解决方案】Sqoop全量同步mysql/Oracle数据到hive
文章 2023-03-25 来自:开发者社区

【大数据开发运维解决方案】sqoop增量导入oracle/mysql数据到hive时时间字段为null处理

前面几篇文章详细介绍了sqoop全量增量导入数据到hive,大家可以看到我导入的数据如果有时间字段的话我都是在hive指定成了string类型,虽然这样可以处理掉时间字段在hive为空的问题,但是在kylin创建增量cube时需要指定一个时间字段来做增量,所以上面那种方式不行,这里的处理方式为把string改成timestamp类型,看实验:一、源库创建测试表创建测试表:create table....

【大数据开发运维解决方案】sqoop增量导入oracle/mysql数据到hive时时间字段为null处理
文章 2023-03-25 来自:开发者社区

【大数据开发运维解决方案】Oracle通过sqoop同步数据到hive

一、介绍将关系型数据库ORACLE的数据导入到HDFS中,可以通过Sqoop、OGG来实现,相比较ORACLE GOLDENGATE,Sqoop不仅不需要复杂的安装配置,而且传输效率很高,同时也能实现增量数据同步。本文档将在以上两个文章的基础上操作,是对第二篇文章环境的一个简单使用测试,使用过程中出现的错误亦可以验证暴漏第二篇文章安装的问题出现的错误,至于sqoop增量同步到hive请看本人在这....

【大数据开发运维解决方案】Oracle通过sqoop同步数据到hive
文章 2023-03-25 来自:开发者社区

【大数据开发运维解决方案】Sqoop增量同步Oracle数据到hive:merge-key再次详解

前言对于sqoop增量同步Oracle数据到hive的命令参数以及如何定制自动增量job的测试已经再前面几篇文章详细测试过了,这篇文章是基于上面连接的文章继续做的拓展,上篇文章结尾说了如果一个表很大。我第一次初始化一部分最新的数据到hive表,如果没初始化进来的历史数据今天发生了变更,那merge-key的增量方式会不会报错呢?之所以会提出这个问题,是因为笔者真的有这个测试需求,接下来先对ora....

【大数据开发运维解决方案】Sqoop增量同步Oracle数据到hive:merge-key再次详解
文章 2023-03-25 来自:开发者社区

【大数据开发运维解决方案】Linux Solr5.1安装及导入Oracle数据库表数据

一、Solr5.1安装1、官方下载链接点此下载2、下载上传压缩包到Linux服务器[root@hadoop ~]# mkdir -p /hadoop/solr通过sftp上传压缩包至此目录:[root@hadoop solr]# ls solr-5.1.0.tgz [root@hadoop solr]# tar -zxvf solr-5.1.0.tgz ...... [root@hadoop...

【大数据开发运维解决方案】Linux Solr5.1安装及导入Oracle数据库表数据
文章 2023-03-25 来自:开发者社区

【大数据开发运维解决方案】Oracle Sql基础查询

1、查找空值null不支持加、减、乘、除、大小比较、相等比较,否则结果只能为空。SQL> select * from dept where 1>=null; DEPTNO DNAME LOC ------ -------------- ------------- SQL> select * from dept where 1<=null; DEPT...

【大数据开发运维解决方案】Oracle Sql基础查询

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

相关镜像
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等