文章 2020-05-09 来自:开发者社区

基于Dataworks进行疫情数据的分析(二)

1、前面我们已经将疫情的数据通过Python采集到的数据库当中了,具体如下图所示: 2、继续在创建的业务流程中添加“PyODPS”节点到DataWorks的画布当中,节点名称为“数据分析”,具体如下图所示 3、打开数据分析节点,输入我们要体悟的数据指标,(这里我们可以通过正则表达式的方式对获取到的数据进行数据解析)具体如下图所示: 4、数据分析的代码编写完成以后,我们将数据分析的结果存入到...

文章 2020-04-18 来自:开发者社区

基于Dataworks进行疫情数据的分析(一)

2019年底,新型冠状病毒肺炎疫情爆发,并在较短时间内迅速蔓延至全国,对包括餐饮、娱乐在内的各行各业造成严重影响。疫情爆发至今已经有多个月份,在抗击疫情期间无数的人员投入到这场战‘疫’之中,他们奋斗在抵抗新冠病毒的第一防线,甚至为之奉献生命。经过全国人民的共同努力截止到目前国内疫情已基本控制住了。接下来我们通过Dataworks与DataV基于大数据分析以可视化方式实时动态展现疫情发展。 一、首....

文章 2020-03-31 来自:开发者社区

DataWorks百问百答08:如何进行任务调度执行、周期实例运行状况分析?

在datastidio数据开发界面中配置好任务并发布后,便可以在运维中心查看任务的依赖关系图示、实例的运行状态以及实例的上下游关系。打开运维中心,可以看到如下的界面:Q1:周期任务和周期实例是什么关系?A1:任务产生实例。任务(即数据开发中的"节点")是起源点,实例是根据任务以及任务配置情况定时生成的执行任务的载体(暂且这么理解)。注1:实例为固定时间一次性生成。 生成实例时间:当地时间23:3....

DataWorks百问百答08:如何进行任务调度执行、周期实例运行状况分析?
文章 2019-04-01 来自:开发者社区

通过DataWorks数据集成归档日志服务数据至MaxCompute进行离线分析

通过DataWorks归档日志服务数据至MaxCompute但是会遇到大家在分区上或者DataWorks调度参数配置问题,具体拿到真实的case模拟如下:创建数据源:步骤1      进入数据集成,点击作业数据源,进入Tab页面。步骤2      点击右上角新增数据源,选择消息队列 loghub。步骤3 编辑...

文章 2019-01-22 来自:开发者社区

海量大数据大屏分析展示一步到位:DataWorks数据服务对接DataV最佳实践

1. 概述 数据服务(https://ds-cn-shanghai.data.aliyun.com)  是DataWorks产品家族的一员,提供了快速将数据表生成API的能力,通过可视化的向导,一分钟“零代码”就可以生成API,让API开发从未有过如此便捷!同时支持自定义API查询SQL功能,对您的个性化复杂查询逻辑支持照样不在话下。 DataWorks数据服务提供HTTP API服务,...

问答 2017-10-31 来自:开发者社区

分析型数据库如何增量同步ODPS数据?

目前ODPS到分析型数据库之间的数据同步是离线批量同步的,不支持实时同步增量的情况。如果用户有增量同步的需求,可以考虑以下方案: 1、如果用户的数据是不更新只累加的数据,比如日志数据,可以在分析型数据库里创建表的时候设置二级分区。每次增量的数据导入到分析型数据库的一个二级分区里。 2、用户可以在ODPS里就把增量更新后的结果数据放在一个表(分区)里。这样同步只处理结果数据的全量同步,增量操作...

问答 2017-10-27 来自:开发者社区

分析型数据库如何增量同步ODPS数据?

[backcolor=transparent][font=微软雅黑, "]目前ODPS到分析型数据库之间的数据同步是离线批量同步的,不支持实时同步增量的情况。如果用户有增量同步的需求,可以考虑以下方案: [backcolor=transparent][font=微软雅黑, "]1、如果用户的数据是不更新只累加的数据,比如日志数据,可以在分析型数据库里创建表的时候设置二级分区。每次增量的数据导入到....

文章 2017-09-26 来自:开发者社区

阿里云发布ODPS 可分析PB级海量数据

 本文讲的是阿里云发布ODPS 可分析PB级海量数据8日,阿里云计算发布核武级大数据产品——ODPS。通过ODPS在线服务,小型公司花几百元即可分析海量数据。ODPS可在6小时内处理100PB数据,相当于1亿部高清电影。此前,全球掌握这种能力的公司屈指可数,如Google、亚马逊等。   五年间,阿里云的工程师们写下250万行代码,不断打磨ODPS。该团队在一封公开信中描述:“把数据海洋里的水灌....

问答 2016-09-09 来自:开发者社区

ODPS如何可以分析内容为JSON格式的字段?

以前用hive是可以支持把字段从字符串extract成json,然后进行查询的。我主要的业务需求是埋点,根据不同的type,可能有不同的value,value是内容不规则的JSON字符串

问答 2016-05-10 来自:开发者社区

ODPS是否支持对键值对、非结构化数据的导入和分析。

ODPS是否支持对键值对等半结构化数据,文件、视频、图片的半结构化数据的导入和分析。如果部分支持,支持哪些,求各位大神赐教。

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

大数据开发治理DataWorks

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

+关注