云原生大数据计算服务 MaxCompute平台的相关内容

返回频道云原生大数据计算服务 MaxCompute平台

阿里云文档 2025-01-10

如何查看DataWorks平台的运维大屏

运维大屏为您展示工作空间的运维稳定性评估、重点关注的运维指标、调度资源使用及周期任务运行概况，以及数据集成同步任务的运行详情，助力您从宏观角度快速了解空间任务的整体概况，及时发现并处理异常任务，提升运维效率。

问答 2024-01-16 来自：开发者社区

大数据计算MaxCompute咱们的dataWorks平台，用mysql查询出来的结果这个可以改吗？

大数据计算MaxCompute咱们的dataWorks平台，用mysql查询出来的结果，最多只支持导出1W的数据量，这个可以改吗？另外最多上限能导出多少数据量？

问答 2023-12-30 来自：开发者社区

datahub可以使用离线同步到MaxCompute吗，在dataworks平台上？

文章 2023-12-29 来自：开发者社区

从0到1介绍一下开源大数据服务平台dataService

1.背景&现状在大数据领域也已经工作了多年，无论所待过的大公司还是小公司，统计出来的数据经常需要查询展示，比如说：用做大屏或者报表或者给一些线上服务提供数据源，经常会要用代码写一套接口服务，需要进行开发-测试-上线等一套流程，开发效率非常低下，导致开发一个服务需要接近0.5天或者1天的时间。不少大厂其实对于这个平台也有建设，甚至拿出来单独售卖((比如阿里datawork里面的数据服务、网....

文章 2023-12-29 来自：开发者社区

从0到1介绍一下开源大数据比对平台dataCompare

1.背景&现状在大数据领域也已经工作了多年，无论所待过的大公司还是小公司，都会遇到集群升级迁移过程中据搬迁等相关工作，经常会碰到搬迁之后，搬迁的数据是不是能对的上呢？两边数据究竟是不是一致的呢？如果不一致，那又有哪些差异呢？能不能更快地找到差异解决问题呢？之前经常每个开发的同学自己写一些SQL 脚本进行去比对的，而且也没有一个评估标准。这样的话效率比较低下。其实在《阿里巴巴大数据之路》这....

文章 2023-12-29 来自：开发者社区

开源大数据比对平台设计与实践—dataCompare

1.背景&现状在大数数据开发过程中，经常会遇到数据迁移或者升级的工作，或者不同的业务方根据需求加工了一下数据，但是认为两边的数据还是一样，因此会出现需要去手动比对数据。那两边数据究竟是不是一致的呢？如果不一致，那又有哪些差异呢？如果没有平台的话，需要手动写一些SQL 脚本进行去比对的，而且也没有一个评估标准。这样的话效率比较低下。《阿里巴巴大数据之路》这本其实有提到这样一个平台，但是由于....

文章 2023-12-29 来自：开发者社区

一、引言：在大数据建设过程中，通用的建设思路：从数据埋点——数据采集——数据清洗(ETL)——数据服务——数据可视化。整体流程可参考下图：这篇文章主要想和大家聊聊的是，数据服务平台的建设。二、背景：由于数据加工完成的数据，需要给不同的应用和产品提供服务，包含：数据产品、实时大屏、线上应用、BI自主分析。由于业务场景不同，在根据不同的场景下选择的数据存储也多种多样，图中罗列：Hive、Mysql....

文章 2023-12-29 来自：开发者社区

开源大数据比对平台(dataCompare)新版本发布

开源大数据比对平台设计与实践—dataCompare前文介绍了开源大数据比对平台设计和实践，最近将整体业务流程进行了完善和开发。一、目前当前版本实现了如下功能：(1)低代码简单配置完成数据比对核心功能(2)数据量级比对、数据一致性比对二、系统功能演示系统主页(系统功能和技术栈介绍)数据库配置信息页面(目前已经实现了MySQL、Hive)job配置信息页面(选择数据源和表以及主键和对比字段)对比结....

文章 2023-12-05 来自：开发者社区

某工商信息商业查询平台基于阿里云数据库 SelectDB 版内核 Apache Doris 的湖仓一体建设实践

2023 年 3 月，在阿里云瑶池数据库峰会上，阿里云与飞轮科技正式达成战略合作协议，双方旨在共同研发名为“阿里云数据库 SelectDB 版”的新一代实时数据仓库，为用户提供在阿里云上的全托管服务。 SelectDB 是飞轮科技基于 Apache Doris 内核打造的聚焦于企业大数据实时分析需求的企业级产品。因此阿里云数据库 Selec...

文章 2023-12-02 来自：开发者社区

Java智慧工地管理平台可视化大数据建造工地APP源码

建筑行业是国民经济的重要物质生产部门和支柱产业之一，同时，建筑业也是一个安全事故多发的高危行业。如何加强施工现场安全管理、降低事故发生频率、杜绝各种违规操作和不文明施工、提高建筑工程质量，是摆在各级政府部门、施工企业面前的一道难题。构建智能监控防范体系，可以有效地弥补传统方法和技术监控上的缺陷，实现对人员、机械、材料、环境等的全方位实时监控，变被动“监督”为主动“监控”。实现真正意义上的事前预警....