文章 2023-10-12 来自:开发者社区

【大数据处理框架】Hadoop大数据处理框架,包括其底层原理、架构、编程模型、生态圈

Hadoop是一个开源的大数据处理框架,它包含了底层的分布式文件系统和分布式计算资源管理系统,以及高级的数据处理编程接口。底层原理Hadoop是一个开源的大数据处理框架,它的底层原理是基于分布式计算和存储的。首先,我们来了解一下HDFS。HDFS是Hadoop的核心组件之一,它是一个分布式文件系统,将文件分成多个数据块,并存储在集群中的不同节点上,每个数据块的默认大小为128MB。为了保证数据的....

文章 2023-10-12 来自:开发者社区

【大数据处理框架】Spark大数据处理框架,包括其底层原理、架构、编程模型、生态圈

Spark大数据处理框架是一个开源的大数据处理框架,它可提供高效的内存计算,可在弹性、分布式的集群上运行。Spark框架的优势在于它能够更加高效地利用计算资源,提高数据处理速度,因此在大数据处理领域中广受欢迎。Spark框架的底层原理Spark框架的底层原理基于RDD(Resilient Distributed Datasets)模型,它是Spark的核心概念之一。RDD是一种抽象的数据结构,可....

文章 2022-12-19 来自:开发者社区

大数据繁荣生态圈组件之实时大数据Druid小传(二)Druid架构与原理

Druid架构与原理1. Druid系统架构详解Druid有5种节点:1.Overlord2.MiddleManager3.Coordinator4.Historical5.Broker以下是这几个节点的主要功能:1.Overlord、MiddleManager负责处理索引任务Overlord是MiddleManager的master节点2.Coordinator、Historical负责管理分....

大数据繁荣生态圈组件之实时大数据Druid小传(二)Druid架构与原理
文章 2022-10-12 来自:开发者社区

《JAVA生态圈技术总结》之 微服务架构蓝图总览(下)

正文六、微服务网关网关是整个系统对外暴露的唯一入口,它封装了系统内的所有微服务,对外看来,别人只知道也只能通过网关才可以和系统进行交互。网关对所有请求进行非业务功能的处理,然后再将请求发送给内部指定的微服务进行业务上的处理。总的来说,网关最主要的功能如下:反向路由;安全认证;限流熔断;日志监控;现在常见的网关有Kong、Zuul、Spring Cloud Gateway等;微服务网关:在实际应用....

《JAVA生态圈技术总结》之 微服务架构蓝图总览(下)
文章 2022-10-12 来自:开发者社区

《JAVA生态圈技术总结》之 微服务架构蓝图总览(上)

正文一、微服务定义1.1 定义一微服务是一种架构风格,将单体应用划分成一组小的服务,尽量符合单一职责的原则,使得服务之间相互协作,实现业务功能;每个服务都运行在独立的进程、虚拟机、容器、服务器中,服务之间采用轻量级的通信机制(HTTP/JSON)进行协作;每个服务围绕各自的业务能力进行构建,并且能够通过自动化机制独立地部署,相互之间无部署依赖;每个服务可以使用不同的技术栈进行开发;1.2 定义二....

《JAVA生态圈技术总结》之 微服务架构蓝图总览(上)
文章 2022-05-31 来自:开发者社区

《Java生态圈技术总结》之 微服务架构蓝图总览

目录导航一、微服务定义1.1 定义一1.2 定义二二、微服务利弊2.1 优点2.2 缺点三、微服务的适用性3.1 康威法则3.2 生产力3.3 架构演进四、服务分层五、服务注册发现六、微服务网关七、微服务配置中心八、微服务通信九、服务监控9.1 监控体系9.2 监控架构9.3 全链路监控十、断路器与流量控制十一、DevOps(云原生架构系列)十二、容器云一、微服务定义1.1 定义一微服务是一种架....

文章 2017-08-02 来自:开发者社区

深度剖析:全面了解“超融合架构”生态圈

今年,云计算领域最火的概念是什么?当然是“超融合”。 随着VMware、Nutanix、SMARTX等领导厂商先后进入超融合领域,带火了“超融合”概念,国内云计算和存储厂商也纷纷声称自己推出了超融合架构方案。一时间,国内超融合生态圈厂商众多,颇有些混乱和看不清楚的感觉。 目前已经入局的超融合厂商可以划分为哪几类?他们的超融合方案又有哪些侧重点?几类厂商的竞合关系又是怎样的?为解答上述关键性问题.....

文章 2016-05-06 来自:开发者社区

大咖直播第八期问答整理:有货李健讲解六层混合云架构打造中国最潮生态圈

3月29日云栖社区在线实时分享顺利结束,本次由有货CTO李健讲解六层混合云架构打造中国最潮生态圈。本次直播中现场观众提出了很多技术问题,我们把这些问题和答案整理好分享给大家。 问答列表: 不同网络设置不同的超时时间,给个例子?比如2G设置多少,3G设置多少,4G设置多少,WiFi设置多少? HttpDns的话,要是IP丢了的话怎么办 重构是和业务开发同时进行的吗?是同一批操作的吗? 为什么要...

文章 2016-03-31 来自:开发者社区

有货:六层混合云架构打造中国最潮生态圈

直播视频: (点击图片查看视频) 幻灯片下载地址:https://oss.aliyuncs.com/yqfiles/7ded2aa3052bb9226fd2af0a08873750.pdf 3月18日云栖社区在线实时分享顺利结束,本次由有货CTO李建分享了有货为了应对流量的爆发式增长,对其整个系统做了大面积的系统重构,在数据中心、应用系统等方面全变改进,全方面地提升系统的可用性。本次视...

有货:六层混合云架构打造中国最潮生态圈

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

金融级分布式架构

SOFAStack™(Scalable Open Financial Architecture Stack)是一套用于快速构建金融级分布式架构的中间件,也是在金融场景里锤炼出来的最佳实践。

+关注