文章 2023-10-19 来自:开发者社区

大厂案例 - 腾讯万亿级 Elasticsearch 架构实践2

2.3 健壮性架构接下来我们来看看在集群健壮性方面的架构,前面是讲的扩展性,下面我们来看看健壮性。ES 是一个典型的两层的查询结构,整体上来看的话,ES 的查询包含三大类:大查询、高并发的点查询、高并发的写入。大查询对于内存资源要求很高,所以很容易打垮单个节点的内存,进而逐步压垮集群中的每一个节点;高并发点查询对于计算和 I/O 资源要求比较高,很容易导致 I/O 或者是计算资源的争抢,引起长尾....

大厂案例 - 腾讯万亿级 Elasticsearch 架构实践2
文章 2023-10-19 来自:开发者社区

大厂案例 - 腾讯万亿级 Elasticsearch 架构实践1

概述Elasticsearch(ES)作为首选的开源分布式搜索分析引擎,通过一套系统轻松满足用户的日志实时分析、全文检索、时序数据分析等多种需求,大幅降低大数据时代发掘数据价值的成本。腾讯在公司内部丰富的场景中大规模使用 ES,同时联合 Elastic 公司在腾讯云上提供内核增强版的 ES 云服务。大规模、丰富的实践场景,反推着腾讯在 ES 内核的稳定性、成本、性能等方面不断的进行演进腾讯通过执....

大厂案例 - 腾讯万亿级 Elasticsearch 架构实践1
文章 2023-08-24 来自:开发者社区

完美避坑!记一次Elasticsearch集群迁移架构实战

前言Elastic自身设计了集群分片的负载平衡机制,当有新数据节点加入集群或者离开集群,集群会自动平衡分片的负载分布。需求背景公司原有大数据平台基于公有云构建,由于种种原因,现在需要迁移到自建机房,Elasticsearch集群承担了大数据平台主要的对外查询需求,也有部分实时计算需求基于Elasticsearch实现,所以需要在不影响应用系统体验的情况下做到平滑的迁移。本次分享讲述我们如何进行平....

文章 2022-11-26 来自:开发者社区

【ElasticSearch实战】——封装java操作es基础架构

创建ES专栏很久了,但是写的文章非常的少,实在是项目比较忙,2018年最后一天了也该总结一下对es的封装的东西了,这篇博客我们通过java对es批量插入为主流程,来介绍一下java对接es 的全部过程;需求处理流程: 从mysql中插入手机号7位所有的组合,然后通过程序处理补充后四位所有的可能,然后组成一个庞大的手机号码库,然后在讲手机号加密,为其他的应用提供 手机号明密文转换服务;1、引入ja....

文章 2022-11-17 来自:开发者社区

ES架构设计:从单节点服务到百万节点 Elasticsearch 高可用集群系统架构设计

Elasticsearch 高可用系统架构设计高可用性即:High Availability(HA),高可用性是分布式系统架构设计的重要因素之一,简单来说,可用性越高的集群在发生意外情况(如断电、节点宕机)的时候,服务发生故障而不可用的可能性越低,也就是降低了意外情况而对整体服务产生的影响的可能性。高可用性原理ES使用数据分片(shard)来提高服务的可用性,将数据分散保存在不同的节点上以降低当....

文章 2022-10-21 来自:开发者社区

Elasticsearch 分布式架构原理

前言前面介绍了很多ES使用过程中的具体实战知识点,本文主要是谈谈ES分布式架构原理。一、Elasticsearch特点elasticsearch是近实时的分布式搜索分析引擎,底层实现基于Lucene,核心思想是在多台机器上启动多个es进程实例,组成一个es集群。以下是es的几个概念:接近实时es是一个接近实时的搜索平台,这就意味着,从索引一个文档直到文档能够被搜索到有一个轻微的延迟集群(clus....

Elasticsearch 分布式架构原理
文章 2022-10-20 来自:开发者社区

Elasticsearch结合MySQL的两种架构模式对比

数据库同步的管道架构MySQL作为数据库的核心能力范围就是在线业务的事务处理和查询访问。因此无论单体应用也好,微服务也好,都会以多连接请求的形式,将业务数据写入MySQL;作为专业的Elasticsearch,往往在整个过程中,扮演着从MySQL复制数据、建立索引、提供搜索的角色。这是最普遍存在的一种应用场景。往往从MySQL同步数据到Elasticsearch的过程,就属于异构系统之间的协作了....

Elasticsearch结合MySQL的两种架构模式对比
问答 2022-10-17 来自:开发者社区

阿里云Elasticsearch什么时候对网络架构进行了调整?

阿里云Elasticsearch什么时候对网络架构进行了调整?

问答 2022-10-17 来自:开发者社区

与旧框架相比,阿里云Elasticsearch新网络架构,有什么不一样?

与旧框架相比,阿里云Elasticsearch新网络架构,有什么不一样?

问答 2022-08-04 来自:开发者社区

阿里云 Elasticsearch的产品架构是怎样的?

阿里云 Elasticsearch的产品架构是怎样的?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

金融级分布式架构

SOFAStack™(Scalable Open Financial Architecture Stack)是一套用于快速构建金融级分布式架构的中间件,也是在金融场景里锤炼出来的最佳实践。

+关注
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问