相关文章推荐
挂过科的韭菜  ·  小米又起诉自媒体_手机新浪网·  11 月前    · 
一身肌肉的小马驹  ·  无敌的欧冠冠军拜仁·留了点体面的巴黎_手机新浪网·  1 年前    · 
淡定的金鱼  ·  柏林开幕:九大名导齐聚主竞赛,这届金熊战火够激烈!·  2 年前    · 
豁达的单车  ·  特斯拉官宣第一辆电动皮卡Cybertruck ...·  2 年前    · 
强悍的牛排  ·  完美敌人结局什么意思 - 抖音·  2 年前    · 
Code  ›  Starrocks执行查询报错:Memory of process exceed limit. Used: XXX, Limit: XXX. Mem usage has exceed the limi
云计算 memory
https://developer.aliyun.com/article/1091233
奔跑的黄瓜
1 年前
产品 解决方案 文档与社区 免费试用 定价 云市场 合作伙伴 支持与服务 了解阿里云
备案 控制台 登录/注册
开发者社区
首页
探索云世界
新手上云 云上应用构建 云上数据管理 云上探索人工智能
云计算 弹性计算 无影 存储 网络 倚天
云原生 容器 serverless 中间件 微服务 可观测 消息队列
数据库 关系型数据库 NoSQL数据库 数据仓库 数据管理工具 PolarDB开源 向量数据库

热门

Modelscope模型即服务 弹性计算 云原生 数据库 物联网 云效DevOps 龙蜥操作系统 平头哥 钉钉开放平台
大数据 大数据计算 实时数仓Hologres 实时计算Flink E-MapReduce DataWorks Elasticsearch 机器学习平台PAI 智能搜索推荐
人工智能 机器学习平台PAI 视觉智能开放平台 智能语音交互 自然语言处理 多模态模型 pythonsdk 通用模型
开发与运维 云效DevOps 钉钉宜搭 支持服务 镜像站 码上公益
问产品
动手实践
考认证
TIANCHI大赛
活动广场
任务中心 飞天Club技术沙龙 训练营 话题 开发者评测 乘风者计划 阿里云MVP 直播
下载
镜像站 技术资料 插件
本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议 》和 《 阿里云开发者社区知识产权保护指引 》。如果您发现本社区中有涉嫌抄袭的内容,填写 侵权投诉表单 进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

问题背景

Starrocks执行查询报错:Memory of process exceed limit. Used: XXX, Limit: XXX. Mem usage has exceed the limit of BE

image


分析过程

1、从报错信息是超过BE了进程配置的内存限制。

2、BE节点介绍:BackEnd简称BE,是StarRocks的后端节点,负责数据存储,计算执行,以及compaction,副本管理等工作。

3、查看机器节点的内存大小比如内存32G,BE的mem_limit是90% 软限是80%,32GB*0.8=25GB,再结合上图的报错信息的Limit内存大小来看,就是超过软限内存了

image


方案结论

1、增加节点内存:随着业务数据量增加内存使用肯定也会同步增加,无法应对突然导入数据量增大的情况。

2、优化内存表:StarRocks支持把表数据全部缓存在内存中,用于加速查询,内存表适合数据行数不多维度表的存储。但是内存表在实际使用中优化并不完善,建议可以先不使用内存表。

3、内存优化参数:可以参考Starrocks官网的管理并调优内存资源来做调优: https://docs.starrocks.io/zh-cn/latest/administration/Memory_management


适用范围

开源大数据平台E-MapReduce

postgre分页查询报错:ERROR: LIMIT #,# syntax is not supported 建议:Use separate LIMIT and OFFSET clauses
postgre分页查询报错:ERROR: LIMIT #,# syntax is not supported 建议:Use separate LIMIT and OFFSET clauses
Lazy Join Optimizations Without Upfront Statistics DRIZZLE: Low latency execution for apache spark Borgaonkar-New-Adventures-In-Spying-3G-And-4G-Users-Locate-Track-And-Monitor
 
推荐文章
挂过科的韭菜  ·  小米又起诉自媒体_手机新浪网
11 月前
一身肌肉的小马驹  ·  无敌的欧冠冠军拜仁·留了点体面的巴黎_手机新浪网
1 年前
淡定的金鱼  ·  柏林开幕:九大名导齐聚主竞赛,这届金熊战火够激烈!
2 年前
豁达的单车  ·  特斯拉官宣第一辆电动皮卡Cybertruck下线!马斯克发文祝贺,曾称该车年销量可超25万辆|特斯拉_新浪财经_新浪网
2 年前
强悍的牛排  ·  完美敌人结局什么意思 - 抖音
2 年前
今天看啥   ·   Py中国   ·   codingpro   ·   小百科   ·   link之家   ·   卧龙AI搜索
删除内容请联系邮箱 2879853325@qq.com
Code - 代码工具平台
© 2024 ~ 沪ICP备11025650号