文章内容

问题描述

hadoop-worker004、hadoop-worker005有时候会断连接,ambari显示datanode dead,看日志里提示datanode OOM

解决方案

查看是由于hadoop-worker004、hadoop-worker005 CPU和IO负载压力太大导致的

经调查由于sql查询的数据在hadoop-worker004、hadoop-worker005上属于热点数据,且这两个节点数据比较多,需要做rebalance

其他

查看IO负载命令

1
2
utity占比,越接近100%,磁盘IO压力越大
iostat -dmx 1