性能管理

2022-04-25 01:03

集群CLI工具

通过 YARN、mapred 等CLI工具，可以监控集群作业的运行

列出当前运行的作业应用

yarn application -list
img

YARN CLI 的所有命令用法

yarn application -help

列出当前运行的作业

mapred job -list
img

列出之前运行的所有历史作业

mapred job -list all

列出运行的队列

mapred queue -list

img

列出作业队列运行的作业

mapred queue -info default -showJobs

image-20220420170158166

mapred job CLI 的所有命令用法

mapred job -help

image-20220420170248776

系统自带工具

通过操作系统自带的工具，可以监控到节点的物理运行性能。

master节点

监控每个节点的资源占用信息

vmstat

image-20220420170313377

该命令显示信息的简要含义

  • Procs

r 等待运行的进程数

b 不可中断的睡眠的进程数

  • Memory

swpd 已使用的虚拟内存空间

free 空闲的内存空间

buff 作为数据预存缓冲使用的内存空间

cache 作为高速缓存使用的内存空间

inact 非活动的内存空间

active 活动的内存空间

  • Swap

si 从磁盘交换进内存的空间

so 从内存交换进磁盘的空间

  • IO

bi 从块设备读取到的块数

bo 写入块设备的块数

  • System

in 每秒的中断数，包括时钟

cs 每秒的上下文切换数

  • CPU

显示进程在各个运行模式或状态下占用CPU时间的百分比

us 非内核运行模式（用户进程）的时间

sy 内核运行模式（系统进程）的时间

id 空闲时间

wa 等待IO的时间

st 从虚拟机借用的时间

查看磁盘使用的信息

vmstat -D

image-20220420170346812

vmstat -d

image-20220420170402792

该命令显示信息的简要含义

  • Reads

total 完成的读操作

merged 合并的读操作

sectors 读取的扇区

ms 读操作所花时间，毫秒

  • Writes

total 完成的写操作

merged 合并的写操作

sectors 写入的扇区

ms 写操作所花时间，毫秒

  • I/O

cur 当前正处理的I/O

s：I/O所花时间，秒

slave节点

在执行job时

vmstat -a -w 2

image-20220420173514784

各项参数含义如下

us、sy、id 显示CPU占用信息

r、b 显示运行队列

bi、bo 显示I/O操作信息

swpd、free 显示内存使用信息

显示磁盘性能

vmstat -D

image-20220420173555198

vmstat -d

image-20220420173617123

client节点

vmstat -s

image-20220420173918652

vmstat

vmstat的所有命令用法

vmstat -help]