context switch 研究
2015-01-08
问题
不知道是不是大家都有用过 ajax 来获取数据的经验，一般的使用场景就是比如定时刷新看是否有新的数据。那不知道大家是否有运维过这样的应用。我的经验是当用户量上去以后，系统的 cpu load 会居高不下。我有一次这样的排查经验，系统的 cpu load 非常高，达到 3000%，一直找不到问题所在，经过排查，找出来问题所在是前端 ajax 请求太频繁，设置了 5 秒轮训，导致 linux 服务器大量的 context switch，消耗了大量的 cpu。
实验
我们来看下面这段代码：
import java.util.concurrent.atomic.AtomicReference;import java.util.concurrent.locks.LockSupport;public final class ContextSwitchTest { static final int RUNS = 3; static final int ITERATES = 1000000; static AtomicReference<Thread> turn = new AtomicReference<Thread>(); static final class WorkerThread extends Thread { volatile Thread other; volatile int nparks; public void run() { final AtomicReference<Thread> t = turn; final Thread other = this.other; if (turn == null || other == null) throw new NullPointerException(); int p = 0; for (int i = 0; i < ITERATES; ++i) { while (!t.compareAndSet(other, this)) { LockSupport.park(); ++p; } LockSupport.unpark(other); } LockSupport.unpark(other); nparks = p; System.out.println("parks: " + p); } } static void test() throws Exception { WorkerThread a = new WorkerThread(); WorkerThread b = new WorkerThread(); a.other = b; b.other = a; turn.set(a); long startTime = System.nanoTime(); a.start(); b.start(); a.join(); b.join(); long endTime = System.nanoTime(); int parkNum = a.nparks + b.nparks; System.out.println("Average time: " + ((endTime - startTime) / parkNum) + "ns"); } public static void main(String[] args) throws Exception { for (int i = 0; i < RUNS; i++) { test(); } }}
我们先来看看系统的负载
[root@centos101 ~]# vmstat -w 1procs -------------------memory------------------ ---swap-- -----io---- --system-- -----cpu------- r b swpd free buff cache si so bi bo in cs us sy id wa st 0 0 646344 1293172 2660988 44481292 0 0 1 15 0 0 2 0 98 0 0 0 0 646344 1292920 2660988 44481292 0 0 0 40 1550 1789 0 0 100 0 0 1 0 646344 1293044 2660988 44481292 0 0 0 44 1456 2060 0 0 100 0 0 0 0 646344 1293040 2660988 44481292 0 0 0 0 1802 2028 0 0 100 0 0 3 0 646344 1293224 2660988 44481292 0 0 0 4 1930 2332 1 0 99 0 0 1 0 646344 1292596 2660988 44481308 0 0 0 76 1766 2681 1 0 99 0 0 2 0 646344 1292844 2660988 44481308 0 0 0 4 1324 1774 0 0 100 0 0 1 0 646344 1293620 2660988 44481308 0 0 0 76 1560 2171 0 0 99 0 0
现在我们运行上面的程序：
[root@centos101 hushi]# java ContextSwitchTest
现在的系统负载为：
[root@centos101 ~]# vmstat -w 1procs -------------------memory------------------ ---swap-- -----io---- --system-- -----cpu------- r b swpd free buff cache si so bi bo in cs us sy id wa st 1 0 646316 1432056 2663212 44338940 0 0 1 15 0 0 2 0 98 0 0 1 0 646316 1431660 2663212 44338940 0 0 0 0 2959 213549 1 2 97 0 0 2 0 646316 1431668 2663212 44338940 0 0 0 4 2862 211135 1 2 97 0 0 1 0 646316 1431760 2663212 44338940 0 0 0 16 2931 211029 1 2 97 0 0 3 0 646316 1431908 2663212 44338940 0 0 0 172 2835 209765 1 2 97 0 0 2 0 646316 1431908 2663212 44338940 0 0 0 0 2577 241335 1 2 97 0 0 3 0 646316 1431624 2663212 44338944 0 0 0 4 3114 279214 2 1 97 0 0 4 0 646316 1431436 2663212 44338944 0 0 0 0 2550 278861 2 1 97 0 0
请注意 vmstat 结果中的 cs 列，它的意思就是系统的 context switch 的次数。从两次数据可以看出 context switch 从 2000 左右激增到 200000 左右，增加了 100 倍。 运行后的结果为：
[root@centos101 hushi]# java ContextSwitchTestparks: 960929parks: 960085Average time: 8177nsparks: 937288parks: 937248Average time: 8265nsparks: 875644parks: 876710Average time: 7738ns[root@centos101 hushi]#
现在我们绑定这个程序到某一个 cpu 上，看看执行结果会是怎么样的。
[root@centos101 hushi]# taskset -c 2 java ContextSwitchTestparks: 988759parks: 1000000Average time: 2634nsparks: 999242parks: 998704Average time: 2593nsparks: 1000001parks: 986989Average time: 2634ns[root@centos101 hushi]#
vmstat 监控到的数据为：
[root@centos101 ~]# vmstat -w 1procs -------------------memory------------------ ---swap-- -----io---- --system-- -----cpu------- r b swpd free buff cache si so bi bo in cs us sy id wa st 1 0 646408 1340460 2663304 44347108 0 0 1 15 0 0 2 0 98 0 0 1 0 646408 1340728 2663304 44347108 0 0 0 0 2658 393339 1 2 97 0 0 1 0 646408 1341392 2663304 44347108 0 0 4 124 3042 391449 1 2 97 0 0 4 0 646408 1339848 2663304 44347108 0 0 0 0 2844 395311 1 2 97 0 0 2 0 646408 1337472 2663304 44347108 0 0 0 4 2988 392845 1 3 97 0 0 3 0 646408 1337212 2663304 44347108 0 0 0 4 3096 396890 1 2 97 0 0 2 0 646408 1337384 2663304 44347108 0 0 0 4 2963 396925 1 3 97 0 0
什么是 context switch
context 就是我们常说的上线文，switch 必然设计到 2 个 context。过程如下图：
那 context 具体是什么什么，其实就是 process control block，如下图：
具体包括：
- 进程号
- 进程状态：new, ready, running, waiting, halted…
- 程序计数器
- 寄存器：通用register, stack pointer, PSW等
- CPU 调度信息：进程优先级, 在ready queue中的PCB指针，调度参数。
- 内存管理信息：用了多少CPU time, 使用CPU的Max time, Quantumpage tables, segment tables. Base/limit register, page table(if paging 内存管理)
- I/O 状态信息：分配给进程的驱动，打开的文件列表，未完成的I/O request，在I/O queue中的等待编号
引起 context switch 的原因
- 当前执行任务的时间片用完之后, 系统CPU正常调度下一个任务
- 当前执行任务碰到IO阻塞, 调度器将挂起此任务, 继续下一任务
- 多个任务抢占锁资源, 当前任务没有抢到,被调度器挂起, 继续下一任务
- 用户代码挂起当前任务, 让出CPU时间
- 硬件中断
context switch 的影响
上下文切换会带来直接和间接两种因素影响程序性能的消耗
- 直接消耗包括: CPU寄存器需要保存和加载，系统调度器的代码需要执行，TLB实例需要重新加载，CPU 的pipeline需要刷掉
- 间接消耗指的是多核的cache之间得共享数据，间接消耗对于程序的影响要看线程工作区操作数据的大小
