從 2.6.24 版本開始，linux 內(nèi)核提供了一個叫做 cgroups（控制組）的特性。cgroups 就是 control groups 的縮寫，用來對一組進(jìn)程所占用的資源做限制、統(tǒng)計、隔離。也是目前輕量級虛擬化技術(shù) lxc （linux container）的基礎(chǔ)之一。每一組進(jìn)程就是一個控制組，也就是一個 cgroup。cgroups 分為幾個子系統(tǒng)，每個子系統(tǒng)代表一種設(shè)施或者說是資源控制器，用來調(diào)度某一類資源的使用，如 cpu 時鐘、內(nèi)存、塊設(shè)備 等。在實現(xiàn)上，cgroups 并沒有增加新的系統(tǒng)調(diào)用，而是表現(xiàn)為一個 cgroup 文件系統(tǒng)，可以把一個或多個子系統(tǒng)掛載到某個目錄。如

復(fù)制代碼 代碼如下:

mount -t cgroup -o cpu cpu /sys/fs/cgroup/cpu

就將 cpu 子系統(tǒng)掛載在了 /sys/fs/cgroup/cpu 。也可以在一個目錄上掛載多個子系統(tǒng)，甚至全部掛載到一個目錄也是可以的，不過我覺得，把每個子系統(tǒng)都掛載在不同目錄會有更好的靈活性。用 mount|awk '$5=="cgroup" {print $0}' 可以看到當(dāng)前掛載的控制組。用 cat /proc/cgroups 可以看到當(dāng)前所有控制組的狀態(tài)。下面這個腳本，可以把全部子系統(tǒng)各種掛載到各自的目錄上去。

復(fù)制代碼 代碼如下:

#!/bin/bash

cgroot="${1:-/sys/fs/cgroup}" subsys="${2:-blkio cpu cpuacct cpuset devices freezer memory net_cls net_prio ns perf_event}"

mount -t tmpfs cgroup_root "${cgroot}" for ss in $subsys; do mkdir -p "$cgroot/$ss" mount -t cgroup -o "$ss" "$ss" "$cgroot/$ss" done

看看那些目錄里都有些啥，比如 ls 一下 /sys/fs/cgroup/cpu。

復(fù)制代碼 代碼如下:

cgroup.event_control cpu.cfs_period_us cpu.rt_period_us cpu.shares notify_on_release tasks cgroup.procs cpu.cfs_quota_us cpu.rt_runtime_us cpu.stat release_agent

其中 “cpu.” 開頭的就是這個子系統(tǒng)里特有的東西。其他的那些是每個子系統(tǒng)所對應(yīng)目錄里都有的。這些文件就是用來讀取資源使用信息和進(jìn)行資源限制的。要創(chuàng)建一個控制組，就在需要的子系統(tǒng)里創(chuàng)建一個目錄即可。如 mkdir /sys/fs/cgroup/cpu/foo 就創(chuàng)建了一個 /foo 的控制組。在新建的目錄里就會出現(xiàn)同樣一套文件。在這個目錄里，也一樣可以繼續(xù)通過創(chuàng)建目錄來創(chuàng)建 cgroup。也就是說，cgroup 是可以和目錄結(jié)構(gòu)一樣有層次的。對與每個子系統(tǒng)掛載點點目錄，就相當(dāng)于根目錄。每一條不同的路徑就代表了一個不同的 cgroup。在不同的子系統(tǒng)里，路徑相同就代表了同一個控制組。如，在 cpu、memory 中都有 foo/bar 目錄，就可以用 那 /foo/bar 來操作 cpu、memory 兩個子系統(tǒng)。對于同一個子系統(tǒng)，每個進(jìn)程都屬于且只屬于一個 cgroup，默認(rèn)是在根 cgroup。層次結(jié)構(gòu)方便了控制組的組織和管理，對于某些配置項來說，層次結(jié)構(gòu)還和資源分配有關(guān)。另外，也可以修改某個目錄的 owner ，讓非 root 用戶也能操作某些特定的安全組。

cgroups 的設(shè)置和信息讀取是通過對那些文件的讀寫來進(jìn)行的。例如

復(fù)制代碼 代碼如下:

# echo 2048 >/sys/fs/cgroup/cpu/foo/cpu.shares

就把 /foo 這個控制組的 cpu.shares 參數(shù)設(shè)為了 2048。 前面說，有些文件是每個目錄里共有的。那些就是通用的設(shè)置。其中，tasks 和 cgroups.procs 是用來管理控制組中的進(jìn)程的。要把一個進(jìn)程加入到某個控制組，把 pid 寫入到相應(yīng)目錄的 tasks 文件即可。如

復(fù)制代碼 代碼如下:

# echo 5678 >/sys/fs/cgroup/cpu/foo/tasks

就把 5678 進(jìn)程加入到了 /foo 控制組。那么 tasks 和 cgroups.procs 有什么區(qū)別呢？前面說的對“進(jìn)程”的管理限制其實不夠準(zhǔn)確。系統(tǒng)對任務(wù)調(diào)度的單位是線程。在這里，tasks 中看到的就是線程 id。而 cgroups.procs 中是線程組 id，也就是一般所說的進(jìn)程 id 。將一個一般的 pid 寫入到 tasks 中，只有這個 pid 對應(yīng)的線程，以及由它產(chǎn)生的其他進(jìn)程、線程會屬于這個控制組，原有的其他線程則不會。而寫入 cgroups.procs 會把當(dāng)前所有的線程都加入進(jìn)去。如果寫入 cgroups.procs 的不是一個線程組 id，而是一個一般的線程 id，那會自動找到所對應(yīng)的線程組 id 加入進(jìn)去。進(jìn)程在加入一個控制組后，控制組所對應(yīng)的限制會即時生效。想知道一個進(jìn)程屬于哪些控制組，可以通過 cat /proc//cgroup 查看。 要把進(jìn)程移出控制組，把 pid 寫入到根 cgroup 的 tasks 文件即可。因為每個進(jìn)程都屬于且只屬于一個 cgroup，加入到新的 cgroup 后，原有關(guān)系也就解除了。要刪除一個 cgroup，可以用 rmdir 刪除相應(yīng)目錄。不過在刪除前，必須先讓其中的進(jìn)程全部退出，對應(yīng)子系統(tǒng)的資源都已經(jīng)釋放，否則是無法刪除的。

前面都是通過文件系統(tǒng)訪問方式來操作 cgroups 的。實際上，也有一組命令行工具。

lssubsys -am 可以查看各子系統(tǒng)的掛載點，還有一組“cg”開頭的命令可以用來管理。其中 cgexec 可以用來直接在某些子系統(tǒng)中的指定控制組運行一個程序。如 cgexec -g "cpu,blkio:/foo" bash 。其他的命令和具體的參數(shù)可以通過 man 來查看。

下面是個 bash 版的 cgexec，演示了 cgroups 的用法，也可以在不確定是否安裝命令行工具的情況下使用。

復(fù)制代碼 代碼如下:

#!/bin/bash

# usage: # ./cgexec.sh cpu:g1,memory:g2/g21 sleep 100

blkio_dir="/sys/fs/cgroup/blkio" memory_dir="/sys/fs/cgroup/memory" cpuset_dir="/sys/fs/cgroup/cpuset" perf_event_dir="/sys/fs/cgroup/perf_event" freezer_dir="/sys/fs/cgroup/freezer" net_cls_dir="/sys/fs/cgroup/net_cls" cpuacct_dir="/sys/fs/cgroup/cpuacct" cpu_dir="/sys/fs/cgroup/cpu" hugetlb_dir="/sys/fs/cgroup/hugetlb" devices_dir="/sys/fs/cgroup/devices"

groups="$1" shift

IFS=',' g_arr=($groups) for g in ${g_arr[@]}; do IFS=':' g_info=($g) if [ ${#g_info[@]} -ne 2 ]; then echo "bad arg $g" >&2 continue fi g_name=${g_info[0]} g_path=${g_info[1]} if [ "$g_path" == "${g_path#/}" ]; then g_path="/$g_path" fi echo $g_name $g_path var="${g_name}_dir" d=${!var} if [ -z "$d" ]; then echo "bad cg name $g_name" >&2 continue fi path="$qusiuey${g_path}" if [ ! -d "$path" ]; then echo "cg not exists" >&2 continue fi echo "$$" >"${path}/tasks" done

exec $*

cgroups 中的東西很多，本來打算只寫一篇的，后來覺著還是分成幾篇說得更明白些。之后還會寫一些具體使用的東西。