docker資源控制管理Cgroup的實現
前言
1.docker 使用cgroup控制資源,K8S 裡面也有limit(使用上限)
2.docker通過cgroup來控制容器使用的資源配額,包括CPU、內存、磁盤三大方面,基本覆蓋瞭常見的資源配額和使用量控制。
3.Cgroup 是 Control group 的簡寫,是 Linux 內核提供的一種限制所使用物理資源的機制,包括 CPU、內存 和 IO 這三大方面,基本覆蓋瞭常見的資源配額和使用量控制
4.cgroup是一種資源控制手段,也是容器隔離的6個名稱空間的一種實現手段
一、對CPU使用率的控制
1、 使用stress工具測試CPU和內存使用情況
mkdir /opt/stress vim /opt/stress/Dockerfile —————————————————————————————————————————————————————————————————————————————— FROM centos:7 RUN yum -y install wget RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo #epel源,可以使用擴展軟件包(stress) RUN yum -y install stress #可以指定產生線程,使用循環語句,測試用' —————————————————————————————————————————————————————————————————————————————— cd /opt/stress/ systemctl restart docker.service #建議重啟docker,不然下面的操作可能會失敗,卡在wget docker build -t centos:stress . #生成鏡像 ... ... Successfully built 7e69cc4d1b07 Successfully tagged centos:stress docker images #以下可以使用該鏡像為基礎產生的容器進行測試:'
2、設置CPU資源占用比(設置多個容器時才有效)
Docker通過–cpu-shares指定CPU份額,默認值為1024,值為1024的倍數。
資源分配結果取決於同時運行的其他容器的CPU分配和容器中進程運行情況。
cgroups隻在容器分配的資源緊缺時,即在需要對容器使用的資源進行限制時,才會生效。因此,無法單純根據某個容器的CPU份額來確定有多少CPU資源分配給它。
示例:創建兩個容器為cpu512和cpu1024, 若隻有這兩個容器,設置容器的權重,使得cpu512和cpu1024的CPU資源占比為1/3和2/3。
docker run -itd --name cpu512 --cpu-shares 512 centos:stress stress -c 10 #-c 10表示產生10個子線程,測試用 docker run -itd --name cpu1024 --cpu-shares 1024 centos:stress stress -c 10 #查看容器的資源使用狀態(動態更新) docker stats 資源是用cadvisor收集的
3、限制 CPU 使用周期速率
cat /sys/fs/cgroup/cpu/docker/[容器ID]/cpu.cfs_quota_us #-1,表示不做控制 #例如:容器進程需要每Ⅰ秒使用單個cPU的 0.2秒時間,可以將 --cpu-period 設置為1000000(即1秒),cpu-quota 設置為200000 0.2秒)。 #當然,在多核情況下,如果允許容器進程完全占用兩個CPU,則可以將cpu-period 設置為 100000(即 0.1秒),cpu-quota 設置為200000 (0.2秒)。 docker run -itd --name test01 --cpu-period 100000 --cpu-quota 200000 centos:stress #也可以直接去修改文件vim /sys/fs/cgroup/cpu/docker/[容器ID]/cpu.cfs_quota_us #法一:進入指定容器查看 docker exec -it test01 bash cd /sys/fs/cgroup/cpu cat cpu.cfs_period_us cat cpu.cfs_quota_us #法二:docker inspect 容器ID docker inspect 6ccc4ddcb6ad
4、限制 CPU 內核使用
- 可以通過配置,使得某些程序獨享 CPU 內核,以提高其處理速度
- 對多核CPU的服務器,Docker還可以控制容器**運行使用哪些CPU內核**,即使用–cpuset-cpus參數。這對具有多CPU的服務器尤其有用,可以對需要高性能計算的容器進行性能最優的配置
docker run -itd --name cpu1 --cpuset-cpus 0-1 centos:stress #執行以上命令需要宿主機為雙核,表示創建的容器隻能用0、1兩個內核。最終生成的 cgroup的 CPU內核配置如下 cat /sys/fs/cgroup/cpuset/docker/[容器ID]/cpuset.cpus docker exec -it cpu1 /bin/bash -c "stress -c 10"
二、對內存限額
docker run -itd -m 200M --memory-swap 300M --name test01 centos:stress docker stats
三、對-Block IO的限制
- 默認情況下,所有容器能平等地讀寫磁盤,可以通過設置–blkio-weight參數來改變容器 block IO的優先級。
- –blkio-weight 與–cpu-shares類似,設置的是相對權重值,默認為500。
在下面的例子中,容器A讀寫磁盤的帶寬是容器B的兩倍。
#容器A docker run -it --name container_A --blkio-weight 600 centos:stress cat /sys/fs/cgroup/blkio/blkio.weight #容器B docker run -it --name container_B --blkio-weight 300 centos:stress cat /sys/fs/cgroup/blkio/blkio.weight
四、bps 和iops 的限制
bps 是byte per second,每秒讀寫的數據量。
iops是io per second,每秒IO的次數。
可通過以下參數控制容器的bps 和iops:
–device-read-bps,限制讀菜個設備的bps。
–device-write-bps,限制寫某個設備的bps。
–device-read-iops,限制讀某個設備的iops。
–device-write-iops,限制寫某個設備的iops
#下面的示例是限制容器寫/dev/sda 的速率為5MB/s docker run -it --device-write-bps /dev/sda:5MB centos:stress dd if=/dev/zero of=test bs=1M count=100 oflag=direct 100+0 records in 100+0 records out 104857600 bytes (105 MB) copied, 20.0018 s, 5.2 MB/s #通過dd命令測試在容器中寫磁盤的速度。因為容器的文件系統是在 host /dev/sda 上的。 #在容器中寫文件相當子對host /dev/sda進行寫操作。另外,oflag=direct指定用direct IO 方式寫文件,這樣--device-write-bps才能生效。 #結果表明限速 5MB/s左右。作為對比測試,如果不限速,結果如下。 docker run -it centos:stress dd if=/dev/zero of=test bs=1M count=100 oflag=direct 100+0 records in 100+0 records out 104857600 bytes (105 MB) copied, 0.0470107 s, 2.2 GB/s
五、總結
Cgroups如何工作的?
CPU —>VCPU–>以進程的方式體現在workstation環境(docker環境中) —》docker表現形式是容器,–>Vcpu以進程的方式控制容器–》容器中的應用需要的是服務進程支持–》宿主機內核中cpu可以被cgroup管理(通過分配資源手段)–》linux內核中的cgroup可以直接控制VCPU的資源分配,而VCPU在workstation中是以進程的方式管理docker容器的,所以,也可以認為Cgroups在直接/間接管理docker容器中的應用。
cgroup對cpu限制小結
Cgroups 控制的是內核資源—》間接控制vw中vcpu的資源—》控制著vwM中進程資源—》docker容器的資源—》docker容器內應用的資源
控制的主體包括:CPU、內存、I/O
主要介紹的是CPU資源的控制而CPU資源控制的方式主要有:
①cpu-shares權重指的是多個容器使用同一個CPU的情況下,被分配到CPU資源的機會占比
②cpu-period周期指的是,CPU在給於當前管理、控制的容器分配資源時,CPU的分配周期,默認是1s,此項配置,可以在運行時直接指定
③cpuset-cpus指定容器,僅能使用指定的CPU,按照CPU的下標來表示
cgroup對內存的限制小結
Cgroups 對於內存的限制,主要體現在以下兩個部分:
①內存使用上限(硬限制)
②內存+swap使用上限(硬限制)
類比於K8s中的資源限制手段,也是使用的cgroups的技術,體現為limit
respones: request: #分配的初始資源 cpu:100m memory:100m limits: cpu:300m memory:200m
資源限制的主要類型
- CPU權重shares、 quota、 cpuset
- 磁盤BPS、 TPS限制, 指定使用哪個磁盤、磁盤分區
- 內存 -m – swap 內存、交換分區
大部分做的是上限的限制
資源限制的幾種方式
build構建鏡像時,可以指定該鏡像的資源限制
run將鏡像跑為容器的時候,可以指定容器的資源限制
容器啟動之後可以在宿主機對應容器的目錄下,修改資源限制,然後重載
/sys/ fs/cgroup/* (cpu、b1k、 mem) /docker/容 器ID/ ——>修改對應的資源限制文件參數就可以
資源限制的狀態查詢
docker inspect 鏡像ID/容器ID
直接查看宿主機對應容器ID資源限制的文件
cgroup資源docker 原理之一, namespaces 6個名稱空間
像時,可以指定該鏡像的資源限制
run將鏡像跑為容器的時候,可以指定容器的資源限制
容器啟動之後可以在宿主機對應容器的目錄下,修改資源限制,然後重載
/sys/ fs/cgroup/* (cpu、b1k、 mem) /docker/容 器ID/ ——>修改對應的資源限制文件參數就可以
到此這篇關於docker資源控制管理Cgroup的實現的文章就介紹到這瞭,更多相關docker Cgroup內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet!
推薦閱讀:
- Docker資源限制Cgroup的深入理解
- Docker核心原理之 Cgroup詳解
- 一文帶你徹底搞懂Docker中的cgroup的具體使用
- 如何使用docker對容器資源進行限制
- Docker管理之碎片知識整理小結