写点什么

如何在 AWS EC2 实例以及基于 AWS 的容器平台中使用 DPDK(二)

  • 2019-12-20
  • 本文字数:5572 字

    阅读完需:约 18 分钟

如何在 AWS EC2 实例以及基于 AWS 的容器平台中使用 DPDK(二)

3 设置 DPDK 环境

使用 amazon linux2 AMI 启动一台 c5.2xlarge 实例,并通过 ssh 登录。

3.1 设置 hugepages

CPU 所能支持的 hugepages 大小可以通过查看 CPU 的 flag 确认,如果支持 pse,则平台支持 2MB 的 hugepages,如果支持 pdpe1gb,则平台支持 1GB 的 hugepages。


查看我们使用的操作系统环境 c5.2xlarge。


Bash


# cat /proc/cpuinfo |grep -e pse -e pdpe1gbflags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss ht syscall nx pdpe1gb rdtscp
复制代码


 
复制代码


可见,c5.2xlarge 可以支持 2MB 的 hugepages 和 1GB 的 hugepages。


对于不同的 hugepages,用不同的方式完成配置。一般来说,对于 64-bit 的应用,建议使用 1GB hugepages。下面我们会分别来进行说明。


针对 2M hugepage,设置如下:


在大多数较新的 linux 发行版,默认已经启用的 2M hugepages,并已经通过 dev-hugepages.mount 服务进行挂载,比如本文所使用的 amazon linux2。镜像为 amzn2-ami-hvm-2.0.20191116.0-x86_64-gp2 (ami-07539a31f72d244e7),kernel 版本 4.14.154-128.181.amzn2.x86_64。


更新系统。


Bash


# yum update -y
复制代码


查看当前系统对于 hugepages 分配和支持。


Bash


# cat /proc/meminfo |grep HugeAnonHugePages:         0 kBShmemHugePages:        0 kBHugePages_Total:    0HugePages_Free:     0HugePages_Rsvd:        0HugePages_Surp:        0Hugepagesize:       2048 kB
# cat /proc/mounts |grep -i hugepagehugetlbfs /dev/hugepages hugetlbfs rw,relatime,pagesize=2M 0 0
复制代码


针对 2M hugepages,可以通过不同的方式来进行配置。


设置内核参数的方式。针对 grub2 引导的发行版,配置如下:


Bash


# echo GRUB_CMDLINE_LINUX="hugepages=2048">>/etc/default/grub# grub2-mkconfig -o /boot/grub2/grub.cfg
复制代码


重启后可以确认已经生效。


Bash


# cat /proc/cmdline | grep hugepagesBOOT_IMAGE=/boot/vmlinuz-4.14.152-127.182.amzn2.x86_64 root=UUID=e8f49d85-e739-436f-82ed-d474016253fe ro hugepages=2048 console=tty0 console=ttyS0,115200n8 net.ifnames=0 biosdevname=0 nvme_core.io_timeout=4294967295 rd.emergency=poweroff rd.shell=0
# cat /proc/meminfo | grep -i hugepageAnonHugePages: 0 kBShmemHugePages: 0 kBHugePages_Total: 2048HugePages_Free: 2048HugePages_Rsvd: 0HugePages_Surp: 0Hugepagesize: 2048 kB
复制代码


临时修改修改内核参数的方式。


Bash


# echo 1024 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages# cat /proc/meminfo |grep HugeAnonHugePages:         0 kBShmemHugePages:        0 kBHugePages_Total:    1024HugePages_Free:     1024HugePages_Rsvd:        0HugePages_Surp:        0Hugepagesize:       2048 kB
复制代码


对于多节点的 NUMA 实例,需要显式的设定不同的 NUMA 节点。


Bash


# echo 1024 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages# echo 1024 > /sys/devices/system/node/node1/hugepages/hugepages-2048kB/nr_hugepages
复制代码


当然,上述方式重启丢失需要重新设置,可以通过 sysctl.conf 配置来配置持久生效。


Bash


# echo "vm.nr_hugepages=512" >> /etc/sysctl.conf# sysctl -p# cat /proc/meminfo |grep HugeAnonHugePages:         0 kBShmemHugePages:        0 kBHugePages_Total:     512HugePages_Free:      512HugePages_Rsvd:        0HugePages_Surp:        0Hugepagesize:    2048 kB
复制代码


针对 1G hugepages,只能通过配置内核启动参数的方式进行设置。后续的操作会使用 1G hugepage 来进行。


首先修改/etc/default/grub,增加 GRUB_CMDLINE_LINUX=”default_hugepagesz=1G hugepagesz=1G hugepages=4”


Bash


# grub2-mkconfig -o /boot/grub2/grub.cfg
复制代码


重新启动实例。可以查看设置已经生效。


Bash


# cat /proc/cmdline BOOT_IMAGE=/boot/vmlinuz-4.14.152-127.182.amzn2.x86_64 root=UUID=e8f49d85-e739-436f-82ed-d474016253fe ro default_hugepagesz=1G hugepagesz=1G hugepages=4 console=tty0 console=ttyS0,115200n8 net.ifnames=0 biosdevname=0 nvme_core.io_timeout=4294967295 rd.emergency=poweroff rd.shell=0
# cat /proc/meminfo |grep -i hugepageAnonHugePages: 0 kBShmemHugePages: 0 kBHugePages_Total: 4HugePages_Free: 4HugePages_Rsvd: 0HugePages_Surp: 0Hugepagesize: 1048576 kB
复制代码

3.2 安装和配置 DPDK

配置编译和使用所需的系统环境。


Bash


# yum groupinstall "development tools" -y# yum install python3 numactl numactl-devel -y
复制代码


DPDK 可以使用 meson 和 ninjia 来进行配置,构建和安装,如果使用这种方式请首先安装 meson 和 ninjia。


Bash


# pip3 install meson ninja
复制代码


下面的说明中,我们使用 makefile 而并没有使用 meson 和 ninjia 进行安装。下载 DPDK 包。


Bash


# wget http://fast.dpdk.org/rel/dpdk-19.11.tar.xz# tar Jxvf dpdk-19.11.tar.xz# cd dpdk-19.11/
复制代码


配置和安装。


Bash


# export RTE_SDK=/root/dpdk-19.11# export RTE_TARGET=x86_64-native-linuxapp-gcc# make config install T=$RTE_TARGET DESTDIR=$RTE_SDK
复制代码


另外,DPDK 提供了安装配置脚本 dpdk-19.11/usertools/dpdk-setup.sh,我们也可以使用该脚本进行安装并可以进行后续的配置操作。


基于脚本配置方式如下。


Bash


# ./usertools/dpdk-setup.sh ------------------------------------------------------------------------------ RTE_SDK exported as /root/dpdk-19.11.script---------------------------------------------------------------------------------------------------------------------------------------- Step 1: Select the DPDK environment to build----------------------------------------------------------[1] arm64-armada-linuxapp-gcc……………………[37] x86_64-native-linuxapp-clang[38] x86_64-native-linuxapp-gcc[39] x86_64-native-linuxapp-icc[40] x86_64-native-linux-clang[41] x86_64-native-linux-gcc[42] x86_64-native-linux-icc[43] x86_x32-native-linuxapp-gcc[44] x86_x32-native-linux-gcc
---------------------------------------------------------- Step 2: Setup linux environment----------------------------------------------------------[45] Insert IGB UIO module[46] Insert VFIO module[47] Insert KNI module[48] Setup hugepage mappings for non-NUMA systems[49] Setup hugepage mappings for NUMA systems[50] Display current Ethernet/Baseband/Crypto device settings[51] Bind Ethernet/Baseband/Crypto device to IGB UIO module[52] Bind Ethernet/Baseband/Crypto device to VFIO module[53] Setup VFIO permissions
---------------------------------------------------------- Step 3: Run test application for linux environment----------------------------------------------------------[54] Run test application ($RTE_TARGET/app/test)[55] Run testpmd application in interactive mode ($RTE_TARGET/app/testpmd)
---------------------------------------------------------- Step 4: Other tools----------------------------------------------------------[56] List hugepage info from /proc/meminfo
---------------------------------------------------------- Step 5: Uninstall and system cleanup----------------------------------------------------------[57] Unbind devices from IGB UIO or VFIO driver[58] Remove IGB UIO module[59] Remove VFIO module[60] Remove KNI module[61] Remove hugepage mappings
[62] Exit Script
复制代码


安装完毕之后,创建的目标目录内会包括了所有的 lib 库,poll-mode 驱动和 header 文件,用以后续构建基于 DPDK 的应用。此外,该目录还包括一些内置编译完成可用的 DPDK 应用,可以用于测试。


接下来,我们需要加载相应的驱动来替代默认的 ena 驱动,以支持 DPDK。ENA 网卡可以支持 UIO 模式或者 VFIO 模式的 DPDK 驱动,linux 的内核已经包含了标准的 uio_pic_generic 驱动,而刚刚我们编译也获得了 DPDK 提供的 igb_uio 驱动,uio_pic_generic 对于 Virtual functions 的支持会有限制,通常在 UIO 模式下,我们会使用 igb_uio。


Bash


# modprobe uio# insmod /root/dpdk-19.11/x86_64-native-linuxapp-gcc/kmod/igb_uio.ko wc_activate=1
复制代码


相对来说,VFIO 会是一个更加安全和健壮的选择,但是 VFIO 需要依赖于 IOMMU,并且也不支持创建 Virtual functions,同时还需要设置所需的权限来运行非特权用户的 DPDK 应用。当在不支持 IOMMU 的环境中,比如我们使用的 EC2 C5.2xlarge 环境,想要使用 VIFO 时,也会工作在类似 UIO 的非安全环境。另外,你可能需要使用 AWS 的 patch https://github.com/amzn/amzn-drivers/tree/master/userspace/dpdk来重编译vfio-pci,以避免可能的性能问题或支持某些特性比如write combining。如下为直接加载 vfio-pci 模块并配置权限。


Bash


# modprobe vfio-pci# chmod a+x /dev/vfio# chmod 0666 /dev/vfio/*
复制代码


对于大部分实例来说,并不支持 IOMMU,需要确保驱动的 noiommu 参数被设置。


Bash


# echo 1 > /sys/module/vfio/parameters/enable_unsafe_noiommu_mode
复制代码


对于其他一些实例来说,比如 i3.metal,可以支持 IOMMU,需要在内核参数指定。通过类似的方法,修改 grub2 启动设定。在 GRUB_CMDLINE_LINUX 中追加 iommu=1 intel_iommu=on。然后重新生成引导参数文件。


Bash


# grub2-mkconfig > /boot/grub2/grub.cfg
复制代码


重启即可生效。

3.3 挂载 hugepagefs

之前的操作已经完成了 hugepages 内存的预留,要使得 DPDK 能够使用这些内存,还需要如下步骤的配置和操作。


对于 2M hugepage 来说。


Bash


# mkdir /mnt/huge# mount -t hugetlbfs nodev /mnt/huge
复制代码


或者通过修改/etc/fatab 来持久化设置挂载点。


Bash


# echo “nodev /mnt/huge hugetlbfs defaults 0 0” >> /etc/fstab
复制代码


对于 1G hugepage,必须要指定 pagesize 作为挂载参数,本文的操作采用此方式。


Bash


# mkdir /mnt/huge_1gb# echo “nodev /mnt/huge_1gb hugetlbfs pagesize=1GB 0 0” >> /etc/fstab
复制代码

3.4 绑定 ENA 设备到 UIO 或者 VFIO 模块

这里以 UIO 模块为例。


首先,我们在测试的实例上增加一个新的 ENI 网口来配置 DPDK。只需在控制台新增网络接口,并附加到正在使用的实例上。如下所示。




之后,我们可以在实例内查看到这块新加入的设备。


Bash


#  ip a1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00    inet 127.0.0.1/8 scope host lo       valid_lft forever preferred_lft forever    inet6 ::1/128 scope host        valid_lft forever preferred_lft forever2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9001 qdisc mq state UP group default qlen 1000    link/ether 0a:ff:5f:49:42:c6 brd ff:ff:ff:ff:ff:ff    inet 172.31.9.193/20 brd 172.31.15.255 scope global dynamic eth0       valid_lft 2820sec preferred_lft 2820sec    inet6 fe80::8ff:5fff:fe49:42c6/64 scope link        valid_lft forever preferred_lft forever3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9001 qdisc mq state UP group default qlen 1000    link/ether 0a:a1:03:74:08:90 brd ff:ff:ff:ff:ff:ff    inet 172.31.3.226/20 brd 172.31.15.255 scope global dynamic eth1       valid_lft 3095sec preferred_lft 3095sec    inet6 fe80::8a1:3ff:fe74:890/64 scope link        valid_lft forever preferred_lft forever
复制代码


我们将 eth1 绑定到 igb_uio 模块,DPDK 提供的 dpdk-devbind.py 脚本可以用来进行绑定,解绑或者状态查看等操作(或者使用 dpdk-setup.sh 脚本来进行配置)。当前两个 ENA 设备均使用的 ena 驱动。


Bash


# /root/dpdk-19.11/usertools/dpdk-devbind.py --status
Network devices using kernel driver===================================0000:00:05.0 'Elastic Network Adapter (ENA) ec20' if=eth0 drv=ena unused=igb_uio *Active*0000:00:06.0 'Elastic Network Adapter (ENA) ec20' if=eth1 drv=ena unused=igb_uio *Active*
复制代码


接下来,将设备 eth1,0000:06:00.0 绑定到 igb_uio 驱动。


首先关闭 eth1 端口


Bash


# ifconfig eth1 down
复制代码


绑定到 igb_uio 驱动。


Bash


/root/dpdk-19.11/usertools/dpdk-devbind.py --bind=igb_uio 06:00.0
复制代码


也可以使用设备名:


Bash


/root/dpdk-19.11/usertools/dpdk-devbind.py --bind=igb_uio eth1
复制代码


确认是否正常绑定。


Bash


# /root/dpdk-19.11/usertools/dpdk-devbind.py  --status
Network devices using DPDK-compatible driver============================================0000:00:06.0 'Elastic Network Adapter (ENA) ec20' drv=igb_uio unused=ena
Network devices using kernel driver===================================0000:00:05.0 'Elastic Network Adapter (ENA) ec20' if=eth0 drv=ena unused=igb_uio *Active*
复制代码


如果需要恢复 eth1 使用原有的内核 ena 驱动,类似的简单进行如下操作。


Bash


/root/dpdk-19.11/usertools/dpdk-devbind.py --bind=ena 06.00.0
复制代码


本文转载自 AWS 技术博客。


原文链接:https://amazonaws-china.com/cn/blogs/china/how-to-use-dpdk-in-aws-ec2-instances-and-aws-based-container-platforms-i/


2019-12-20 15:121011

评论

发布
暂无评论
发现更多内容

DevOps系列之 —— 持续规划与设计(二)规划与设计

若尘

DevOps 5月月更

【愚公系列】2022年05月 二十三种设计模式(六)-适配器模式(Adapter Pattern)

愚公搬代码

5月月更

时序数据库在博物馆环境检测的应用

CnosDB

IoT 时序数据库 开源社区 CnosDB infra

HarmonyOS 2迎来大更新:10个功能升级,这些机型建议更新!

科技汇

[Day37]-[二叉树]- 找树左下角的值

方勇(gopher)

LeetCode 二叉树 数据结构算法

Hexo+github搭建个人博客,并绑定域名

武师叔

5月月更

做SaaS的程序员们,是时候关注企业架构了

AI架构师汤师爷

企业架构 SaaS 架构设计 5月月更

成功转行测试,分享一下自己的经验【思维导图】初级/中级/高级测试工程师会哪些...

伤心的辣条

Python 程序人生 软件测试 自动化测试 测试开发

在线URL编码加密工具

入门小站

工具

MathType全新免费版数学公式编辑器

茶色酒

MathType

nginx配置系列(九)nginx中的防盗链

乌龟哥哥

5月月更

Flutter 如何快速切换生产和测试环境?

岛上码农

flutter 安卓开发 ios 开发 跨平台应用 5月月更

从开源模型、框架到自研,声网 Web 端虚拟背景算法正式发布

声网

AI 大前端 WebRTC webassembly Dev for Dev

linux之autojump命令

入门小站

Linux

LabVIEW十六进制和字符类型转换

不脱发的程序猿

LabVIEW 进制转换

PyTorch 开发环境搭建

Emperor_LawD

PyTorch 5月月更

LabVIEW串口调试助手

不脱发的程序猿

LabVIEW 串口通信 数据通信 串口调试助手 VISA

跟着动画学 Go 数据结构之二叉树

宇宙之一粟

数据结构 二叉树 Go 语言 5月月更

恒源云(Gpushare)_今日炼丹小疑问:如何给数据加权重?

恒源云

Python 深度学习 PyTorch

测试人生 | 00后0经验应届毕业生拿下2线城市15W offer,好励志~

伤心的辣条

Python 程序人生 软件测试 自动化测试 接口测试

LabVIEW串口通信

不脱发的程序猿

LabVIEW 串口通信 数据通信

技术打开感知世界:当感官数字化,会发生什么?

脑极体

CleanMyMac有没有需要安装电脑?

茶色酒

CleanMyMacX

Django 如何获取 Model 字段列表?

AlwaysBeta

django

CentOS 8及以上版本配置IP的方法,你 get 了吗

伍工

Linux 网络

恒源云 (Gpushare)_【炼丹必备】调参心法(说人话系列)

恒源云

深度学习

位运算——Java语言描述

工程师日月

位运算 java 5月月更

查找端口占用并关闭进程(windows)

liuzhen007

端口占用 5月月更

六、高可用之流控降级

穿过生命散发芬芳

5月月更 高可用设计

MathType2022永久无限试用脚本程序

茶色酒

MathType

LabVIEW应用程序后台运行

不脱发的程序猿

LabVIEW

如何在 AWS EC2 实例以及基于 AWS 的容器平台中使用 DPDK(二)_文化 & 方法_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章