基于瑞芯微 RK3588 的 ARM 与 FPGA 交互通信实战指南
PCIe通信案例（DMA方式）案例说明案例功能：ARM端基于PCIe总线（开启PCIe DMA）对FPGA BRAM进行读写测试。应用程序通过ioctl函数发送命令开启PCIe DMA传输数据后，等待驱动上报input事件；当应用层接收到input事件，说明DMA传输数据完成。ARM端案例位于产品资料“4-软件资料\Demo\platform-demos\dma_memcpy_demo\”目录下，FPGA端案例位于产品资料“4-软件资料\Demo\FPGA-demos\bram_pcie\”目录下，具体说明如下：https://file1.elecfans.com/web3/M00/39/F0/wKgZPGkJrzKAd2AEAAAug_SyJ2A161.png
表 1
备注：dma_memcpy_demo案例同时支持使用CPU DMA对DDR进行读写测试，详情请查看“基于CPU DMA的DDR读写测试”小节。
程序流程如下图所示。
https://file1.elecfans.com/web3/M00/39/F0/wKgZPGkJsCCAWIetAAHYMPW3o-A221.png
图 1
程序原理说明：ARM端：
[*]采用PCIe DMA方式；
[*]将数据写入至dma_memcpy/pcie_dma_memcpy驱动申请的连续内存空间（位于DDR）；
[*]配置PCIe DMA，如源地址、目标地址、传输的数据大小等；
[*]写操作：通过ioctl函数启动PCIe DMA，通过PCIe总线将数据搬运至FPGA BRAM；
[*]程序接收驱动上报input事件后，将通过ioctl函数获取PCIe DMA搬运数据耗时，并计算DMA传输速率（即写速率）；
[*]读操作：通过ioctl函数启动PCIe DMA，通过PCIe总线将FPGA BRAM中的数据搬运至dma_memcpy/pcie_dma_memcpy驱动申请的连续内存空间（位于DDR）；
[*]程序接收驱动上报input事件后，将数据从内核空间读取至用户空间，然后校验数据，同时通过ioctl函数获取PCIe DMA搬运数据耗时，并计算DMA传输速率（即读速率）。
FPGA端：
[*]实现PCIe Endpoint功能；
[*]处理PCIe RC端发起的PCIe BAR0空间读写事务；
[*]将PCIe BAR0读写数据缓存至FPGA BRAM中。
案例测试请将创龙科技TLZU-EVM评估板PCIe(CON25)接口连接至TL3588-EVM评估板PCIe RC(CON21)接口，硬件连接如下图所示。
https://file1.elecfans.com/web3/M00/39/F0/wKgZO2kJsDCAdE6sABPKvDAwoqU340.png
图 2
请将创龙科技TLZU-EVM评估板上电启动，加载运行FPGA案例"bram_pcie\bin\"目录下的可执行程序。请将案例"dma_memcpy_demo\dts\bin\"目录下的boot-dma-memcpy.img内核镜像文件拷贝至评估板文件系统。执行如下命令，替换内核镜像文件至系统启动卡，评估板重启生效。备注：如需固化至eMMC，请将设备节点修改为"/dev/mmcblk0p3"。Target# dd if=boot-dma-memcpy.img of=/dev/mmcblk1p3Target# syncTarget# reboot
https://file1.elecfans.com/web3/M00/39/F0/wKgZPGkJsLOAWpZrAAAY15uHaWQ574.png
图 3
请将案例"bin\dma_memcpy_demo"可执行程序和"driver\bin\pcie_dma_memcpy.ko"PCIe DMA驱动程序拷贝至文件系统任意目录下。
https://file1.elecfans.com/web3/M00/39/F1/wKgZO2kJsL-AXA5GAAAOmUqbDJ8376.png
图 4
执行如下命令，赋予可执行程序dma_memcpy_demo执行权限。Target# chmod a+x dma_memcpy_demo
https://file1.elecfans.com/web3/M00/39/F0/wKgZPGkJsMiAEejUAAAodpRCBcQ334.png
图 5
进入评估板文件系统，在可执行程序所在目录执行如下命令查看程序参数。Target# ./dma_memcpy_demo -h参数解析：-a：设置DDR或PCIe地址；-s：设置传输数据大小（单位：Byte）；-c：设置循环读写次数；-d：设置输入设备；-v：显示版本信息；-h：显示帮助内容。
https://file1.elecfans.com/web3/M00/39/F1/wKgZO2kJsPmAZzbUAAAkFEpuy40526.png
图 6
执行如下命令，查看PCIe BAR空间地址。从下图可见，PCIe BAR空间映射至0xf0200000地址，大小为128KByte，并查看PCIe设备连接状态。备注：若打印信息与"Speed 5GT/s (ok)，Width x4 (ok)"不一致，可能是接触不良导致，需断电后擦拭金手指部分，重新插拔。Target# lspci -s 01:00.0 -vv
https://file1.elecfans.com/web3/M00/39/F1/wKgZO2kJsQKAamUtAADqzlM5YWE889.png
图 7
进入评估板文件系统执行如下命令，加载PCIe DMA驱动程序。Target# insmod -f pcie_dma_memcpy.ko
https://file1.elecfans.com/web3/M00/39/F1/wKgZO2kJsQqAIZSRAADiOfbFxGA254.png
图 8
执行如下命令，查看事件号。Target# cat /proc/bus/input/devices
https://file1.elecfans.com/web3/M00/39/F1/wKgZPGkJsRGACQwwAAAGJdnOBXg691.png
图 9
https://file1.elecfans.com/web3/M00/39/F1/wKgZPGkJsReAFC8cAAAeOXGf3HY273.png
图 10
执行如下命令，调整打印级别，避免调试串口终端打印内核信息影响观察测试结果。Target# echo 1417 > /proc/sys/kernel/printk
https://file1.elecfans.com/web3/M00/39/F1/wKgZO2kJsR-AaiaPAAAIctMwPsE980.png
图 11
执行如下命令，使能PCIe设备。Target# echo 1 > /sys/class/pci_bus/0000\:01/device/0000\:01\:00.0/enable
https://file1.elecfans.com/web3/M00/39/F1/wKgZPGkJsSeALC-KAA***vI7gRu8294.png
图 12
执行如下命令，将随机数据先写入FPGA BRAM，再从FPGA BRAM读出。测试完成后，程序将会打印最终测试结果，包含读写平均传输耗时、读写平均传输速率、读写错误统计等信息。
Target# ./dma_memcpy_demo -a 0xf0200000 -s 131072 -c 100 -d /dev/input/event8
https://file1.elecfans.com/web3/M00/39/F1/wKgZO2kJsS-AfqCZAAActhS5hV4405.png
图 13
https://file1.elecfans.com/web3/M00/39/F1/wKgZPGkJsTeASYdqAAAzOEGzZJ0235.png
表 2
PCIe Gen2编码开销为8b/10b，PCIe Gen2传输数据的开销如下：（1）物理层：Start(1Byte)、End(1Byte)
（2）数据链路层：Sequence(2Byte)、LCRC(4Byte)
（3）传输层：Header(12Byte或16Byte)、ECRC(4Byte)
PCIe理论带宽计算如下：
写速率：rate = 5Gb/s x num-lanes x 编码开销 x (MPS/ (MPS + 传输数据的开销))读速率：rate = 5Gb/s x num-lanes x 编码开销 x (RCB/ (RCB + 传输数据的开销))
MaxPayload为128Byte，RCB为64Byte，为了计算协议消耗更高的理论带宽，取TLP header size =16Byte，因此可计算到PCIe Gen2传输数据的开销为28字节。
若num-lanes为2，则计算得到理论速率为：
写速率：rate = 5Gb/s x 2 x 8/10 x (128 / (128 + 28)) ≈ 840.20MB/s读速率：rate = 5Gb/s x 2 x 8/10 x (64 / (64 + 28)) ≈ 712.34MB/s
若num-lanes为4，则计算得到理论速率为：
写速率：rate = 5Gb/s x 4 x 8/10 x (128 / (128 + 28)) ≈ 1640.4MB/s读速率：rate = 5Gb/s x 4 x 8/10 x (64 / (64 + 28)) ≈ 1424.68MB/s
案例编译（ARM端）请将产品资料“4-软件资料\Demo\platform-demos\dma_memcpy_demo\”案例源码拷贝至Ubuntu工作目录。（1）应用程序编译
进入案例应用程序源码目录，执行如下命令，配置应用程序交叉编译工具链环境变量，然后进行编译，编译完成将会在当前目录下生成dma_memcpy_demo可执行程序。Host# export PATH=/home/tronlong/RK3588/rk3588_linux_release_v1.2.1/extra-tools/gcc-linaro-10.2.1-2021.01-x86_64_aarch64-linux-gnu/bin/:$PATHHost# make
https://file1.elecfans.com/web3/M00/39/F1/wKgZO2kJsUCACu6TAAIQGaGcmEw443.png
图 14
（2）驱动程序编译
进入案例驱动程序源码目录，执行如下命令，配置驱动程序交叉编译工具链环境变量，然后进行编译，编译完成将会在当前目录下生成dma_memcpy.ko、pcie_dma_memcpy.ko驱动程序。Host# export PATH=/home/tronlong/RK3588/rk3588_linux_release_v1.2.1/extra-tools/gcc-linaro-10.2.1-2021.01-x86_64_aarch64-linux-gnu/bin/:$PATHHost# make KDIR=/home/tronlong/RK3588/rk3588_linux_release_v1.2.1/kernel/
https://file1.elecfans.com/web3/M00/39/F1/wKgZO2kJsUeAXk3BAAHD116I5WA840.png
图 15
（3）设备树编译
请将案例"dts\src\tl3588-evm-dma-memcpy.dts"设备树源文件拷贝至LinuxSDK源码目录"kernel/arch/arm64/boot/dts/rockchip/"。
https://file1.elecfans.com/web3/M00/39/F1/wKgZPGkJsVCAUhRLAABcs2KzPfI332.png
图 16
备注：案例"arm\dts\src\tl3588-evm-dma-memcpy.dts"设备树源文件主要新增dma_memcpy节点，用于加载dma_memcpy或pcie_dma_memcpy驱动，具体如下图所示。内核镜像文件"arm\dts\bin\boot-dma-memcpy.img"已包含tl3588-evm-dma-memcpy.dts编译生成的设备树镜像文件。
https://file1.elecfans.com/web3/M00/39/F1/wKgZO2kJsViADkcPAABOIHEWHR4785.png
图 17
由于tl3588-evm-dma-memcpy.dts设备树源文件需要引用reserved-mempcy节点，因此需要新增reserved-mempcy节点别名。进入LinuxSDK源码目录，执行如下命令，修改"rk3588-evb7-lp4.dtsi"文件。Host# vi kernel/arch/arm64/boot/dts/rockchip/rk3588-evb7-lp4.dtsi
https://file1.elecfans.com/web3/M00/39/F1/wKgZO2kJsV-AJldaAABJ-itMZC0616.png
图 18
修改内容如下：
reserved_memory: reserved-memory { //新增内容
https://file1.elecfans.com/web3/M00/39/F1/wKgZPGkJsWWAQck3AADIIWn13os997.png
图 19
修改完成后，保存退出，请按照《Debian系统使用手册》文档Debian系统镜像编译、生成章节，替换设备树并重新编译内核，将生成的内核镜像文件拷贝至评估板文件系统进行固化。该内核镜像已包含tl3588-evm-dma-memcpy.dts对应的设备树镜像文件。关键代码说明（ARM端）（1）打开设备节点。
https://file1.elecfans.com/web3/M00/39/F1/wKgZO2kJsWuAcw6SAADwq9P4K6A680.png
图 20
（2）写数据操作。
https://file1.elecfans.com/web3/M00/39/F1/wKgZPGkJsXeAP8X6AAH6QGjAvgo551.png
图 21
https://file1.elecfans.com/web3/M00/39/F1/wKgZO2kJsXeAGaMeAAEzqB6oJkg794.png
图 22
https://file1.elecfans.com/web3/M00/39/F1/wKgZPGkJsXeAeXYzAADGtKYp5W0440.png
图 23
（3）读取数据操作。
https://file1.elecfans.com/web3/M00/39/F1/wKgZO2kJsqCAar5JAAIGrFwyyyw984.png
图 24
https://file1.elecfans.com/web3/M00/39/F1/wKgZPGkJsqCAITcyAAHXXkIkEIQ283.png
图 25
基于CPU DMA的DDR读写测试本小节使用dma_memcpy_demo案例，通过CPU DMA对DDR进行读写，并计算传输速率。备注：本次测试由CPU对DDR进行读写，未使用PCIe总线。请将案例"bin\dma_memcpy_demo"可执行程序和"driver\bin\dma_memcpy.ko"驱动程序拷贝至文件系统任意目录下。
https://file1.elecfans.com/web3/M00/39/F1/wKgZPGkJsrKANEEgAAALzN939HM610.png
图 26
执行如下命令，赋予可执行程序dma_memcpy_demo执行权限。Target# chmod a+x dma_memcpy_demo
https://file1.elecfans.com/web3/M00/39/F0/wKgZPGkJsMiAEejUAAAodpRCBcQ334.png
图 27
进入评估板文件系统执行如下命令，加载CPU DMA驱动程序。Target# insmod -f dma_memcpy.ko
https://file1.elecfans.com/web3/M00/39/F1/wKgZPGkJssOAS-auAADXtSmRje4138.png
图 28
执行如下命令，查看事件号。Target# cat /proc/bus/input/devices
https://file1.elecfans.com/web3/M00/39/F1/wKgZPGkJsRGACQwwAAAGJdnOBXg691.png
图 29
https://file1.elecfans.com/web3/M00/39/F1/wKgZPGkJsReAFC8cAAAeOXGf3HY273.png
图 30
执行如下命令，调整打印级别，避免调试串口终端打印内核信息影响观察测试结果。Target# echo 1417 > /proc/sys/kernel/printk
https://file1.elecfans.com/web3/M00/39/F1/wKgZO2kJsR-AaiaPAAAIctMwPsE980.png
图 31
执行如下命令，进行DDR读写测试。测试完成后，程序将会打印最终测试结果，包含读写平均传输耗时、读写平均传输速率、读写错误统计等信息。其中，写速率为2575.41MB/s，读速率为2583.04MB/s。Target# ./dma_memcpy_demo -a 0x80000000 -s 4194304 -c 100 -d /dev/input/event8
https://file1.elecfans.com/web3/M00/39/F1/wKgZO2kJsuSASaUkAAAeq2S_HQU975.png
图 32
https://file1.elecfans.com/web3/M00/39/F1/wKgZPGkJs-K***7-tAAAz81NknWY661.png
表 3
备注：0x80000000为预留的DDR地址空间，如下图所示，大小为128MByte。
https://file1.elecfans.com/web3/M00/39/F2/wKgZO2kJs_KAEdYpAABvz7V8i2M025.png
图 33 tl3588-evm-dma-memcpy.dts
PCIe通信案例（非DMA方式）案例说明案例功能：ARM端通过PCIe总线（非DMA方式）对FPGA BRAM进行数据读写测试，同时校验数据和计算读写速率。ARM端案例位于产品资料“4-软件资料\Demo\base-demos\devmem_rw\”目录下，FPGA端案例位于产品资料“4-软件资料\Demo\FPGA-demos\bram_pcie\”目录下，具体说明如下：
https://file1.elecfans.com/web3/M00/39/F2/wKgZPGkJtAOAMA4_AAAUX-ESMKI781.png
表 4
程序流程说明：（1）ARM端通过PCIe总线将数据写入FPGA BRAM；
（2）ARM端通过PCIe总线从FPGA BRAM读取数据；
（3）判断写入与读取数据的正确性，并计算读写速率。
https://file1.elecfans.com/web3/M00/39/F2/wKgZPGkJtAuAS9sXAABXozdfZAY394.png
图 34
案例原理说明：ARM端：
[*]ARM端使用mmap函数对物理地址进行转换；
[*]可根据指定的访问操作类型按字节(Byte)、按半字(Halfword)进行访问。
FPGA端：
[*]实现PCIe Endpoint功能；
[*]处理PCIe RC端发起的PCIe BAR0空间读写事务；
[*]将PCIe BAR0读写数据缓存至FPGA BRAM中。
案例测试请将创龙科技TLZU-EVM评估板PCIe(CON25)接口连接至TL3588-EVM评估板PCIe RC(CON21)接口，硬件连接如下图所示。
https://file1.elecfans.com/web3/M00/39/F0/wKgZO2kJsDCAdE6sABPKvDAwoqU340.png
图 35
请将创龙科技TLZU-EVM评估板上电启动，加载运行FPGA案例"bram_pcie\bin\"目录下的可执行程序。评估板默认内核镜像未支持PCIe RC接口测试，请将产品资料“4-软件资料\Debian\Kernel\image\linux-5.10.160-[版本号]-\”目录下boot-enable-pcie.img文件（支持PCIe RC接口测试）拷贝至评估板文件系统，执行如下命令将其固化至系统启动卡。备注：若从eMMC启动系统，请将设备节点"mmcblk1p3"修改为"mmcblk0p3"。Target# dd if=boot-enable-pcie.img of=/dev/mmcblk1p3Target# syncTarget# reboot
https://file1.elecfans.com/web3/M00/39/F2/wKgZPGkJtByAYg8xAAAUpgXDkno107.png
图 36
执行如下命令，查看PCIe BAR空间地址。从下图可见，PCIe BAR空间映射至0xf0200000地址，大小为128KByte，并查看PCIe设备连接状态。备注：若打印信息与"Speed 5GT/s (ok)，Width x4 (ok)"不一致，可能是接触不良导致，需断电后擦拭金手指部分，重新插拔。Target# lspci -s 01:00.0 -vv
https://file1.elecfans.com/web3/M00/39/F1/wKgZO2kJsQKAamUtAADqzlM5YWE889.png
图 37
请将ARM端案例"devmem_rw\bin\"目录下的可执行程序devmem_rw拷贝至文件系统任意目录，在devmem_rw可执行程序所在目录执行如下命令，查看程序参数。Target# ./devmem_rw -h参数解析：-t：表示测试模式。先写后读，并检验数据的准确性。-r：读模式，从参数"-a <address>"指定的内存空间地址处，读出参数"-s <size>"指定长度的数据（以字节为单位）。-w：写模式，从参数"-f <file>"指定的文件获取数据，写入参数"-a <address>"指定的内存空间地址。-a <address>：指定内存空间地址。-s <size>：指定数据的长度，以字节为单位。-o：以字节或半字方式访问内存空间。-f <file>：指定文件。用于写模式测试。
https://file1.elecfans.com/web3/M00/39/F2/wKgZPGkJtC2ACKlHAAArtf5qyNo267.png
图 38
执行如下命令，使能PCIe设备。Target# echo 1 > /sys/class/pci_bus/0000\:01/device/0000\:01\:00.0/enable
https://file1.elecfans.com/web3/M00/39/F2/wKgZO2kJtDSAfv1MAAAQvrvEkf0292.png
图 39
执行如下命令，将随机数据先写入FPGA BRAM，再从FPGA BRAM读出，校验数据并统计读写速率。Target# ./devmem_rw -t -a 0xf0200000 -s 131072 -o halfword
https://file1.elecfans.com/web3/M00/39/F2/wKgZPGkJtDyAQyH2AAA48tKQhIA653.png
图 40
重复三次测试，调试串口终端打印"Test pass!"信息，表示读写测试通过。备注：由于本案例采用非DMA方式对FPGA BRAM进行数据读写测试，可能会出现速率波动较大的情况。案例编译（ARM端）请将产品资料“4-软件资料\Demo\base-demos\devmem_rw\src\”案例源码拷贝至Ubuntu工作目录。进入案例源码目录，执行如下命令进行编译，编译完成将会在当前目录下生成可执行程序。Host# source /home/tronlong/RK3588/rk3588_linux_release_v1.2.1/debian/sysroots/environmentHost# make CC=aarch64-linux-gnu-gcc
https://file1.elecfans.com/web3/M00/39/F2/wKgZO2kJtEOACf9SAADAMOAv_EE675.png
图 41
关键代码（ARM端）（1）将内存设备地址映射至虚拟地址。
https://file1.elecfans.com/web3/M00/39/F2/wKgZPGkJtEqAJFy4AAEQfrxeeNM391.png
图 42
（2）根据指定的操作方式进行数据读取。
https://file1.elecfans.com/web3/M00/39/F2/wKgZO2kJtFSAEbeLAAHH1hjNmRE400.png
图 43
（3）根据指定的操作方式进行数据写入。
https://file1.elecfans.com/web3/M00/39/F2/wKgZO2kJtF-AAwuLAAHBrWPJPL8150.png
图 44
页:
[1]