coherent性_使用Coherent Accelerator Processor Interface（CAPI）在IBM AIX上实现高性能

什么是CAPI？

IBM®POWER8®和更高版本的体系结构支持Coherent Accelerator处理器接口（CAPI），IBMPower®系统中的某些PCIe插槽可以使用该接口。 可以将CAPI视为通过PCIe的特殊隧道协议，它使PCIe适配器看起来像专用的协处理器或加速器，可以读取/写入应用程序内存并生成页面错误。 结果，以CAPI模式运行的适配器的主机接口既不需要将数据缓冲区作为通过转换控制项（TCE）映射的直接内存访问（DMA），也不需要将内存固定。

任何想要利用CAPI加速的应用程序实体（用户或内核线程）都将在专用的CAPI协处理器上执行上下文附加 ，该协处理器保留调度带宽和资源来处理页面错误。 完成工作后，它将执行上下文分离 ，这将释放资源供其他线程使用。 附加进程意味着提供对其地址空间的访问，以便协处理器可以直接读取/写入对应用程序的命令/响应缓冲区，上下文保存/恢复以及数据缓冲区的访问，而无需页面错误除外的内核。 此时，在协处理器和应用程序之间将存在一条直接路径或一条超级管道，数据将通过该路径在两个方向上流动。

为什么要使用CAPI？

如果应用程序需要较小的编程投资来提供更高的性能，则CAPI提供了最佳的选择。 它与加速器一起提供了真正共享的地址存储空间，使应用程序可以快速处理数据。 在处理器资源非常宝贵且许多工作负载都在争夺系统资源的系统上，CAPI通过以透明的方式将处理器密集型处理任务卸载到加速器上，从而提供了更好的解决方案来加速性能。

使用CAPI进行I / O闪存存储

对存储设备（例如闪存，固态驱动器（SSD）等）的I / O操作涉及到处理器或内存的信息传输。 因此，在发送或接收数据时，对存储设备的I / O操作会消耗大量的处理器执行周期。 由于CAPI与处理器保持一致，因此可以使用CAPI I / O加速技术来减轻处理器的I / O操作负担。 这有助于减少I / O密集型工作负载的处理器使用率，从而为其他操作释放处理器周期。

您可以在两种模式下使用CAPI Flash适配器：

• 传统旧式文件系统模式
• Superpipe I / O模式，应用程序绕过操作系统堆栈直接向适配器发出I / O请求

在超级管道I / O模式下使用CAPI需要有关CAPI Flash适配器，寄存器和命令结构的知识。 IBMAIX®提供了一个名为CAPI Flash块库的库，以简化超级管道I / O模式下的应用程序开发。 请参阅“ 相关主题 ”部分，以获取CAPI Flash块库提供的API。 “ 示例超级管道I / O应用程序 ”部分提供了一个超级管道I / O程序示例 。

AIX中的CAPI支持

AIX发行版7200-00和7200-01中增加了最初的CAPI Flash支持，以利用直接连接配置中连接到闪存的CAPI适配器。 在此堆栈中，通用SCSI3磁盘驱动程序与CAPI Flash适配器驱动程序接口以使用CAPI Flash磁盘（连接到CAPI Flash适配器的IBM FlashSystem 900闪存磁盘）。

在AIX 7200-02-01版中，对该堆栈进行了进一步的优化，以为传统I / O提供更好的性能。 在此优化中，通用SCSI3驱动程序已替换为可处理CAPI Flash磁盘和CAPI Flash适配器的单片CAPI驱动程序。 有关优化堆栈的高级视图，请参见图1。

图1. AIX中优化的CAPI堆栈

CAPI Flash设备在/ dev /文件系统中创建。 运行以下命令以列出CAPI Flash适配器：

# lsdev -Cs capi
cflash0 Available 00-48000000 CAPI Flash Adapter (1410f0041410f004)
cflash1 Available 01-48000001 CAPI Flash Adapter (1410f0041410f004)

运行以下命令以列出CAPI闪存盘：

# lsdev -Cs capidev
hdisk0 Available 00-48000000 MPIO CAPI Flash Disk
hdisk1 Available 00-48000000 MPIO CAPI Flash Disk
hdisk2 Available 00-48000000 MPIO CAPI Flash Disk
hdisk3 Available 00-48000000 MPIO CAPI Flash Disk
hdisk4 Available 01-48000001 MPIO CAPI Flash Disk
hdisk5 Available 01-48000001 MPIO CAPI Flash Disk

请参考以下lspath输出示例。 在此，连接字段具有三个值，它们代表适配器端口号，目标全球端口名（WWPN）和逻辑单元号（LUN）标识符。

# lspath -l hdisk0 -F "name parent connection status"
hdisk0 cflash0 0,500507605e8397a3,0 Enabled
hdisk0 cflash0 1,500507605e839784,0 Enabled

硬件配置

CAPI Flash适配器需要IBMPOWER®处理器的支持。 CAPI适配器只能放在第三代PCIe x16插槽中。 在以下插槽中的基于POWER8处理器的系统上支持CAPI适配器。

表1. POWER 8中CAPI支持的插槽

绩效结果

使用灵活的I / O测试器对各种类型的工作负载（例如读取，写入和混合读取/写入）进行性能测试是在CAPI（优化的传统模式）和光纤通道（FC）上进行的。 在这两种情况下，都可以实现链接速度，但对于CAPI，则处理器利用率较低。 我们的性能结果显示读取操作平均提高了135％。 以下部分提供了性能结果和系统配置详细信息。

系统配置详细信息：

• IBM Power System 8286-42A服务器，带有32个处理器，频率为3.325 GHz
• 具有两个存储端口的IBM FlashSystem 900闪存存储
• 具有两个端口的CAPI Flash适配器
• 八个磁盘，每个磁盘大小为50 GB
• AIX配置：AIX 7.2-TL2-SP1（使用优化的堆栈，如图1所示）

每秒千个输入/输出操作（KIOPS）/ CPU是用于性能分析的指标。 KIOPS是实现的吞吐量，CPU是内核中的处理器利用率百分比。 尽管IOPS驱动的CAPI和FC都已接近最大链路带宽，但与FC相比，在CAPI情况下的处理器利用率要低得多。 比较如图2所示。

使用原始I / O直接对CAPI磁盘计算以下工作负载的KIOPS / CPU值：

• 100％读取操作
• 70％的读取操作和30％的写入操作
• 100％写入操作

在这三种情况下，CAPI均胜过FC，并且在100％读操作的情况下可获得最大增益（如表2所示）。

图2. KIOPS / CPU比较– CAPI与FC

下表列出了上述每种情况的准确百分比增长：

表2.性能提升– CAPI与FC

CAPI用例

随着实时分析和认知应用的出现，对内存数据库的需求已成倍增加。 内存数据库的大小Swift增加，而系统动态随机存取存储器（DRAM）的大小增加受到限制。 因此，可以扩展内存的低延迟存储的需求正在增加。

与传统I / O相比，在超级管道I / O模式下使用CAPI Flash的等待时间短。 从这个角度来看，CAPI Flash可以看作是慢速内存（因为延迟无法与DRAM相匹配）。 因此，CAPI Flash可用于将系统的内存大小扩展成倍数，因为可以将更大的Flash存储连接到CAPI Flash适配器。

内存数据库播放器可以使用CAPI Flash扩展内存。 有关更多详细信息，请参考POWER8 CAPI的Linux Redis Labs NoSQL数据库漏洞 。

将来，CAPI适配器（OpenCAPI）可能会通过高速链接连接到POWER处理器。 这可以进一步减少等待时间并增加吞吐量。

样例超级管道I / O应用程序

请参考以下示例程序，该程序通过CAPI Flash块库在超级管道I / O模式下使用CAPI适配器。

/**********   cblk_test.c   *************/#include <stdio.h>
#include <fcntl.h>
#include <sys/capiblock.h>int
main(int argc, char *argv[])
{int fd = -1, rc = -1, offset = 0, cnt = 0;chunk_id_t chnk_id;char buf[4096], file_buf[4096];/* Initialize CAPI Flash block library */rc = cblk_init(NULL, 0);if (rc != 0){return(rc);}/* Open a virtual lun on the given CAPI Flash disk */chnk_id = cblk_open(argv[2], 0, O_RDWR, 0, CBLK_OPN_VIRT_LUN);if (chnk_id == NULL_CHUNK_ID){return (-1);}/* Assign 256MB to Virtual LUN ( (256 * 1024)/4 = 65536) */rc = cblk_set_size(chnk_id, 65536, 0);if (rc){return -2;}/* Open the given file on a filesystem */fd = open(argv[1], O_RDONLY);if (fd < 0){return -3;}/* Copy the file contents to virtual lun */while ( (cnt = read(fd, buf, 4096)) > 0){rc = cblk_write(chnk_id, buf, offset, 1, 0);if (rc == 0){perror("write:");return -4;}offset++;}/* Now read the data from Virtual lun and compare *//* with file contents */offset = 0;rc = lseek(fd, 0, SEEK_SET);if (rc != 0){perror("lseek:");return -5;}while ((rc = cblk_read(chnk_id, buf, offset, 1, 0)) > 0){cnt = read(fd, file_buf, 4096);if (cnt < 0){perror("File read:");return -6;}/* Compare two buffers */rc = bcmp(buf, file_buf, cnt);if (rc != 0){printf("Data Mismatch\n");return -6;}}close(fd);cblk_close(chnk_id, 0);cblk_term(NULL, 0);return 0;
}

使用以下命令来编译示例超级管道应用程序。

• 使用GNU gcc编译器：

# gcc cblk_test.c -o cblk_test -lcflsh_block

• 使用xlc编译器：

# cc cblk_test.c -o cblk_test -lcflsh_block

AIX中的CAPI限制

在AIX上的CAPI实现包括以下限制：

• 除直接连接外，不支持其他光纤通道拓扑。
• 通过CAPI Flash适配器连接的磁盘没有启动支持。
• 不支持通过VIOS虚拟化CAPI Flash磁盘设备。
• CAPI磁盘不支持实时分区移动性（LPM）。
• 不支持512字节块大小的磁盘。

结论

随着实时分析需求的增长，对更大内存的需求也在增长。 但是，系统中的内存大小并没有随需求增加。

CAPI Flash在超级管道I / O模式中具有超低的低延迟，可以将其视为慢速内存，并且可以用于扩展内存数据库的内存占用，内存数据库广泛用于分析和其他实时应用程序中。

相关话题

• AIX内核CAPI Flash支持
• CAPI编程
• CAPI Flash块层API

翻译自: https://www.ibm.com/developerworks/aix/library/au-aix-achieve-performance-capi/index.html