c++ 怎么实现GPU显存?

Question

c++ 怎么实现GPU显存储存数据呢？和CPU存储有什么区别?

Answer 1

引自免费微信小程序：皆我百晓生

在C++中，要利用GPU进行计算并管理其显存，你需要使用CUDA（Compute Unified Device Architecture）编程模型。CUDA是NVIDIA提供的一个用于通用并行计算的平台和编程模型，允许你在NVIDIA GPU上执行任意类型的计算任务。

首先，确保你安装了CUDA开发环境，并且已经设置了相关的环境变量。然后，你可以开始编写CUDA C/C++程序。下面是一个简单的例子，展示了如何在GPU上分配、初始化和释放显存。

#include <cuda_runtime.h>
#include <device_launch_parameters.h>

// 定义全局设备函数
__global__ void fillArray(int *array, int size) {
    int idx = threadIdx.x + blockIdx.x * blockDim.x;
    if (idx < size)
        array[idx] = idx;
}

int main() {
    // 检查CUDA是否可用
    cudaError_t err = cudaSuccess;
    if ((err = cudaGetDeviceCount(&size)) != cudaSuccess) {
        fprintf(stderr, "Failed to get device count! %s\n", cudaGetErrorString(err));
        return 1;
    }

    // 初始化设备
    err = cudaSetDevice(0);
    if (err != cudaSuccess) {
        fprintf(stderr, "Failed to set device! %s\n", cudaGetErrorString(err));
        return 1;
    }

    // 分配GPU内存
    int *d_array;
    err = cudaMalloc((void **)&d_array, sizeof(int) * 1024);
    if (err != cudaSuccess) {
        fprintf(stderr, "Failed to allocate device memory! %s\n", cudaGetErrorString(err));
        return 1;
    }

    // 初始化数组大小
    int size = 1024;

    // 启动线程块
    dim3 threadsPerBlock(64);
    dim3 numBlocks(size / threadsPerBlock.x + (size % threadsPerBlock.x > 0));

    // 将全局设备函数发射到GPU
    fillArray<<<numBlocks, threadsPerBlock>>>(d_array, size);

    // 等待GPU完成计算
    cudaDeviceSynchronize();

    // 从GPU复制数据到CPU
    int h_array[size];
    err = cudaMemcpy(h_array, d_array, sizeof(int) * size, cudaMemcpyDeviceToHost);
    if (err != cudaSuccess) {
        fprintf(stderr, "Failed to copy data from device to host! %s\n", cudaGetErrorString(err));
        return 1;
    }

    // 打印前10个元素验证结果
    for (int i = 0; i < 10; ++i)
        printf("%d ", h_array[i]);

    // 释放GPU内存
    err = cudaFree(d_array);
    if (err != cudaSuccess) {
        fprintf(stderr, "Failed to free device memory! %s\n", cudaGetErrorString(err));
        return 1;
    }

    return 0;
}

这段代码首先检查CUDA是否可用，然后设置设备为第一个可用的设备。接着，它在GPU上分配了一个大小为1024的整数数组，并将一个填充函数发射到GPU上。填充函数会根据线程索引初始化数组中的值。之后，代码会等待GPU完成计算，然后将结果复制回CPU进行打印，最后释放GPU上的内存。

与CPU存储的区别：

1. 访问速度：GPU具有大量的并行处理单元，因此在处理大量数据时，它的读写速度通常比单核或多核CPU快得多。
2. 内存类型：GPU拥有专用的显存（GDDR或HBM），而CPU则有主内存（RAM）。显存通常更快但容量有限，而主内存容量较大但速度较慢。
3. 访问模式：CPU可以直接访问所有内存区域，而GPU只能通过CUDA API间接访问其显存。这要求开发者手动管理数据传输，即从主机内存复制到GPU内存，以及计算完成后将结果复制回主机内存。
4. 编程模型：CPU编程通常基于线程和进程，而GPU编程更侧重于线程块和网格的概念，每个线程块由多个线程组成，这些线程在同一时间内协同工作。

为了更好地理解这些概念，建议参考CUDA官方文档https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html，并尝试运行示例代码。如果你对某个部分有疑问，可以随时提问。