cuda

Matlab System Error

参考官方说明Why does MATLAB crash when plotting with AMD drivers? 安装驱动管家检测显卡驱动是否已经过时更新Intel显卡驱动到最新版本更新AMD显卡驱动(我的是AMD，你的可能是其他的如NVIDIA)重新启动电脑

ubuntu18.04安装pytorch、cuda、cudnn和miniconda

目录 0. 前言 1. nvidia驱动安装及卸载 1.1 安装 1.2 卸载 2. cuda-10.2安装验证及卸载 2.1 安装 2.2 验证 2.3 卸载 3. cudnn安装及验证 3.1 安装 3.2 验证 4. miniconda安装验证及卸载 4.1 安装 4.2 验证 4.3 卸载 5. pytorch安装验证及卸载相关 5.1 安装 …

CUDA编程接口

编程接口文章目录编程接口3.1利用NVCC编译3.1.1编译流程3.1.1.1 离线编译3.1.1.2 即时编译3.1.2 Binary 兼容性注意：仅桌面支持二进制兼容性。 Tegra 不支持它。此外，不支持桌面和 Tegra 之间的二进制兼容性。3.1.3 PTX 兼容性3.1.4 应用程序兼容性3.1…

g++(nvcc) 链接库文件

查了一晚上的资料终于把库文件给链接上了，这里做一下总结. 编译CUDA源程序发现cannotopen shared object file错误，后来发现cuda所要使用的库文件放在/usr/local/cuda目录下，而不是在默认的路径下，于是就在编译时用编译选项指定的…

先看代码，再说细节。 // kernel __global__ void plus_array(int *x, int* y, int* z, int len){int index threadIdx.x blockIdx.x * blockDIm.x;if (index < len)z[index] x[index] * y[index]; }int main(){int num 1 << 20;int buff_size num * …

CUDA 编程--线程层次

1.内核 CUDA通过允许程序员定义称为内核的C函数扩展了C，内核调用时会被N个CUDA线程执行N次（译者注：这句话要好好理解，其实每个线程只执行了一次），这和普通的C函数只执行一次不同。内核使用 global 声明…

VS2010 CUDA8.0 工程配置

1.打开vs2010,创建win32控制台项目,命名为cuda_test,点确定 2.勾选空项目 3.右键”源文件”目录,选择 “添加–新建项” 4.左侧选择NVIDIA CUDA8.0,在中间图标处选择CUDA/C file,命名为test 5.右键cuda项目–生成自定义 6.勾选CUDA8.0 7.右键刚才创建的test.cu…

查看cuda和cudnn版本

cuda 版本 cat /usr/local/cuda/version.txt 显示 CUDA Version 9.1.85 cudnn 版本 cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 显示：#define CUDNN_MAJOR 7#define CUDNN_MINOR 0#define CUDNN_PATCHLEVEL 5--#define CUDNN_VERSION (CUDNN_MA…

CUDA C编程权威指南：1.1-CUDA基础知识点梳理

主要整理了N多年前（2013年）学习CUDA的时候开始总结的知识点，好长时间不写CUDA代码了，现在LLM推理需要重新学习CUDA编程，看来出来混迟早要还的。 1.CUDA 解析：2007年，NVIDIA推出CUDA&#xff08…

CUDA学习2-编程部分

CUDA编程函数声明 host：主机端，通常指CPU device：设备端，通常指GPU（数据可并行） kernel：数据并行处理函数，在主机端调用kernel可以在设备端创建大量轻量级线程 host 和 device拥有…

Win10安装GPU版本的Tensorflow（包含cuda和cuDNN的下载、安装、配置），有详细步骤、图片+查看GPU使用情况

步骤一、查个人电脑型号二、查版本是否支持三、下载安装并配置1.安装cuda2.安装cuDNN3.安装tensorflow-gpu4.其他①出错：找不到指定的模块②如果想让电脑用CPU运算③Windows查看GPU使用情况一、查个人电脑型号点击【此电脑】——【管理】——【设备管理器】查看【…

CUDA10.0官方文档的翻译与学习之硬件实现

背景在之前的文章中，我翻译了cuda10.0官方文档的前三章，这次就来翻译第四章——硬件实现英伟达GPU架构通过由多线程的流式多处理器(SM)组成的可变数组编译，当一个主机CPU上的cuda程序调用了一个核网格，网格内的线程块将会被枚…

【ubuntu】安装cuda

参考：https://github.com/NVIDIA/DIGITS/blob/digits-5.0/docs/InstallCuda.md#driver #查看已安装驱动 cat /proc/driver/nvidia/version NVRM version: NVIDIA UNIX x86_64 Kernel Module 384.90 #卸载nvidia驱动 sudo apt-get remove --purge nvidia-384…

编译运行hog的opencv实现

背景前几篇LitmusRT、pgmRT等的安装就是为这里的实验做准备的，因此前置条件是编译安装好了litmusRT和pgmRT，并且当前系统内核为litmusRT 下载克隆源码到某目录下 rootubuntu:/home/szc/cpu-gpu/openvx# git clone https://github.com/Yougmark/ope…

CUDA学习笔记（一）——基础

GPU架构针对软硬件的架构组件是不同的概念，软件的架构是为了方便cuda编程而设计，GPU显卡会根据代码自动调用相应的硬件组件，先介绍软件层面的架构，即CUDA架构。 CUDA架构众所周知，cuda可以做并行加速计算&#xf…

CUDA C编程权威指南：1-基于CUDA的异构并行计算

什么是CUDA？CUDA（Compute Unified Device Architecture,统一计算设备架构）是NVIDIA（英伟达）提出的并行计算架构，结合了CPU和GPU的优点，主要用来处理密集型及并行计算。什么是异构计算&#xff1…

TX2平台编译CUDA版的OpenCV4.2

前言：opencv4.2版本19年12月发布，其最重要的改变是增加了对DNN模块Cuda加速，使得深度学习调用DNN接口可以获取GPU的加速。但opencv4.2版本中DNN的加速模块放在了opencv_ contrib中，因此要使用opencv4.2进行cuda加速，就…

Diagonalwise Refactorization: An Efficient Training Method for Depthwise Convolutions笔记

论文地址：Diagonalwise Refactorization: An Efficient Training Method for Depthwise Convolutions 摘要 Depthwise Conv由于减少了参数和乘加运算因而具备显着的性能优势。然而，在当前的深度学习框架中，使用GPU进行Depthwise Conv训练的…

CUDA学习3-优化部分

网课链接：https://www.bilibili.com/video/BV1kx411m7Fk?p11 知识回顾基本概念 Thread 每个线程私有 Local Memory Block 每个线程块有 Shared Memory Device 每个设备(多个kernel)共有 Global Memory 内存 local memory 每个科室的员工的办公桌只供员工个人…

cuda 多计算能力支持、指明可见的cuda设备等知识储备

一、cuda 多计算能力支持对于cuda程序编译机器和运行机器卡的卡的类型、计算能力、驱动情况都不尽相同，这就使得其编译时要讲究一下。一般用比较旧的glibc 免得新机器出现问题。而且 CUDA driver version 和 CUDA runtime version 分别指驱动中支持的CU…

ZED2相机使用环境搭建（Ubuntu20.04+NVIDIA-470驱动+CUDA-11.4）

一安装标定工具 1 安装Kalibr 使用kalibr工具标定ZED2双目相机 1)安装依赖项 sudo apt-get install python-setuptools python-rosinstall ipython libeigen3-dev libboost-all-dev doxygen libopencv-dev ros-melodic-vision-opencv ros-melodic-image-transport-plugins …

ubuntu20.04卸载cuda11.4重装cuda11.0

目前CUDA版本为11.4，部分情况下CUDA版本过高，所以尝试降级，卸载CUDA11.4，安装CUDA11.0。网上教的卸载方式以pl为结尾，都不大对，从11开始卸载方式有变化，具体为： cd /usr/local/cu…

在Jetson nano上部署PaddleSeg

环境前提 jetson nano已经安装好图像化Linux系统，大家在网上找教程随便装一个自己喜欢的。配置好python和pip 开始 Paddle Inference 是飞桨的原生推理库， 作用于服务器端和云端，提供高性能的推理能力，在使用之前，…

如何检测ubuntu中是否已经配置好cuda

如果已经安装好cuda ,如何确认系统已经配置好cuda?检测方法如下： 首先进入cuda 的安装目录： 执行 $ cd /usr/local/cuda/samples , $ cd ./1_utilities , $ cd ./deviceQuery 然后编译：make;如果编译成功，执行make ; 如果编译成…

anaconda 搭建 pytorch 环境：conda 和 whl 两种方式

文章目录anaconda 搭建 pytorch 环境：conda 和 whl 两种方式一、anaconda 镜像源设置二、版本对应1. CUDA 版本三、pytorch安装1. 方式一：conda2. 方式二：whl参考资料anaconda 搭建 pytorch 环境：conda 和 whl 两种方式一、anac…

老电脑安装pytorch一直显示Your installed CUDA driver is:10.0

Your installed CUDA driver is:10.0 出现这个情况，就是电脑配置最高位10.0 而pytorch-gpu版本，支持10.0的只有pytorch1.2版本高版本是不支持较低cuda的，所以只能自己在重新找个合适的版本下载了， 个人试过1.6、1.7版本的pyt…

如何查看自己的电脑应该安装什么版本的cuda

如何查看自己的电脑应该安装什么版本的cuda 打开控制面板，找到NVDIA 控制面板如上图所示，点击系统信息，出来之后再点击组件，NVCUDA.DLL对应的就是cuda的版本了。个人安装来看，我的笔记本是如果安装9.0的就会显示不…

TensorFlow指定GPU使用及监控GPU占用情况

查看机器上GPU情况命令： nvidia-smi 功能：显示机器上gpu的情况命令： nvidia-smi -l 功能：定时更新显示机器上gpu的情况命令：watch -n 3 nvidia-smi 功能：设定刷新时间（秒）显…

Ubuntu离线安装Pytorch和torchvision

Ubuntu离线安装Pytorch和torchvision 首先明确torch和torchvision的对应依赖版本 torchtorchvisionpythoncuda1.510.61>3.610.1，10.21.500.6.0>3.610.1，10.21.4.00,5.0>3.5，<3.89.2，10.01.3.10.4.2>3.5&#xff…

【全面】Centos7安装CUDA和cuDNN

本文讲解如何在centos7系统下下载安装CUDA和cuDNN,以下命令均在root权限下使用 1 确认电脑上已安装了GPU和显卡驱动 .检查GPU是否安装及型号 lspci | grep nvidia 检查Nvidia驱动版本 nvidia-smi 1 准备环境，一般来讲安装都需要GCC环境输入 gcc -v 查看是否已经安装过 gcc，…

Tensorflow 、Pytorch测试GPU、CUDA是否可用

Tensorflow 测试GPU是否可用 1.打开Anconda Prompt进入环境 conda activate tf //激活环境名为tf的环境2.输入python，进入python 3.输入测试代码 import tensorflow as tf print(tf.test.is_gpu_available())4.打印结果 True //表示GPU可用 False//表示GPU不可…

(如何安装pytorch详细教程！！！)全面讲解安装Anaconda+CUDA+PyTorch

之前安装了CUDA，与Pytorch，但是当把自己的数据放到GPU上训练的时候（代码部分已经写清楚放到CUDA上），发现GPU的占用率很低，CPU的占用率高达90%，后来发现是显卡的驱动与自己安装的CUDA并不匹配&am…

CUDA各版本网址、CUDNN各版本网、以及对应关系

CUDA网址：CUDACUDNN网址：CUDNN对应关系网址：官网对应关系 （在最下面）

【nvidia-smi】Failed to initialize NVML: Driver/library version mismatch解决方法(不用重启)

项目场景： 在带有GPU的linux上执行 "nvidia-smi",提示Failed to initialize NVML: Driver/library version mismatch。因为这个原因，导致我们无法使用GPU，从而无法进行深度学习等相关的任务。另外，因为是实验室的服务…

使用CMake 2.8 编译OpenCV 3.1.0 + opencv_contrib扩展 (环境ubuntu14.04 CUDA8.0)

软件下载： 1. opencv-3.1.0.zip https://github.com/Itseez/OpenCV/archive/3.1.0.zip 2. opencv_contrib-3.1.0.zip https://github.com/opencv/opencv_contrib/archive/3.1.0.zip 注意：所有权限问题不能执行的命令，一律在命令前加sudo …

win10+vs2015+cudatoolkit9.0+tensorflow1.12.0（内涵cudnn7.6.5）

win10vs2015cudatoolkit9.0tensorflow1.12.0（内涵cudnn7.6.5） 其中 cudatoolkit9.0tensorflow1.12.0（内涵cudnn7.6.5） 直接用conda安装可以用gpu

cuda-核函数原型

参考资料：https://blog.csdn.net/l281865263/article/details/103685661 核函数只能在主机端调用，调用时必须申明执行参数。调用形式如下： Kernel<<<Dg,Db, Ns, S>>>(param list); <<<>>>运算符内是核…

cuda下载

很多人去用下面地址去下会发现网站打不开 Cuda：CUDA Toolkit | NVIDIA Developerhttps://developer.nvidia.com/cuda-toolkit cuDNN：https://developer.nvidia.com/cudnn 有一个办法是把.com改成.cn 比如说cuda-10.0 CUDA Toolkit 10.0 Download | NV…

CUDA编程模型系列三(矩阵乘)

CUDA编程模型系列三(矩阵乘) 本系列教程将介绍具体的CUDA编程代码的细节 CUDA编程模型系列三(矩阵乘) #include <stdio.h> #include <math.h>#define BLOCK_SIZE 32 // error type & event // a[][] * b[][] c[][] // // b00 b01 b0…

VS2013下CUDA 7.5安装

VS2013下CUDA 7.5安装 1 环境搭建 1． 安装vs2013，若安装失败可能是卸载不干净，只能重装系统若重装后还失败，尝试删除或改名C:\Windows\SoftwareDistribution文件夹 2．官网下载CUDA 7.5，安装 3.安装完成…

【NVIDIA CUDA】2023 CUDA夏令营编程模型（二）

博主未授权任何人或组织机构转载博主任何原创文章，感谢各位对原创的支持！ 博主链接本人就职于国际知名终端厂商，负责modem芯片研发。在5G早期负责终端数据业务层、核心网相关的开发工作，目前牵头6G算力网络技术标准研究。博客…

ubuntu15.04安装cuda7.5

以下红字部分是网上的教程，试了一遍发现不行不安装驱动，只安装toolkit和sample 版本信息： Sample进行make时报错重新安装驱动进入Ubuntu，按 ctrlaltF1 进入tty，登录tty后输入如下命令 $sudo service lightdm sto…

NVIDIA NCCL 源码学习（十二）- double binary tree

上节我们以ring allreduce为例看到了集合通信的过程，但是随着训练任务中使用的gpu个数的扩展，ring allreduce的延迟会线性增长，为了解决这个问题，NCCL引入了tree算法，即double binary tree。 double binary tree 朴素…

使用 NVProf 检测 CUDA kernel 的 bank conflict

使用 NVProf 检测 CUDA kernel 的 bank conflict NVProf 指令使用 NVProf 可以对 bank conflict 进行检测: nvprof --events shared_ld_bank_conflict,shared_st_bank_conflict <app> [args...]其中: --events 选项指定的 shared_ld_bank_conflict,shared_st_bank_c…

WSL2 Ubuntu20.04 配置 CUDA

前言本文主要讲解如何在 Widnows 11 环境下的 WSL2（Ubuntu20.04）配置 CUDA 来启用 GPU 加速（本文默认您已经在 Windows 上安装完成 Nvidia CUDA） 配置流程检查驱动打开 GeForce Experience 检查驱动程序的情况，…

cuda之遇到过的bug

在运行cuda sample hello world的时候，我们遇到了如下的错误 cc1plus: fatal error: cuda_runtime.h: No such file or directory 在这里，我们执行的是nvcc hello.cu，之所以会报这个错误，是因为我们nvcc的路径的问题&#xff0c…

已经安装高版本CUDA的条件下bitsandbytes发现低版本的CUDA SETUP: Detected CUDA version 100解决方案

大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的…

OpenCVSharp使用GPU和Cuda

背景：在C#项目实践中，对与图像处理采用opencv优选的方案有两种，EMGU.CV和OpenCVSharp。以下是两个的比较： Opencv方案许可证速度支持易用性OpenCVSharp许可证是阿帕奇2.0可以随意用快CPU上手简单EMGU.CV许可证商用时需要随软件…

cuOSD(CUDA On-Screen Display Library)库的学习

目录前言1. cuOSD1.1 Description1.2 Getting started1.3 For Python Interface1.4 Demo1.5 Performance Table 2. cuOSD案例2.1 环境配置2.2 simple案例2.3 segment案例2.4 segment2案例2.5 polyline案例2.6 comp案例2.7 perf案例 3. cuOSD浅析3.1 simple_draw函数 4. 补充知…

cuda-gdb 基础使用指南

cuda-gdb 基础使用指南本文的cuda-gdb的简单入门指导，主要的参考是官方文档.但是原文是英文,又找了腾讯家的文档翻译机器,可惜水平着实一般.如果在使用过程中有更细的要求,可以看文档,本文最后贴出原文的目录,可以自己按图索骥,看看有没有其他的需求. 入门要求 …

Ubuntu配置cuda+cudnn

https://blog.csdn.net/tankpanv/article/details/119494178（亲测有效）

ubuntu22.04安装显卡驱动+cuda+cudnn

ubuntu22.04安装显卡驱动cudacudnn 1. 下载驱动和卸载、禁用自带驱动程序1.1 查看系统显卡型号1.2 从NVIDIA官网下载相应驱动1.3 卸载Ubuntu自带的驱动程序1.4 禁用自带的nouveau nvidia驱动1.5 更新1.6 重启电脑1.7 查看是否将自带的驱动屏蔽 2. 安装显卡驱动2.1 停止lightdm桌…

深度学习之CUDA+CUDNN详细安装教程

1 前言一点自己的想法了，可以跳过去，haha~ 在机器学习领域，为了让你的计算机学会某种技能，拥有我们的智慧，然后去做一些有趣的事情，比如去预测以后房子的价格，或者是在国家倡导垃圾分类的大环…

error: command ‘/usr/bin/nvcc‘ failed with exit status 1 报错--CUDA GCC Ubuntu版本匹配

error: command /usr/bin/nvcc failed with exit status 1如下图所示： 原因：该错误是由于Gcc版本和CUDA版本不匹配所导致通过nvcc -V 查看CUDA驱动版本通过gcc -v 查看gcc版本 GCC与CUDA版本匹配关系：https://docs.nvidia.com/cuda/cuda…

CUDA编程（四）并行化我们的程序

CUDA编程（四） CUDA编程（四）并行化我们的程序上一篇博客主要讲解了怎么去获取核函数执行的准确时间，以及如何去根据这个时间评估CUDA程序的表现，也就是推算所谓的内存带宽，博客的最后我们计算…

CUDA编程（九）并行矩阵乘法

CUDA编程（九） 矩阵乘法在之前我们一直围绕着一个非常简单的求立方和的小程序学习CUDA，从编写到优化，学习了很多，包括CUDA GPU的架构，如何评估程序，并行优化，内存优化，…

doppia调试之旅

前些天，导师让调一下 dpm 的 cuda 版本 doppia，我们专门为这个程序买了一块支持 cuda 的显卡，第一遍在台式机上调试的过程真心是很受伤，好在最后终于成功了，而且后来在自己笔记本上调试 doppia 的时候只用了半天不到的…

win10+cuda9.1+cudnn7.1.3+pytorch-0.4.1

win10cuda9.1cudnn-9.1-windows10-x64-v7.1.3pytorch-0.4.1-py37_cuda90_cudnn7he774522_1 新手第一次安装，竟然安装了一天，醉了醉了。写在最前面，安装第三步安装pytorch和torchvision时，最后是用conda新建一个虚拟环境&#x…

Ubuntu下cuda安装出现段错误以及nvcc无法找到最新安装的cuda解决方法

ububntu下cuda安装出现段错误以及nvcc无法找到最新安装的cuda解决方法前言一、背景二、cuda安装时出现段错误（核心已转储）解决办法。1.在终端使用查看栈限制2.cuda安装命令第二部错误：Installation failed. See log at /var/log/cuda-install…

CUDA重写opencv最近邻插值，宽和高分别放大k倍

第一种方法： 从global memory加载数据时coalesce #include "cuda_runtime.h" #include <cuda.h> #include <time.h> #include <vector> #include <opencv2/opencv.hpp> #include <opencv2/cudawarping.hpp> #include &q…

CUDA for循环计算递归函数，以勒让德多项式(Legendre polynomial)为例(2)

#include "cuda_runtime.h" #include <cuda.h> #include <stdlib.h> #include <iostream> #include <sys/time.h> #include <chrono>#define M 1000000 // M个点等分[-1, 1] #define N 100 // Legendre polynomial的阶数// https:…

CUDA for循环计算递归函数，以勒让德多项式(Legendre polynomial)为例（3）

legendre_p.cu #include "cuda_runtime.h" #include <cuda.h> #include <stdlib.h> #include <iostream> #include <sys/time.h> #include <chrono>#define M 1000000 // M个点等分[-1, 1] #define N 100 // Legendre polynomial…

RuntimeError: The NVIDIA driver on your system is too old.

【报错】使用 AutoDL 复现实验时遇到 RuntimeError: The NVIDIA driver on your system is too old (found version 11070). Please update your GPU driver by downloading and installing a new version from the URL: http://www.nvidia.com/Download/index.aspx Alternativ…

【学习笔记】windows10+tensorflow-gpu环境搭建

经过上个学期在学校和年初在家的失败后，本来没打算在自己笔记本上整的了，就怕到时候又重装，emmmm😑 本来想回到学校用实验室的电脑，不过现在这样回到学校还要好久，所以无奈之下还是装了，既然一…

查看英伟达显卡信息，解决nvidia-smi命令报错

跑训练的时候，提示cuda不存在，nvidia-smi报错： NVIDIA-SMI has failed because it couldnt communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running. 装过nvidia 显卡驱动了，…

性能优化-OpenMP概述（一）-宏观全面理解OpenMP

本文旨在从宏观角度来介绍OpenMP的原理、编程模型、以及在各个领域的应用、使用、希望读者能够从本文整体上了解OpenMP。 🎬个人简介：一个全栈工程师的升级之路！ 📋个人专栏：高性能（HPC）开发基础…

一文搞懂CUDA

什么是cuda 统一计算设备架构（Compute Unified Device Architecture, CUDA），是由NVIDIA推出的通用并行计算架构。解决的是用更加廉价的设备资源，实现更高效的并行计算。 CUDA是NVIDIA公司所开发的GPU编程模型，它提供…

极智开发 | CUDA线程模型与全局索引计算方式

欢迎关注我的公众号 [极智视界]，获取我的更多经验分享大家好，我是极智视界，本文分享一下 CUDA线程全局索引计算方式。邀您加入我的知识星球「极智视界」，星球内有超多好玩的项目实战源码和资源下载，链接：https://t.zsxq.com/0aiNxERDq CUDA 线程全局索引的计算，是很容…

anaconda安装tenforflow-gpu（以我的mx250显卡为例）

今天手贱，在anaconda navigator里面，看到了有重复的TF2.1文件夹，我以为是以前自己命名重复了好几个tensorflow环境，就手贱的点了remove，万万没想到，一个remove让所有的TF2.1都没了，我以前辛辛苦…

使用numba cuda 加速Python运算

使用numba cuda 加速Python运算 １.随机数生成参考文献习惯了cuda c，可能会认为cuda和c才是黄金档搭。 Python作为一种开发效率比较高的脚本语言，有助于我们快速实现某种功能。但是Python执行效率极其之慢。这种情况下，用cud…

记录caffe在ubuntu16.04系统上面的安装全程

经过两天坚持不懈，终于在Ubuntu16.04系统上将caffe成功配置。过程中踩过无数个坑，遇到很多错误，幸运的是这些错误都解决了，因此撰写该博客记录caffe的配置过程，以及对配置过程中遇到的错误提供解决办法，避免…

mmdetection的conda环境搭建步骤

环境搭建： Linux 、Python 3.7.10、PyTorch 1.8.1 、CUDA 10.2 安装步骤： 1.创建虚拟环境： conda create -n open-mmlab python3.7 #如果需要移除虚拟环境 #conda remove -n open-mmlab --all source activate conda activate open-mmlab 2.…

CUDA编程（七）共享内存与Thread的同步

CUDA编程（七） 共享内存与Thread的同步在之前我们通过block，继续增大了线程的数量，结果还是比较令人满意的，但是也产生了一个新的问题，即，我们在CPU端的加和压力变得很大，所以我们…

【cuda】一、基础知识 thread grid

SIMT（single instruction multiple threads） Model Threads最小，组成warps（SIMT）。warps每次一起执行。再组成thread blocks，是最小的编程单元，组成单个thread。再组成Grids。 grid size …

Ubuntu22上安装cuda-12-3

说明最近在运行通义千问模型的的时候，报错，提示使用Ubuntu22.04默认的cuda11.5不支持，之前是使用apt安装的，版本比较老。 CUDA官网下载：https://developer.nvidia.com/downloads 安装步骤安装支持Ubuntu22的源 …

CUDA计算超时（TDR）和阻塞界面问题的处理参考方法

本文提供一种解决单个英伟达独立显卡（终端用户常见的情形）上计算密集导致程序崩溃和电脑界面卡死的问题参考方法，采取降低效率和花费更多时间的思路来解决崩溃和卡顿的问题，即让CPU占有率不是一直100%，也不会因为被TDR机制打断。如上图，在GPU-Z软件中看到“GPU Load”没…

Python与GPU编程快速入门（三）

3、使用Numba加速Python代码 Numba 是一个 Python 库，它使用行业标准 LLVM 编译器库在运行时将 Python 函数转换为优化的机器代码。您可能想尝试用它来加速 CPU 上的代码。然而，Numba还可以将Python 语言的子集转换为CUDA，这就是我们将在这里使用的。所以我们的想法是，…

python用来正常显示中文标签 plt.rcParams[‘font.sans-serif‘] = [‘SimHei‘]错误

用来正常显示中文标签显示错误代码plt.rcParams[‘font.sans-serif’] [‘SimHei’]无法运行我的环境：在JetBrains PyCharm Community Edition 2018.3.5 x64中，解释器是Anaconda3中的Python3.5 错误根源代码：plt.rcParams[font.sans-serif]…

【抄作业】ubuntu完全卸载CUDA，彻底卸载cuda，卸载不同版本的cuda，cuda不同版本的卸载方法

卸载的实现方法如何正确、完全的卸载cuda呢？ 其实cuda安装时就已经准备好了卸载的接口，卸载程序在/usr/local/cuda-xx.x/bin下，需要注意的是cuda10.0及之前的版本卸载程序名为uninstall_cuda_xx.x.pl，而cuda10.1及之后的版本卸…

CUDA链表

照着CUDA Sample里面的NewDelete程序写一个CUDA的在设备上使用的链表（由于要求必须要用链表。。。） 如果链表正确的话应该是输出一个5*5的中间一列是-1，其他四列是0的矩阵 #ifndef _LIST_ #define _LIST_#if defined(__x86_64) || defined(A…

jetson xavier nx 系统及相关环境配置（cuda，torchvision，torch，tensorflow，opencv）

一、装载系统首先下载系统镜像到这里下载https://developer.nvidia.com/embedded/downloads，选择自己需要的jetpack版本。我当时安装的时候查的资料都说jetpack和后面安装的pytorch以及tensorflow要对应，但是当时我没有注意安装的并不是对应的版本&a…

Ubuntu22.04安装nvidia-docker

安装docker 参考这篇文章：Ubuntu22.04安装docker - 掘金安装nvidia-docker 参考这篇文章：Ubuntu 22.04 LTS : NVIDIA Container Toolkit : Install : Server World 流程： curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | …

Python与GPU编程快速入门（二）

Python与GPU编程快速入门文章目录 Python与GPU编程快速入门2、将GPU与CuPy结合使用2.1 CuPy介绍2.2 Python中的卷积2.3 使用SciPy在CPU上进行卷积2.4 使用CuPy在GPU上进行卷积2.5 测量性能2.6 验证2.7 在 GPU 上执行 NumPy 例程本文将详细介绍如何在Python中使用CUDA，从而使P…

Ubuntu22.04 LTS + CUDA12.3 + CUDNN8.9.7 + PyTorch2.1.1

简介本文记录Ubuntu22.04长期支持版系统下的CUDA驱动和cuDNN神经网络加速库的安装，并安装PyTorch2.1.1来测试是否安装成功。安装Ubuntu系统如果是旧的不支持UEFI启动的主板，请参考本人博客U盘系统盘制作与系统安装（详细图解&#xff09…

ubuntu16.04配置安装caffe

经过两天坚持不懈，终于在Ubuntu16.04系统上将caffe成功配置。过程中踩过无数个坑，遇到很多错误，幸运的是这些错误都解决了，因此撰写该博客记录caffe的配置过程，以及对配置过程中遇到的错误提供解决办法，避免…

YoloV4 Window10环境下配置教程

YoloV4 Window10 CUDA10 VS2019 环境下配置教程配置流程Window10VS2019CUDACUDNN安装OpenCVCloneYoloV4VS2019编译最终效果展示配置流程主要是分享我踩过的一些坑，有问题可以留言探讨。 YoloV4 VS2019 Window10CUDA10.0CUDNN7.5 Window10 Window10系统 VS2019 …

VS2015+cublas实操记录（cuda加速GEMM矩阵乘加算子）

1. 环境配置： cuda安装后一般的安装位置在：C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8 把这个目录下的include和lib分别配置在vs中，安装cuda教程可参考：https://zhuanlan.zhihu.com/p/520995962（笔者…

CUDA编程（八）树状加法

CUDA编程（八） 树状加法上一篇博客我们介绍了ShareMemory和Thread同步，最后利用这些知识完成了block内部线程结果的加和，减轻了CPU的负担，结果还是比较令人满意的，但是block的加和工作是使用一个thread0单…

CUDA学习笔记1——核函数与线程

CUDA安装并配置环境后，使用VS新建工程时会出现对应选项： CUDA核函数调用 CUDA核函数必须用限定词 global 修饰，返回类型必须为void，二者次序随意。函数名与()之间用三括号<<<网格大小，线程块大小>>&…

Cuda 学习教程：Cuda 程序初始化

Cuda程序初始化目前，cuda里面没有对设备的初始化函数InitDevice()，只能每次调用的api函数的时候，加载设备的上下文，自动进行初始化，这将带来问题： First函数调用的时候，需要自动初始化设备&am…

解决Nsight Systems错误

一、错误1 解决办法 In order to collect CPU samples, Nsight Systems uses the linux perf functionality under the covers. This functionality is not available when Paranoid is set >2. (from the documentation) Requirements for x86_64, Power, and ARM SBSA T…

解决 yolo-fastest 编译时找不到cuda的问题

如果不能正常运行，将cudatoolkit下的bin目录加入到环境变量中（linux下通常为/usr/local/cuda/bin） 比如运行以下命令 export PATH"/usr/loca/cuda/bin:$PATH" 如果你的cuda/bin的目录不同，修改上面的路径然后再用…

【NVIDIA CUDA】2023 CUDA夏令营编程模型（三）

博主未授权任何人或组织机构转载博主任何原创文章，感谢各位对原创的支持！ 博主链接本人就职于国际知名终端厂商，负责modem芯片研发。在5G早期负责终端数据业务层、核心网相关的开发工作，目前牵头6G算力网络技术标准研究。博客…

TensorRt安装和命令行测试

1、选择TensorRt版本安装tensorrt前，需要先了解自己的显卡算力、架构等，点击算力列表链接对号入座。这里仅展示RTX和Titan系列，其他系列可在当前网页选择。 1.1、cuda版本首先需要安装cuda，其版本并不是最新就好&#xf…

检测CUDA 是否能访问GPU时回应速度慢【笔记】

SUPWEMICRO 418G-Q20X12 维护记录： 两台设备均已安装CUDA与Pytorch，在检测CUDA 是否能访问GPU，执行torch.cuda.is_available()命令时，一台设备速度秒回应True，但另外一台设备回应速度慢（1分钟左右&#xff…

《基于 CUDA 的 GPU 并行程序开发指南》中的 RowBytes 为什么这么计算

目录为什么 RowBytes (Hpixels * 3 3) & (~3) 书名：《基于 CUDA 的 GPU 并行程序开发指南》为什么 RowBytes (Hpixels * 3 3) & (~3) A & (~3) 相当于 A - A%4 也就是取 4 的倍数 (A3) & (~3) 相当于 A 向上取整取 4 的倍数为什么要取 4…

VS工程加载失败 | 找不到导入的项目CUDA xx.props解决方案

问题背景： 如果遇到VS项目某些工程无法加载，有一个可能的原因是属性表没有找到。即props文件无法加载，导致项目加载失败。解决方案： 找到工程配置 .vcxproj 文件，编辑打开，查找props，发现电脑…

ubuntu cuda10.0 + cudnn 的安装流程

记录下，下次安装就方便些 1. 下载链接：ubuntu cuda10.0 download 2. 打开链接，勾选如下图选项，下载文件。 3. 下载后运行命令：sudo sh cuda_10.0.130_410.48_linux.run。然后按照下图进行键入选项。 4. 直到出现下图内…

CUDA中的动态并行

CUDA的动态并行文章目录CUDA的动态并行1. 介绍1.1. 简述警告：与父块的子内核显式同步（即在设备代码中使用 cudaDeviceSynchronize()）在 CUDA 11.6 中已弃用，并计划在未来的 CUDA 版本中删除。1.2. 术语2. 执行环境和内存模型2.1.…

CUDA中的数学方法

CUDA中的数学方法文章目录CUDA中的数学方法1. Standard FunctionsSingle-Precision Floating-Point FunctionsDouble-Precision Floating-Point Functions2. Intrinsic FunctionsSingle-Precision Floating-Point FunctionsDouble-Precision Floating-Point Functions参考手册…

TensorRT中的自定义层

TensorRT中的自定义层文章目录TensorRT中的自定义层9.1. Adding Custom Layers Using The C API9.1.1. Example: Adding A Custom Layer With Dynamic Shape Support Using C重要提示：覆盖检查索引小于pos的连接的格式/类型，但绝不能检查索引大于pos的连…

【Win10安装NVIDIA驱动、CUDA、CUDNN】

Win10安装NVIDIA驱动、CUDA、CUDNN 1 NVIDIA驱动下载2 下载CUDA2.1 查看CUDA版本2.2 下载并安装CUDA 3 下载并安装CUDNN3.1 输入账号和密码后，登录CUDNN官方网站进行下载3.2 安装3.2.1 解压下载的压缩包3.2.2 将解压后bin目录的内容全部放到CUDA对应的bin目录3.2.3 …

【一次性解决】CUDA和PyTorch的安装与多版本管理问题

很多人配置环境就是直接安装三件套，而对于版本管理不是很清楚。在开发初期，这样做没什么问题。但是如果服务器多人使用，或者复现代码多（pytorch版本和cuda版本是互相依赖的），就需要更进一步的版本管理方法。…

通用图形处理单元GPGPU计算管线（General Purpose computation on Graphics Processing Units）介绍

文章目录 GPGPU计算管线一、引言二、GPGPU计算模型2.1 数据并行性2.2 计算密集型三、GPGPU计算管线3.1 管线（Pipeline）概述3.2 计算管线结构输入阶段执行阶段输出阶段 3.3 计算管线优化内存优化计算优化四、代码示例五、结论 GPGPU计算管线一、引言 …

CUDA小白 - NPP(3) 图像处理 Color and Sampling Conversion

cuda小白原始API链接 NPP GPU架构近些年也有不少的变化，具体的可以参考别的博主的介绍，都比较详细。还有一些cuda中的专有名词的含义，可以参考《详解CUDA的Context、Stream、Warp、SM、SP、Kernel、Block、Grid》常见的NppStatus&#xf…

让VA和Visual studio支持*.cu文件

众所周知，*.cu和*.cuh后缀文件是CUDA的专门后缀格式，使用*.cu后缀的主要目的是使得CUDA的rules可以识别它并在编译时做一个预编译，生成用于CPU代码的cpp文件和用于GPU代码的cubin文件。虽然都是文本文件，因此可以直接使用cpp后缀已…

（四）CUDA应用程序编程接口详解

C语言扩展 CUDA的编程接口是C语言的扩展集，其中主要的是Runtime库，该库分为三个组件：主机组件、设备组件以及公共组件主机组件：在主机上运行并提供函数来控制和访问一个或多个计算设备设备组件：设备运行并且提供特…

深入理解人工智能中的图神经网络：原理、应用与未来展望

导言： 图神经网络（Graph Neural Networks, GNNs）作为人工智能领域的一项前沿技术，在社交网络分析、推荐系统、生物信息学等多个领域展现出卓越的性能。本文将深入剖析图神经网络的原理、当前应用场景以及未来可能的发展方向。 1.…

Cuda三维纹理的使用

1、代码说明 1.1 代码 #include "cuda_runtime.h" #include "device_launch_parameters.h"#ifndef __CUDACC__ #define __CUDACC__ #endif // !__CUDACC__ #include <cuda_texture_types.h>texture<short, cudaTextureType3D, cudaReadModeNor…

windows下面通过conda安装torch和cuda的正确添加源

在windows下面需要安装alphapose的依赖环境，首先需要安装pytorch1.1.0, torchvision0.3.0, cudatoolkit10.0, cudnn7.6.5。如果没有添加conda的镜像，则会提示找不到这些包。 0. conda换回默认的源 conda config --remove-key channels 1. 添加pyto…

问题记录：GPU显卡提高后，代码总体运行效率没有提高

问题：GPU显卡提高后，代码总体运行效率没有提高原先显卡NIVIDA T400换成NVIDIA RTX A4000，CUDA核心（物理GPU线程单位）从三百多提升到了六千多，但是程序总体运行的时间没有变化。原因分析显卡没用上或者…

NVIDIA CUDA核函数编写注意事项之In-place

CUDA系列文章目录文章目录CUDA系列文章目录前言总结参考资料前言 CUDA（Compute Unified Device Architecture，统一计算架构）是由NVIDIA所推出的一种集成技术，是其对于GPGPU（A General-Purpose Graphics Processing U…

win10安装Tensorflow(2.10-)使用最新cuda(12+),cudnn(8.9+)

# tensorflow在2.11版本后不再支持原生windows的GPU： https://blog.tensorflow.org/2022/09/whats-new-in-tensorflow-210.html# 1、首先，在windows安装好最新的GPU环境： https://blog.csdn.net/sinat_20174131/article/details/121781420?s…

一行命令解决深度学习环境 TensorFlow PyTorch Keras安装 cuda cudnn 配置

估计你已经被深度学习环境的安装和配置整得焦头烂额了，cuda和cudnn的安装配置真的好麻烦，下面我将告诉你只要用一行代码就可以解决这个问题。不过首先，你得下载安装anaconda环境，而不是使用纯Python软件。然后创建一个你想要运…

GPU内存溢出，以及forward() missing 1 required positional argument: ‘x‘；设置GPU

问题在实验过程里，总是遇到GPU内存溢出的问题，怎么改batchsize都不行表面原因设置gpu的代码有问题。究其原因，还是因为穷。在代码里 import os os.environ[CUDA_VISIBLE_DEVICES] "0,1,2" 或在终端里 CUDA_VISIBLE_DEVICES…

跨学科人工智能 | MixAI 知识库 No.62

设计商业技术No.62 ????科技前沿#虚拟偶像# #数字人# #下一代人机交互# 数字人爱因斯坦 Digital Einstein“数字爱因斯坦是体验式人工智能的一个例子，甚至是下一代人机交互。利用数字人实现个性化互动体验，为用户提供有意义、富有情感的互动。”??…

tensorflow_anaconda安装

简单记录下tensorflow安装过程，以免日后要用。 1.conda create --name tf2.0 python3.7 切换不同环境：conda activate 环境名字； 以及退出环境：conda deactivate 删除环境：conda env remove --name ENVIRONMENTpi…

cuda12.0 安装 pytorch

前两天买的y7000p到了，然后就要重新配下环境。流程如下首先下载miniconda ，我下的是python3.8的创建自己的自定义环境检查自己的cuda版本，我的是cuda:12.0然后再pytorch上找到对应cuda版本的进行下载，pip install或者conda in…

影响五〇，迎向五〇

作者｜康翔编辑｜阿冒设计｜沐由古镇同里，最是江南。今年的五一长假，坐落在太湖之滨的同里古镇，迎来了最汹涌的一波客流。这里家家临水、户户通舟，来自五湖四海的人们徜徉于青砖灰瓦之间&#x…

数据特征分析

分布分析对比分析统计分析帕累托分析正态性检验相关性分析分布分析分布分析 → 研究数据的分布特征和分布类型，分定量数据、定性数据区分基本统计量极差 / 频率分布情况 / 分组组距及组数import numpy as np import pandas as pd import matplotlib.pyplot as plt p…

pytorch下载太慢

解决办法 1，先确定是否更换了下载源（比如：apt-get源、pip源、conda源等） 2，以conda举例： pytorch官网查看pytorch安装命令 conda install pytorch torchvision torchaudio cpuonly -c pytorch最后的-c代表…

CUDA编程模型系列六(利用shared memory和统一内存优化矩阵乘)

CUDA编程模型系列六(利用shared memory和统一内存优化矩阵乘) 本系列教程将介绍具体的CUDA编程代码的细节 CUDA编程模型系列六(利用shared memory和统一内存优化矩阵乘) #include <stdio.h> #include <math.h>// a[][] * b[][] c[][] // // …

win10+vs2013+cuda7.5环境搭建

下载cuda7.5源文件下载地址： https://developer.nvidia.com/cuda-downloads/选择win10版本安装，如图所示下载完之后进行安装，安装时间有点长，请耐心等待，默认是安装在c盘目录下，你也可以更改安装目录&…

WSL 2安装CUDA Toolkit

本文在遵循官方用户指南CUDA on WSL User Guide的基础上增加了要注意的地方，以免踩坑。执行 sudo apt-key adv --fetch-keys http://developer.download.nvidia.cn/compute/cuda/repos/ubuntu2004/x86_64/7fa2af80.pub sudo sh -c echo "deb http://develope…

Python——tensorflow-gpu的安装与一些问题

记录安装tensorflow-gpu版本时遇到的一些问题我现在用的时Pycharm，里面的Interpreter使用的是Anaconda的python.exe。我的想法是，把所有的package全都放在一个Interpreter里，这样的话，以后我不管运行什么文件都可以只是用这个Int…

CUDA从入门到精通

CUDA从入门到精通（零）：写在前面在老板的要求下，本博主从2012年上高性能计算课程开始接触CUDA编程，随后将该技术应用到了实际项目中，使处理程序加速超过1K，可见基于图形显示器的并行计算对于追…

1.3 WHY MORE SPEED OR PARALLELISM?

正如我们在第1.1节中所述，大规模并行编程的主要动机是应用程序在未来几代硬件中享受持续的速度增长。人们可能会质疑应用程序是否会继续要求提高速度。我们今天拥有的许多应用程序似乎运行得足够快。正如我们将在案例研究章节中讨论的那样（见章节&#x…

在ubuntu18.04上编译C++版本jsoncpp/opencv/onnxruntime且如何配置CMakelist把他们用起来~

这篇文章背景是笔者在ubuntu上编译C代码，依赖一些包，然后需要编译并配置到CMakelist做的笔记。主要也是一直不太懂CMakellist，做个笔记以防忘记，也给读者提供一站式的参考，可能您需要的不是这几个包，但大同…

多版本CUDA安装切换

系统中默认的安装CUDA为12.0，现在需要在个人用户下安装CUDA11.7。 CUDA 下载 CUDA官网下载安装 Log file not open.Segmentation fault (core dumped)错误将/tmp/cuda-installer.log删除即可。重新安装，去掉驱动的安装，设置Toolkit的安装…

Windows 安装 flash-attention 和 bitsandbytes

首先保证cuda版本为12.1，torch版本为2.1.0及以上，python版本3.10以上从此处下载最新版的whl，https://github.com/jllllll/bitsandbytes-windows-webui/releases/tag/wheels，通过whl来安装bitsandbytes 从此处下载最新版的whl&a…

记录 | CUDA编程中用constexpr替代hostdevice

比如用 __host__ & __device__ 的情况如下： #include <cstdio> #include <cuda_runtime.h>__host__ __device__ void say_hello(){printf("Hello, world!\n"); }__global__ void kernel(){say_hello(); }int main(){kernel<<<1…

5.4 DYNAMIC PARTITIONING OF RESOURCES

SM中的执行资源包括寄存器、共享内存、线程块插槽和线程插槽。这些资源被动态分区并分配给线程，以支持其执行。在第3章，可扩展并行执行中，我们看到Fermi一代设备有1536个线程插槽。这些线程插槽在运行时被分区并分配给线程块。如果每个线程块…

cuda c源代码-1

记录下学习cuda过程中的源代码，附有注释以便回顾学习。 #include <iostream> using namespace std;__global__ void add(int a, int b, int *c) {*c a b; }int test1(void) { // 设备指针和生成设备内存int c;int *dev_c;cudaMalloc((void**)&dev_c, s…

9.2.tensorRT高级(4)封装系列-自动驾驶案例项目self-driving-深度估计

目录前言1. 深度估计总结前言杜老师推出的 tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。本次课程学习 tensorRT 高级-自动驾驶案例项目self-driving-深度估…

【cutlass】layout

Layouts 和Tensors Tensors是由内存中数值单元多维阵列来表示的数学类型。这些可以定义可以在其上定义经典线性代数计算的二维矩阵，或者经常用于构造深度学习应用程序和框架所使用的数据的更高维对象。Layout中的函数可以将逻辑地址空间映射到内存中，也…

Ubuntu12.04 之 CUDA 编程 (二)

关于 Ubuntu12.04 下 CUDA5.5 的安装请参看如下链接 Ubuntu-12.04 安装 CUDA-5.5 关于 Ubuntu12.04 下 CUDA5.5 程序的运行请参看如下链接 Ubuntu12.04 之 CUDA 编程 (一) ～～～ GPU 运行程序 1、程序的并行化前一篇文章讲到了如何利用 CUDA…

【CUDA】【pycuda】第一个案例翻倍数组

https://github.com/inducer/pycuda加载环境 import pycuda.driver as cuda import pycuda.autoinit import numpy import struct from pycuda.compiler import SourceModule将多个可变长度数组加倍。 DoubleOperation 的结构体，其中包含两个成员变量：d…

Cuda计算点积

调试代码的过程中，发现了这样一个问题 #include <iostream> using namespace std;int main() {int test[10];cout << sizeof(test) << endl;float *a;//a new float [10];cout << sizeof(a) << endl;int *b;b new int (10);cout &…

基于CUDA的矩阵相乘

这几天研究了一下CUDA，发现其并行的思想和普通的CPU多线程思想不太一致，但还是挺不错。主要是将任务划分成一个个block，然后每个block里面再划分成细的线程。然后每个线程做自己做的事情。这种并行思想很适用于像矩阵运算这些元素与元素之间的…

CUDA编程——纹理内存

【IT168 文档】 (一)纹理属性 (二)纹理拾取函数 (三)拾取纹理内存与读取全局或常量内存相比的优点 (一)纹理属性纹理可以在线性内存或是CUDA数组(纹理内存)的任何区域。所以纹理拾取也就对存在与线性内存或CUDA数组中的纹理读取数据。共用运行组件(既可以运行在host又可以运行…

CUDA纹理存储器的特性及其使用

转载自：http://blog.csdn.net/darkstorm2111203/article/details/4294012 2.3.5 纹理存储器纹理存储器（texture memory）是一种只读存储器，由GPU用于纹理渲染的的图形专用单元发展而来，因此也提供了一些特殊功能。纹理…

CUDA出现未定义标识符 threadIdx ，“blockDim”，“blockIdx”的解决方案

问题描述： 一、确认编译器规则是否为NVcc，检查方法：在解决方案下面找到该文件，然后右击选择属性--常规--右面窗口的“项类型”为CUDA C/C才可以。二、如果编译器规则正确，检查文件头文件中是否包含："…

9.3.tensorRT高级(4)封装系列-自动驾驶案例项目self-driving-车道线检测

目录前言1. 车道线检测总结前言杜老师推出的 tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。本次课程学习 tensorRT 高级-自动驾驶案例项目self-driving-车道…

【GPU】Cuda和CuDNN安装

CUDA Toolkit and Compatible Driver Versions NVIDIA CUDA Installation Guide for Linux Download CUDNN cuda 版本 cat /usr/local/cuda/version.txt cudnn 版本 cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2 参考链接：Ubuntu 16.04 上安装…

YOLO系列环境配置及训练

目录前言一、下载所需 1、Anaconda安装 2、NVIDIA 驱动程序安装 3、CUDA安装 4、CUDNN下载及配置二、环境配置 1、虚拟环境创建 2、Pytorch安装 3、pycharm环境切换及剩余库的安装 4、YOLO代码的测试及训练配置步骤 （1）测试 &#xff08…

ubuntu16.04+NVIDIA官方驱动=login loop+...

万恶的login loop， 自从装了NVIDIA的官方驱动，已经有好几天没有看见桌面是什么模样了。然而，就在几分钟前，这篇博客救我于万劫不复之中，重新看到久违的桌面后，我的心情简直。。。十！分&#xf…

MLX vs MPS vs CUDA:苹果新机器学习框架的基准测试

如果你是一个Mac用户和一个深度学习爱好者，你可能希望在某些时候Mac可以处理一些重型模型。苹果刚刚发布了MLX，一个在苹果芯片上高效运行机器学习模型的框架。最近在PyTorch 1.12中引入MPS后端已经是一个大胆的步骤，但随着MLX的宣布&#x…

《基于 CUDA 的 GPU 并行程序开发指南》中的 imrotate Rotate7 是怎么做优化的

目录 imrotateMC Rotate7 是怎么做优化的书名：基于 CUDA 的 GPU 并行程序开发指南 imrotateMC Rotate7 是怎么做优化的书里面没有详细说 void *Rotate6(void* tid) {long tn; // My thread number (ID) is stored here // int row,col,h,…

4.1 Importance of Memory Access Efficiency

到目前为止，我们已经学会了如何编写CUDA内核函数，以及如何通过大量线程配置和协调其执行。在本章中，我们将研究如何组织和定位数据，以便通过大量线程进行高效访问。我们在第2章中讨论了数据并行计算，即数据首先从主机内…

CUDA-NVIDIA-冬令营02

CUDA程序的编写数据传输过程：把输入数据从CPU内存复制到GPU显存，在执行芯片上缓存数据，加载GPU程序并执行，将计算结果从GPU显存中复制到CPU内存中。 __global__ 和 __device__ 都在GPU内执行。 __device__只能由device调用&…

docker: Error response from daemon: OCI runtime create failed

docker: Error response from daemon: OCI runtime create failed前言錯誤訊息發生原因參考連結前言這個錯誤是筆者在使用以下指令： NV_GPU0,1 nvidia-docker run --name tensorflow -td -p 8888:8888 -p 6006:6006 keineahnung2345/tensorflow-opencv:test2時發…

Visual Studio 2010 中CUDA 4.0的安装与配置

Visual Studio 2010 中CUDA 4.0的安装与配置安装环境： Win7 64位系统，Geforce GT 430显卡安装前提： Visual Studio 2010 Visual Assist X 安装步骤： 1，Nvidia显卡驱动，装275.33版，这是最新版本…

ICP算法加速优化--多线程和GPU

LZ之前的文章ICP算法实现（C） 用C实现了基础的ICP算法，由于该算法是一种迭代的优化算法，里面含有大量循环操作以及矩阵运算，可以通过使用多线程或者GPU硬件来进行加速，具体分别可以通过OpenMP和CUDA编程实现…

在ubuntu上安装多个版本的CUDA，并且可以随时切换

CUDA是什么就不介绍了，直接讲怎么实现CUDA多版本的共存和实时切换。 1、安装多个版本的CUDA 这里，我们以cuda9-1版本和cuda9-0版本为例（先安装哪个无所谓） 首先，在cuda版本库中选择自己需要的cuda版本。然后&am…

ubuntu16.04 安装Tensorflow（GTX980Ti+CUDA8.0+CUDNNv6.0）

如果安装过程遇到问题，可直接跳转到问题汇总查看 1.我的电脑安装环境： 双系统:win10Ubuntu16.04（在Ubuntu下配置） CPU:E5-1660 v4 GPU:GTX-980Ti 2.安装GPU版Tensorflow的官方要求 Tensorflow官方的安装要求在如下链接中可以…

GPU存储器架构

上表表述了各种存储器的各种特性。作用范围栏定义了程序的哪个部分能使用该存储器。而生存期定义了该存储器中的数据对程序可见的时间。除此之外，Ll和L2缓存也可以用于GPU程序以便更快地访问存储器。总之，所有线程都有一个寄存器堆，它是最快…

【腾讯云】CVM云主机GN7.LARGE20--1/4Tesla T4 显卡驱动【注意事项】

由于项目中需要调用深度学习模型，有gpu的话能够加快运行速度，故购买了腾讯云的GN7.LARGE20实例查看显卡和显卡驱动： $ lspci | grep -i nvidia 00:08.0 3D controller: NVIDIA Corporation TU104GL [Tesla T4] (rev a1) $ lshw -numeric -…

CUDA——SDK4.1+VS2008+VA_X

在此记录一下平台搭建的过程。首先需要安装VS 2008。然后从英伟达官网上下载开发包、驱动和工具包。保证驱动和开发包、工具包均为同一版本。我下载的是4.1的最新版本。即cudatoolkit_4.1.28_win_32.msi 、 devdriver_4.1_winxp_32_286.19_general.exe 、gpucomputingsdk_…

cuda cuvid problems note D3Dtexture opengl texture mapped

1、cuda驱动api与cuda runtime 混合使用造成问题。目的：将画面cuvid解析出来的yuv 渲染到 texture（opengl的或D3d的）上因为官网给出的demo 是利用cuda驱动api来进行开发的。而官网给出的从texture映射到cuda中的案例只有cuda runtime api的…

visual studio 普通项目编译 cuda 文件

使用版本vs2015 cuda程序 *.cu 和*.cuh 是需要由 nvcc来编译的。普通项目不方便设置编译cuda文件，不过修改项目生成目标来让其能编译cuda程序。打开普通项目: 项目->生成自定义文件对话框中选中对应的cuda版本就ok了。

$vs cuda 项目启动失败 C:\Program Files (x86)\MSBuild\Microsoft.Cpp\v4.0\v140\BuildCustomizations\CUDA9.1$

vs cuda 项目启动失败 C:\Program Files (x86)\MSBuild\Microsoft.Cpp\v4.0\v140\BuildCustomizations\CUDA9.1

有时候由于CUDA升级或者下载的源码中，原来创建项目的CUDA版本与自己的不同，在打开项目的时候发现加载不上，提示：未找到导入的项目“C:\Program Files (x86)\MSBuild\Microsoft.Cpp\v4.0\BuildCustomizations\CUDA 9.0.props” 解…

Win10下尝试训练tensorflow的官网models分支中的DeepLabV3p模型

Win10下尝试训练tensorflow的官网models分支中的DeepLabV3p模型一、系统环境介绍二、models源码运行环境配置2.1下载models源码并安装依赖包2.2tensorflow进行升版2.3models源码降版下载2.4tensorflow1.15.0安装三、模型训练3.1训练数据准备3.2模型训练四、总结参考文档一、系统…

flash attention论文及源码学习

论文 attention计算公式如下传统实现需要将S和P都存到HBM，需要占用 O ( N 2 ) O(N^{2}) O(N2)内存，计算流程为因此前向HBM访存为 O ( N d N 2 ) O(Nd N^2) O(NdN2)，通常N远大于d，GPT2中N1024，d64。HBM带宽…

CUDA和TensorRT入门

CUDA 官方教程：CUDA C Programming Guide (nvidia.com) 一、基础知识首先看一下显卡、GPU、和CUDA的关系介绍： 显卡、GPU和CUDA简介_吴一奇的博客-CSDN博客延迟：一条指令返回的时间间隔； 吞吐量：单位时间内处理…

显存不够用？一种大模型加载时节约一半显存的方法

Loading huge PyTorch models with linear memory consumption 本文主要介绍了一种用于加载巨大模型权重时节约接近一半显存的方法首先，创建一个模型: import torch from torch import nnclass BoringModel(nn.Sequential):def __init__(self):super().__init__…

Ubuntu16.04 + CUDA8.0 + CuDNN + OpenCV + caffe

先装NVIDIA官方驱动，然后装CUDA，随后装CuDNN，接着装OpenCV，最后安装配置caffe 为了给我的GTX1080安装好英伟达的官方驱动，看了一些帖子，结果发现安装的方法众说纷纭。想起上次在笔记本上安装驱动时&#x…

动手学深度学习---Win10安装GPU版本的pythorch

安装CUDA 参考链接： https://blog.csdn.net/GenuineMonster/article/details/116596761 验证结果: 安装pytorch pip install torch1.5.1 torchvision0.6.1 -f https://download.pytorch.org/whl/torch_stable.html -i https://pypi.douban.com/simple

cuda lib 线程安全的要义

1, 概述 cuda lib 线程安全的几个多线程的情景： 单卡多线程； 多卡多线程-每卡单线程； 多卡多线程-每卡多线程； 需要考虑的问题： 每个 cublasHandle_t 只能有一个stream么？ 每个cusolverHandle_t 只能有一…

简单介绍Roop（类似SimSwap）单张图视频换脸的项目

文章目录 （一）关于Roop（二）安装Roop（CPU）（2.1）克隆仓库（2.2）设置python国内源（2.2）检查安装virtualenv（2.3）创…

Ubuntu 14.04 64bit + CUDA7.0卸载+ CUDA 6.5 安装配置

实验室要做的项目需要用到某个项目的开源，只支持到CUDA6.5，而我本机上的版本是CUDA7.0，没有办法，先卸载，再安装；步骤如下： 一，卸载CUDA 7.0 在目录： # /usr/local/cud…

在 Ubuntu 14.04 上裝好 CUDA 7.0

最近在研究GPU的虚拟化技术，许多的相关论文都是采用的Linux系统，因此对Ubuntu做了一些研究，其过程也是在装系统-调试-编译-系统崩溃-装系统中度过，实在是不耐其烦，因此打算对相关的一些技术做一个总结，以免…

导向滤波 Guided Filter 的 CUDA GPU版本

Guided Filter Using CUDA GitHub Repo : Plumess/Guided-Filter-Using-CUDA: A GPU version implementation of Guided Filter, using CUDA C/C, calculates 1080P images in 10ms on 4090 (github.com) 这是导向滤波/引导滤波的一种GPU实现，经测试，在…

ubuntu子用户使用cuda

遇到的问题:nvcc -V显示的默认cuda-10.1版本，我需要使用11.0或更高，但在安装11.1的时候失败了，原因猜测是另外的一个子用户安装了11.1。然后我改用管理员用户下的11.0,但nvcc显示版本问题，找了好久解决方案，其实是自己…

Centos7下tensorflow 2.12无法找到NVIDIA Tesla T4 GPU终极解决方法

目录背景系统信息 GPU信息关键软件信息问题现象原因分析

Ubuntu16.04 Cuda11.1 Cudnn8.1 Tensorflow2.4 PyTorch1.7 环境配置

未经允许，不得转载文章目录1、环境2、驱动安装3、cuda安装4、cudnn安装5、Tensorflow2.4安装6、PyTorch 1.7 安装1、环境显卡：Gtx 1080Ti 系统：Ubuntu16.04 并行：cuda11.1和对应的cudnn8.1 软件：Tensorflow2.4 和…

指定程序在哪个GPU上运行

摘要： 当本地（或服务器）有个多个GPU时，需要指定程序在指定GPU上运行，需要做以下设置。目录一、在终端上指定GPU二、在程序中指定GPU三、系统变量指定GPU四、pytorch中指定GPU 一、在终端上指定GPU 在终端运行程序时…

ubuntu16.04安装CUDA9.0+cudnn7+Anaconda4.2.0+tensorflow-gpu-1.12.0

文章目录（一）安装CUDA前言：一检查自己的电脑环境是否具备安装CUDA的条件二安装显卡驱动三、选择安装方式四、runfile安装cuda五、尝试编译cuda提供的例子完成（二） 安装cuDNN完成（三）安装Anac…

CUDA deviceQuery参数详解

运行sample里的deviceQuery: C:\ProgramData\NVIDIA Corporation\CUDA Samples\v8.0\1_Utilities\deviceQuery\../. ./bin/win64/Debug/deviceQuery.exe Starting...CUDA Device Query (Runtime API) version (CUDART static linking)Detected 1 CUDA Capable device(s)Device…

CUDA的卸载

大家好，下面将进行CUDA的卸载，卸载情况描述如下： > 安装在电脑Windows10系统（1）安装在电脑Windows10系统，打开控制面板-程序-程序和功能，可以看到自己已经安装过的CUDA，如下所示：（2）依次选中需要卸载的CUDA包，鼠标右键点击卸载即可，一般需要保留3个已经安装…

用于人脸识别的深度学习容器环境：docker+cuda+python3.6+opencv+dlib+keras

Nvidia容器运行时 Nvidia容器运行时支持GPU，可以方便的构建和部署容器化的使用GPU加速的应用程序，就是在docker引擎外面包裹了一层，可以在docker里支持GPU的驱动。安装跟着官网的说明就可以顺利完成。 Nvidia docker镜像 Nvida把cuda的do…

基于OpenCV+CUDA实时视频抠绿、背景合成以及抠绿算法小结

一、关于抠绿百度百科上描述抠绿“抠绿是指在摄影或摄像时，以绿色为背景进行拍摄，在后期制作时使用特技机的“色键”将绿色背景抠去，改换其他更理想的背景的技术。”绿幕的使用已经非常普遍，大到好莱坞大片，小到自媒体的节目，一些商业娱乐场景，几乎都用使用。但是很多非…

矩阵乘法的CUDA示例——使用共享内存、流、事件

贺志国计算矩阵C A * B，使用自己写的核函数，主要熟悉共享内存、流、事件的使用方法。使用分块策略的矩阵乘法原理如下图所示： 示例文件matrix_multiply.cu代码如下： /*** Matrix multiplication: C A * B.* Host code.** T…

win10+CUDA8.0+CuDNN6.0安装

最好是安装CUDA8.0，因为CUDA9.0会报错。CUDA8.0的可以到官网下载：https://developer.nvidia.com/cuda-80-ga2-download-archive，也可以到我的百度网盘，链接：https://pan.baidu.com/s/16BubVSsLWDrFIawMXgm9WQ 提取码&a…

Windows GPU版本的深度学习环境安装

本文记录了cuda、cuDNN的安装配置。参考文章： cuda-installation-guide-microsoft-windows 12.1 documentation Installation Guide :: NVIDIA cuDNN Documentation 一、cuda安装注意事项： 1、cuda安装最重要的是查看自己应该安装的版本。表格…

cuda计时

cudaEvent_t start, stop; cudaEventCreate(&start); //创建开始事件 cudaEventCreate(&stop); //创建结束事件 cudaEventRecord( start, 0 ); //记录起始时间// do some work on the GPU cudaEventRecord( stop, 0 ); //记录结束时间 cudaEventSync…

使用Visual Studio进行cuda编程配置环境四大坑(附解决方案)

写在前面，用于没有使用过Visual Studio进行cuda编程的同学看，以免在安装环境的时候踩到坑第一坑：CUDA版本与NVIDIA显卡版本不匹配问题: 安装cuda版本坑，强烈建议看下自己的显卡支持什么版本的cuda，切记不要用最新版…

【Tensorflow】超详细！！！手把手教学安装tensorflow，从anaconda到tensorflow-gpu安装全过程！

目录1.安装anaconda1.1更换conda镜像源1.2安装一个tensorflow环境2.安装tensorflow-gpu2.1查看安装什么版本的tensorflow-gpu3.安装cuda和cudnn3.1下载cuda3.2安装cuda3.3下载cudnn3.4将对应的cudnn文件放入cuda中3.5添加环境变量4.pycharm导入刚刚安装的tensorflow环境1.安装a…

jetson填坑-单独安装cuda，cudnn，tensorrt任意适用版本

前言 jetson无法单独安装cuda，cudnn，tensorrt的解决方法，比下载SDK manager刷机安装简单好多倍这个方法是直接下载deb包安装，deb包安装网站 https://repo.download.nvidia.com/jetson/ 单独安装cuda 1 sudo apt-get install …

ARCSim框架在windows10+VS2012版本下的安装问题

因为毕设需要在windows下搭建ARCSim的环境，然后就开始了苦逼的环境布置。。首先看一下环境的配置：特别注意的是我所有的都是在X64的环境下配置的，不要在win32下配置下面是需要修改的几个部分 (1) (2) (3) (4)

pyCuda初学习

今天找了篇文章学习了一下pycuda，发现过程其实和Cuda C差不多，而且代码里面还要用到Cuda C，感觉就是用了python的外壳，整理好了数据，然后传递给编写好的Cuda C，编译器编译即可。开始时遇到了一个问题&…

CUDA和CUDNN安装包

CUDA10.2安装包链接： https://pan.baidu.com/s/1l_74agntzZGNlSOACutC1w 提取码： 9vfp

NVIDIA NCCL 源码学习（十）- 多机间ncclSend和ncclRecv的过程

先回忆一下单机的执行流程，用户执行ncclSend之后通过ncclEnqueueCheck将sendbuff，sendbytes，peer等信息保存到了comm->p2plist中；然后执行ncclGroupEnd，如果发现channel没有建立到peer的链接则先建链，然…

Win11 RTX 4090显卡深度学习环境配置（Nvidia显卡驱动、CUDA11.8.0）

Win11 RTX 4090显卡深度学习环境配置（Nvidia显卡驱动、CUDA11.8.0） 1. 简介2. 安装Anaconda3. 安装Pycharm4. 安装CUDA11.8.04.1 安装4.2 测试4.3 CUDA卸载 5. PyTorch安装5.1 PyTorch安装5.2 测试5.2.1 测试torch：5.2.2 测试CUDA&#xff1a…

CUDA学习1-理论部分

文章目录CUDA学习1-CPU体系架构概述CPU流水线（Pipelines）分支预测(Branch prediction)超标量(Superscalar)乱序执行(OoO)存储器并行CUDA学习2-并行程序设计概述CUDA学习3-GPU体系架构概述GPU设计思路GPU线程组织模型CUDA学习1-CPU体系架构概述这里只是简…

cuda配置及问题解决方法

如果你在配置cuda的时候遇到了很多问题，那么就来看看我的吧，我遇到的问题应该不必你少QAQ 希望能对你有所帮助~ CUDA 配置版本 cuda 10.0 visual studio 2019 安装cuda 网址这里我选择的是cuda10.0 下载之后我们就开始安装，这里有几…

CUDA编程（十）使用Kahan's Summation Formula提高精度

CUDA编程（十） 使用Kahan’s Summation Formula提高精度上一次我们准备去并行一个矩阵乘法，然后我们在GPU上完成了这个程序，当然是非常单纯的把任务分配给各个线程，也没有经过优化。最终我们看到，执行效率…

CUDA编程（六）进一步并行

CUDA编程（六） 进一步并行在之前我们使用Thread完成了简单的并行加速，虽然我们的程序运行速度有了50甚至上百倍的提升，但是根据内存带宽来评估的话我们的程序还远远不够，在上一篇博客中给大家介绍了一个访存方面非常…

CUDA编程（五）关注内存的存取模式

CUDA编程（五） 关注内存的存取模式上一篇博客我们使用Thread完成了简单的并行加速，虽然我们的程序运行速度有了50甚至上百倍的提升，但是根据内存带宽来评估的话我们的程序还远远不够， 除了通过Block继续提高线程数量…

CUDA编程（三）评估CUDA程序的表现

CUDA编程（三） 评估CUDA程序的表现上一篇博客我们基本上搭建起来了CUDA程序的骨架，但是其中并没有涉及到我们之前不断提到的并行加速，毕竟只有当我们的程序高并行的运行在GPU上才能大大缩短运行时间。不过在加速之前我们还有一件…

CUDA编程（二） CUDA初始化与核函数

CUDA编程（二） CUDA初始化与核函数 CUDA初始化在上一次中已经说过了，CUDA安装成功之后，新建一个工程还是十分简单的，直接在新建项目的时候选择NVIDIA CUDA项目就可以了，我们先新建一个MyCudaTest 工程&a…

win10 乳白色风格_乳白奥运

win10 乳白色风格Author’s Note: I’m taking a break from writing about tech to write about 作者注：我在写有关技术的文章时会休息一下 Australian Opals enjoying their Bronze Medal victory. Image courtesy of London2012.com.澳大利亚蛋白石享受他们的铜…

docker拉取的pytorch-gpu版找不到cuda和cudnn的位置，为何？

问题描述 pytorch 镜像位置： https://hub.docker.com/r/pytorch/pytorch/tags 拉取镜像： docker pull pytorch/pytorch:1.5-cuda10.1-cudnn7-runtime查看本地现有镜像清单： 创建一个容器： docker run --gpus all -td --nam…

ubuntu16+2080ti 重装显卡驱动

问题背景是这样的，我们组服务器使用nvidia-smi命令的时候，显卡的显示停留在历史界面，即使重启，并没有跑任何程序，也是显示如下界面所以立马想到的办法就是重新安装驱动，但是安装的老方法都是去官网下载run…

CUDA10.0官方文档的翻译与学习之性能指南

目录背景总体性能优化策略最大化使用率应用层面设备层面多处理器层面占有率计算器最大化内存吞吐量主机和设备间的数据迁移设备内存访问全局内存尺寸和对齐要求二维数组局部内存共享内存常量内存纹理和表面内存最大化指令吞吐量算术指令…

CUDA10.0官方文档的翻译与学习之编程接口

目录背景用nvcc编译编译工作流二进制适配性 ptx适配性应用适配性 C/C适配性 64位适配性 cuda c运行时初始化设备内存共享内存页锁主机内存可移植内存写合并内存映射内存异步并发执行主机与设备间的并发执行并发核执行数据迁移与核执行重叠…

CUDA10.0官方文档的翻译与学习之编程模型

背景在文章CUDA10.0官方文档的翻译与学习之介绍中我翻译了CUDA10.0官方文档中的简介部分，这里书接前文，翻译第二章——编程模型这一章介绍一些cuda编程模型背后的主要概念，以及勾勒出他们如何以C的形式表达，cuda的C接口的集中…

CUDA10.0官方文档的翻译与学习之介绍

背景从这次开始，我将用数篇博客来分享前一阵我对CUDA10.0官方文档之编程指南的翻译与学习的笔记。由于内容非常多，我将每一章单独分享出来，可能有地方翻译得词不达意，所以建议大家参考原文：https://docs.nvidia.com/…

编译运行rodinia_3.1

目录背景步骤下载与解压修改与复制文件编译编译子模块编译项目错误处理查看结果运行错误处理结语背景 rodinia_3.1是一个GPU-CPU实验的benchmark(标杆)，可以对openmp、opencl、cuda进行kmeans、hotspot等实验，但是其编译和运…

RuntimeError: expected device cuda:0 but got device cpu

RuntimeError: expected device cuda:0 but got device cpu cuda True if torch.cuda.is_available() else Falseg_acc_t ((pred_t.max(1)[1] y_tar).float().mean())方法：直接在变量后面加上cuda(见下图) cuda True if torch.cuda.is_available() else False…

python中datetime的用法

python中datetime的用法 1、用法 #!/usr/bin/env python3 # -*- coding: utf-8 -*- import datetimedates datetime.datetime(2020, 10, 31,12,13) print(dates.year) # 2020 print(dates.month) # 10 print(dates.day) # 31 print(dates.hour) # 12 print(dates.minute) # …

计算机视觉基于CUDA编程的入门与实践 CUDA Streams五

一、Cuda Streams 在GPU上是通过使用CUDA流来实现任务并行的，CUDA流是GPU上的工作队列，队列里的工作将以特定的顺序执行。这些工作可以包括：内核函数的调用，cudaMemcpy系列传输，以及对CUDA事件的操作。它们添加到队列的顺序将决定它们的执行顺序。每个CUDA流可以被视为单…

Ubuntu 15.10/16.04 上安装Caffe——确保编译好的库相互兼容

前言： 在Ubuntu14.04 LTS版本上编译安装Caffe的教程非常多，安装过程也较为顺利，然而在更新版本系统上编译安装Caffe的过程中，仍会遇到很多问题。其中，在make过程中遇到undefined reference to ‘xxx’&#xff0c…

英伟达发布 RTX30 系列，纪念的是 21 年前的哪张神卡？

By 超神经内容概要：英伟达在今天凌晨发布了 RTX 30 系列新品，在此之前的宣传内容中多次提及 21 年前的重大发布，本文将回顾 21 年前的 1999 年前后，NVIDIA 所经历的重要时刻。关键词：英伟达 GPU 商业分析美西时间 9 月…

显卡参数详解

手把手教你识别显卡主要性能参数初识显卡的玩家朋友估计在选购显卡的时候对显卡的各项性能参数有点摸不着头脑，不知道谁对显卡的性能影响最大、哪些参数并非越大越好以及同是等价位的显卡但在某些单项上A卡或者是N卡其中的一家要比对手强悍等等。这些问题想必是每个…

CUDA示例学习：HelloCUDA

//hellocuda.cu #include <iostream> #include "stdio.h"__global__ void kernel(void){printf("hello, cvudakernel\n");}int main(void){kernel<<<1,5>>>();cudaDeviceReset();return 0 ; }在命令行执行 $nvcc hellocuda.cu -o…

CUDA并行计算基础知识

1、相关缩写术语显卡：GPU 显卡驱动：驱动软件 GPU架构: 硬件的设计方式，例如是否有L1 or L2缓存 CUDA: 一种编程语言像C++, Python等，只不过它是专门用来操控GPU的 cudnn: 一个专门为深度学习计算设计的软件库，里面提供了很多专门的计算函数 CUDAToolkit：所谓的装cuda首先…

wsl下安装cuda各种踩坑记录.assets

执行nvcc -V, cuda版本位11.5 删除cuda sudo apt-get --purge remove "*cublas*" "*cufft*" "*curand*" \"*cusolver*" "*cusparse*" "*npp*" "*nvjpeg*" "cuda*" "nsight*"选择对…

深度学习环境配置：Ubuntu+anaconda+cuda8.0+cuDNN7.2.1+ pytorch源码安装+及过程中出现的错误和解决办法

我是想安装pytorch。需要用anaconda(比较强大) NVIDIA CUDA 7.5 or above NVIDIA cuDNN v6.x or above 由于anaconda比较简单。本文重点说明CUDA、cuDNN和pytorch的安装，可直接看对应部分。 ps：如果你们配置成功了或者出现了什么问题，希望…

7.5.tensorRT高级(2)-RAII接口模式下的生产者消费者多batch实现

目录前言1. RAII接口模式封装生产者消费者2. 问答环节总结前言杜老师推出的 tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。本次课程学习 tensorRT 高级-RAI…

RuntimeError:CUDA error:no kernel image is available for execution on the device报错解决(亲测)

深度学习算法训练报错调试Transformer网络，安装完timm包之后，运行程序时报错CUDA error:no kernel image is available for execution on the device，如图所示： 网上对于该错误说啥的都有，因为这是第一次遇到这个错误…

配置GPU运行环境的通用方法（不限系统，不限版本，长期有效，简单易操作，一秒学会，半小时弄好）

淘宝搜 tensorflow-gpu 配环境之类的关键词，几十块解决，自己看一遍被人的远程操作也就学会了。

7.2.tensorRT高级(2)-学习深度学习中涉及的线程知识

目录前言1. 多线程2. 问答环节2.1 线程启动相关问题2.2 线程启动函数参数相关问题总结前言杜老师推出的 tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。本次…

Windows系统配置CUDA编程环境

像配置一个简单的可以进行CUDA编程的Windows系统环境，分别需要CUDA以及Visual stdio。注意，如果是新配置的电脑，一定要先安装visual stdio再安装CUDA，否则后面在VS中创建.cu文件时容易出现找不到模块的情况。一、安装Visual st…

CUDA Visual Studio Integration Installation failed

先说总结，cuda安装失败第一个可能是显卡驱动问题（这个提示中很明显说面驱动问题），另外一个是cuda没有卸载干净。更新完显卡驱动后cuda 加载失败了，只有重装cuda 先卸载cuda。再安装cuda ，但是安装的时候出…

CUDA编程--内核嵌套

写在前面的话：很多算法中都需要内核嵌套，刚学CUDA可能会比较乱，所以这里我进行一个记录。（内核嵌套无法兼容Cmakelist，目前也没有特别好的办法，只能用命令行进行编译）--更新：已解决内…

RuntimeError: Expected object of backend CPU but got backend CUDA for argument #4 'mat1'

根据错误提示找到问题处在F.linear(input, self.weight, self.bias)这里，参数input是在cuda里面的，进入linear.py，在参数self.weight, self.bias后面的赋值语句后面加上.cuda(0)，即torch.Tensor(…).cuda(0)，问题解决。…

基于3d稀疏卷积的centerpoint部署

目前已实现基于稀疏卷积的centerpoint部署，精度不丢失，在3080ti 下，nuscenes数据集 fp32 一帧耗时32ms左右，比pytorch推理速度快3倍！ centerpoint推理网络分3部分： 1.backbone前面部分用tensorRT实现定义算…

CUDA编程--Square函数

写在前面的话： 上一篇文章我们编写了‘Hello World’, 这篇文章我们再进一步！ 首先，我们理一下CUDA的编程思路： host: cpu device: gpu 1.分配host内存, 并进行数据初始化; 2.分配device内存, 并从host将数据拷贝到device上; …

Ubuntu16.04 下cuda的安装

cuda:CUDA(Compute Unified Device Architecture)，是显卡厂商NVIDIA推出的运算平台。 CUDA™是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。它包含了CUDA指令集架构（ISA）以及GPU内部的并行计算引擎。…

实战:Hello World——CUDA

写在前面的话：本人刚入坑CUDA编程，大家一起相互交流学习众所周知，学习编程的第一个demo是啥，那就是"Hello World"。没错本文是我第一个CUDA程序，仅以此文开始入门。哈哈哈希望不要从入门到放弃。运行前…

“Failed to get convolution algorithm. This is probably because cuDNN failed to initialize”错误的解决办法

最近在使用TF2.0。运行程序出现以下错误。 Failed to get convolution algorithm. This is probably because cuDNN failed to initialize一开始怀疑是CUDA和CuDNN配置错误（要求版本匹配）。反复试验后，还是有这个错误。最后发现可能是GPU内…

CUDA Sample中的reduce实现

我们知道，GPU擅长做并行计算，像element-wise操作。GEMM, Conv这种不仅结果张量中元素的计算相互不依赖，而且输入数据还会被反复利用的更能体现GPU的优势。但AI模型计算或者HPC中还有一类操作由于元素间有数据依赖，会给并行化带来挑…

$vs打开项目出错：未找到导入的项目“C:\Program Files (x86)\MSBuild\Microsoft.Cpp\v4.0\BuildCustomizations\CUDA 7.0.pro$

vs打开项目出错：未找到导入的项目“C:\Program Files (x86)\MSBuild\Microsoft.Cpp\v4.0\BuildCustomizations\CUDA 7.0.pro

同样还会弹出对话框未能正确加载解决方案中的一个或多个项目。有时候由于CUDA升级或者下载的源码原创建项目的CUDA版本与自己的不同，在打开项目的时候发现加载不上，提示：未找到导入的项目“C:\Program Files (x86)\MSBuild\Microsoft.Cpp\v4.…

解决cuda8.0和opencv编译不兼容

看opencv报错的文件，一旦编译出现错误，那么到该文件下并打开将以下 if !defined (HAVE_CUDA) || defined (CUDA_DISABLER) 注释掉，改为如下： if !defined (HAVE_CUDA) || defined (CUDA_DISABLER) || (CUDART_VERSION > 800…

Ubuntu 16.04卸载CUDA 6.5和安装CUDA 8.0

一，引言由于系统从Ubuntu 14.04升级到了16.04，原来的CUDA 6.5无法继续使用，所以重新安装了CUDA 8.0。二，卸载CUDA 6.5 和驱动以下操作都在命令行界面操作，比如按下CtrlaltF1进入命令行首先停止lightdm&#xf…

Ubuntu22.04 LTS 显卡相关命令

第一部分查看驱显卡信息一、查看显卡型号 # -i表示不区分大小写 lspci | grep -i nvidia # 必须安装好nvidia驱动 nvidia-smi -L 二、查看显卡驱动版本 cat /proc/driver/nvidia/version 三、查看CUDA、cuDNN版本 # 或者 nvcc -V（两个显示的版本一致&#xf…

从裸机开始安装ubuntu系统到安装NVIDIA驱动

这篇文章为总结类文章，更多的是把各个博主的内容总结一下，形成一套端到端的方法，主要内容包括： 安装ubuntu22.04版本(含启动U盘制作)配置ssh、固定ip和端口号安装NVIDIA驱动安装cuda11.7和cudnn8.6 文章目录一、安装ubuntu22.041…

windows10+VS2015+OpenCV3.1.0+cuda8.0环境配置

windows10VS2015OpenCV3.1.0cuda8.0环境配置OpenCV3.1.0OpenCV_contrib-3.1.0CUDA8.0CMake3.4.3CMake配置Opencv3.1.0with_cudaVS2015配置OpencvCUDA测试做计算机视觉的朋友对Opencv一定不陌生，它是著名的开源计算机视觉库。通常处理图像光靠OpenCV是不够的&#xf…

【一文解决】已安装CUDA与Pytorch但torch.cuda.is_available()为False

目录问题描述总览：导致问题的原因可能1：CUDA版本与驱动程序不兼容可能2：CUDA库的路径设置存在问题可能3：PyTorch版本与CUDA版本不匹配可能4：编译问题可能5：软件包或库冲突写在最后问题描述已经安装CUDA…

Ubuntu18.04+RTX3060显卡配置pytorch、cuda、cudnn和miniconda

0. 前言之前已经安装成功了，也发了篇博客梳理了整套流程如下。 ubuntu18.04安装pytorch、cuda、cudnn和miniconda_Toblerone_Wind的博客-CSDN博客_ubuntu18.04 安装pytorchhttps://blog.csdn.net/qq_42276781/article/details/124296431但后续发现tensor变量不能…

2020-09-16 tensorflow-gpu 配置记录

重复配置anaconda 在 ubuntu 上记录。配置 tensorlfow-gpu。 1。显卡配置过程。不虚重新修改文件，重启，文本模式下修改。本机是在ubuntu 18下安装配置的。之前安装显卡时是在这个文档中安装的： https://blog.csdn.net/u01468269…

真·手把手教你配置ubuntu20.04中cuda+cudnn

真手把手教你配置ubuntu20.04中cudacudnn禁用自带显卡驱动安装显卡开始安装cuda安装cudnn多个版本的cuda禁用自带显卡驱动 1.首先更新Ubuntu必备环境源 sudo apt-get update sudo apt-get upgrade sudo apt-get install build-essential2.执行下列代码打开ubuntu环境变量 su…

cuda10.0最佳实践的翻译（一到七）

目录背景 APOD 评估并行化优化部署评估异构计算设备系统和主机系统的区别线程资源线程内存 gpu设备上运行的东西应用分析分析缩放强缩放弱缩放应用并行化并行化库并行化编译器并行化代码得到正确的结果验证调试数字结果的准…

CUDA10.0官方文档的翻译与学习之CUDA动态并行

目录背景介绍概述术语执行环境和内存模型执行环境父子网格 CUDA原语的范围同步流和事件顺序和并发设备管理内存模型连续性和一致性编程接口 CUDA C/C引用设备端的核启动流事件同步块级别的同步： 设备管理内存声明 API错…

AI并行计算：CUDA和ROCm

1 介绍 1.1 CUDA CUDA（Compute Unified Device Architecture）是Nvidia于2006年推出的一套通用并行计算架构，旨在解决在GPU上的并行计算问题。其易用性和便捷性能够方便开发者方便的进行GPU编程，充分利用GPU的并行能力&#xff0…

lxd容器安装cuda10.0

目录 1.安装驱动 2.安装cuda10.0 3.验证是否安装成功 4.遇到的问题 1.安装驱动注意，驱动和cuda不要一起安装，以内lxd容器的驱动不能安装到内核，否则会报错。 sudo chmod x NVIDIA-Linux-x86_64-X.run sudo sh ./NVIDIA-Linux-x86_6…

lxd容器安装cuda11

目录 1 安装驱动 2 安装cuda 3 环境变量配置 4 安装cudnn 1 安装驱动在安装cuda时一般先把显卡驱动安装上，lxd容器由于是虚拟化，因此安装显卡驱动不能安装到内核，在安装命令需加上“--no-kernel-module”,安装命令如下： sud…

8.1.tensorRT高级(3)封装系列-模型编译过程封装，简化模型编译代码

目录前言1. 模型编译过程封装2. 问答环节总结前言杜老师推出的 tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。本次课程学习 tensorRT 高级-模型编译过程封装…

通过终端在linux远程服务器上部署Anaconda+tensorflow1.13-gpu版本

目录 1.1 anaconda安装 1.2 tensorflow1.13-gpu安装 1.1 anaconda安装租了一个远程2080ti的远程服务器，个人喜欢用Xshell+Xftp，Xshell终端控制，Xftp用于传送文件，这个比较方便。首先进入界面，输入nvidia-smi查一下显卡配制是不是对的点python查看这个服务器是否…

8.3.tensorRT高级(3)封装系列-tensor封装，索引计算，内存标记及自动复制

目录前言1. Tensor封装总结前言杜老师推出的 tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。本次课程学习 tensorRT 高级-tensor封装，索引计算&a…

CUDA小白 - NPP(10) 图像处理 Memort Management

cuda小白原始API链接 NPP GPU架构近些年也有不少的变化，具体的可以参考别的博主的介绍，都比较详细。还有一些cuda中的专有名词的含义，可以参考《详解CUDA的Context、Stream、Warp、SM、SP、Kernel、Block、Grid》常见的NppStatus&#xf…

8.2.tensorRT高级(3)封装系列-内存管理的封装，内存的复用

目录前言1. 内存管理封装2. 补充知识总结前言杜老师推出的 tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。本次课程学习 tensorRT 高级-内存管理的封装&…

【c++】并行编程：cuda入门

😏★,:.☆(￣▽￣)/$:.★ 😏 这篇文章主要介绍cuda入门。学其所用，用其所学。——梁启超欢迎来到我的博客，一起学习，共同进步。喜欢的朋友可以关注一下，下次更新不迷路&#x1f95e…

Windows安装cuda和cudnn教程最新版（2023年9月）

文章目录 cudacudnn cuda 查看电脑的cuda最高驱动版本（适用于N卡电脑-Nvidia） winR打开命令行，输入nvidia-smi 右上角cuda -version就是目前支持的最高cuda版本 nvidia官网下载cuda 下载地址：https://developer.nvidia.com/cuda…

windows英伟达nvidia显卡驱动安装教程

文章目录查看版本驱动下载驱动安装查看安装结果查看版本之前我的电脑预安装了nvidia的显卡驱动，通过nvidia-smi命令发现驱动版本是Driver Version：417.98，CUDA Version：10.0，目前的驱动和CUDA支持的已经是4年前的版…

【Ubuntu20.04安装Nvidia驱动、CUDA和CUDNN】

Ubuntu20.04安装Nvidia驱动、CUDA和CUDNN 1 Nvidia驱动安装1.1 安装1.2 安装Nvidia可能会遇到的问题1.2.1 NVIDIA 驱动与 Nouveau 驱动不兼容1.2.2 ERROR: Unable to find the development tool cc 2 CUDA安装2.1 下载和安装2.2 配置CUDA环境 3 安装CUDNN4 切换CUDA版本 1 Nvid…

Windows10下配置cuda和cudnn

文章目录1、CUDA下载安装2、CUDNN下载安装1、CUDA下载安装下载地址（可查看历史版本）：https://developer.nvidia.com/cuda-toolkit-archive 建议选择安装自定义安装（具体原因我也不是很清楚，反正安装就对了&#xff…

8.6.tensorRT高级(3)封装系列-终极封装形态，以及考虑的问题

目录前言1. 终极封装总结前言杜老师推出的 tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。本次课程学习 tensorRT 高级-终极封装形态，以及考虑的…

Win10环境+ Anaconda3.6+CUDA9.0 +CUDNN7.0+TensorFlow1.10安装过程全解

Anaconda介绍、安装我之前写的一篇博客https://blog.csdn.net/zaishijizhidian/article/details/81663387 Jupyter Notebook 安装了Anaconda可以直接在首页登录Jupter Notebook pycharm的安装参考http://www.runoob.com/w3cnote/pycharm-windows-install.html WIN10安装TE…

CUDA小白 - NPP(2) -图像处理-算数和逻辑操作

cuda小白原文链接 NPP GPU架构近些年也有不少的变化，具体的可以参考别的博主的介绍，都比较详细。还有一些cuda中的专有名词的含义，可以参考《详解CUDA的Context、Stream、Warp、SM、SP、Kernel、Block、Grid》常见的NppStatus&#xff0c…

安装pycuda遇到错误

环境： ubuntu18.04 python3.8.17 cuda: 11.3, V11.3.58 GPU : 3060 12g nvidia-smi: NVIDIA-SMI 535.86.01 Driver Version: 536.67 CUDA Version: 12.2 pip install pycuda -i https://mirror.baidu.com/pypi/simple/ 报错： ch…

Ubuntu 22.04 安装Nvidia显卡驱动、CUDA、cudnn

GPU做深度学习比CPU要快很多倍，用Ubuntu跑也有一定的优势，但是安装Nvidia驱动有很多坑 Ubuntu版本：22.04.3 LTS 分区： /boot分配 1G ，剩下都分给根目录/ 显卡：GTX 1050 Ti 坑1：用Ubuntu自带的 …

Ubuntu20.04使用1080Ti配置深度学习工作环境出现桌面滚动时卡顿问题解决

目录一. 工作站软硬件环境说明二. 问题描述三. 尝试解决3.1 重装显卡驱动(无效)3.2 切换内核版本(无效)3.3 调整CPU频率(无效)1. 模仿win10事故重新拔插电源头2.借鉴win10上的思路手动设置主频四. 正式解决一. 工作站软硬件环境说明系统: Ubuntu20.04 内核版本: 5.13.0-30-ge…

cuda核函数编程小结

文章目录一、环境配置二、核函数代码书写格式三、小结一、环境配置几个注意事项先写在前面： 环境问题：一定要VS2019以上的！！！切记注意，目前VS2019以下已经不更新了，这里我就是用的2019&…

cuda 入门数组相加矩阵相加

cuda 入门数组相加矩阵相加 #include "cuda_runtime.h" #include "device_launch_parameters.h"#include <stdio.h> #include <stdlib.h>__global__ void VecAdd(float* A, float* B, float* C, int N){int i blockDim.x * blockIdx.x th…

windows cuda编程 VS2019 踩坑

VS与cuda安装好后新建空白项目，项目中建立新文件xxx.cu 输入示例代码项目右键→生成依赖项→生成自定义，引入cuda的targets文件 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA里面，仔细找找 debug切换成x64 若CUDA程序时出现以下…

cuda、cuDNN、深度学习框架、pytorch、tentsorflow、keras这些概念之间的关系

当讨论CUDA、cuDNN、深度学习框架、pytorch、tensorflow、keras这些概念的时候，我们讨论的是与GPU加速深度学习相关的技术和工具。 CUDA（Compute Unified Device Architecture）： CUDA是由NVIDIA开发的一种并行计算平台和编程模型&…

CUDA initialization: The NVIDIA driver on your system is too old解决方案

大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的…

c++ nvcc编译CUDA程序入门示例

nvcc nvcc是NVIDIA CUDA Compiler，用来编译host和device程序。这里的术语： host：指CPU及其内存device：指GPU及其内存使用nvcc，就可以编译CUDA程序，CUDA程序包括host代码和device代码。在安装CUDA To…

Linux conda中Tensorflow GPU安装配置全面梳理（包含cuda、cudnn）

CPU VS GPU CPU: 中央处理单元。由数百万个晶体管组成，可以有多个处理内核，执行计算机和操作系统所需的命令和流程。GPU: 图形处理单元。由许多更小、更专业的内核组成的处理器。在多个内核之间划分并执行一项处理任务时，通过协同工作&#…

CUDA小白 - NPP(2) - Arithmetic and Logical Operations(2)

cuda小白原始API链接 NPP GPU架构近些年也有不少的变化，具体的可以参考别的博主的介绍，都比较详细。还有一些cuda中的专有名词的含义，可以参考《详解CUDA的Context、Stream、Warp、SM、SP、Kernel、Block、Grid》常见的NppStatus&#xf…

搭建深度学习服务器（Ubuntu16.04+GTX1080TI+CUDA8.0+cuDNN7+Anaconda4.4+python3.6+TensorFlow1.3）

https://www.cnblogs.com/xuliangxing/p/7575586.html

Jetson安装pycuda报错

在Xavier nx上安装cuda和pycuda遇到的问题记录： ①. src/cpp/cuda.hpp:14:18: fatal error: cuda.h: No such file or directory 因为是arm架构很多包都要特意下载，我安装了Jetson的Jetpack包中的cuda，采取离线安装方式，没报任何错误。以为安装正确的，结果安装pycuda时编…

解决：CUDA out of memory，并且查不到process id

我们平时使用GPU训练深度学习模型时，有时程序异常终止而gpu的内存却并没有自动清空，导致我们想再次运行程序时，会出现报错：RuntimeError: CUDA out of memory。这时候最简单直接的办法就是重启电脑，可是如果我们不想老…

WSL2 Ubuntu安装CUDA Toolkit

目前CUDA ToolKit需要切换到WSL2，在WLS1下不支持。之前折腾了很久，才从WSL1的坑中爬出来，仅写此文避免大家再从坑里走一次。 Windows WSL2相关检查正在运行的 WSL 版本可列出已安装的 Linux 发行版，并通过在 PowerShell 或 W…

win10+cuda10.1+cudnn7.5+anaconda3 安装 tensorflow-gpu

在nvdia官网下载 cuda10.1 win10 x64, 安装。在nvdia官网下载 cudnn-10.1-windows10-x64-v7.5.0.56.zip， 解压，将里面的文件夹复制到cuda的安装目录比如：C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1下载anaconda3 &#xff0…

通用计算时代来临论CUDA与OpenCL的异同

NVIDIA CUDA技术的到来，使GPU通用运算的应用领域得到了全面扩充，利用GPU强大的并行运算能力，使更加适合GPU进行运算的程序执行效率大幅提升。虽然早就有人提出了让并行计算架构的GPU，去处理非常适合他们的大规模并行计算工作&…

CUDA编程之GPU图像数据结构的设计

第1章 GPU图像数据结构参考OpenCV中Mat和GpuMat的设计，对当前Image类设计了GPU版本，即GPUImage。 1.1. GPU图像头设计图像头。 struct GPUImageHeader {int32_t nWidth = 0; //宽度int32_t nHeight = 0; //高度int16_t nChannel = 0; //通道数int32_t nRefCount = …

8.5.tensorRT高级(3)封装系列-基于生产者消费者实现的yolov5封装

目录前言1. yolov5封装总结前言杜老师推出的 tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。本次课程学习 tensorRT 高级-基于生产者消费者实现的yolov5封装…

anaconda,cuda,torch,lightning的安装

本博客仅作为初学者参考使用，汇总了多位大牛的博客，如有侵权请联系我删除 anaconda,cuda,torch,lightning的安装 1、Anaconda2、cuda3、pytorch4、lightning5、解决pip执行后导致C盘空间变小问题 1、Anaconda 作用： 1、可创建python包的虚拟…

CUDA小白 - NPP(9) 图像处理 Statistical Operations

cuda小白原始API链接 NPP GPU架构近些年也有不少的变化，具体的可以参考别的博主的介绍，都比较详细。还有一些cuda中的专有名词的含义，可以参考《详解CUDA的Context、Stream、Warp、SM、SP、Kernel、Block、Grid》常见的NppStatus&#xf…

Centos7完全离线环境安装Nvidia Tesla A100 40G显卡驱动（含CUDA Toolkit）和Anaconda3虚拟环境

公司一台完全离线环境的服务器刚装了Nvidia Tesla A100 40G显卡，自己摸索着将显卡驱动在完全离线环境下安装成功，这里记录一下。一、下载Centos7适配的Nvidia Tesla A100 40G显卡驱动在Nvidia官网下载Centos7适配的显卡驱动，CUDA Toolkit…

CUDA和C++混合编程及CMakeLists.txt

1. 概要首先认识一个问题，单从CMakeLists.txt的角度来看，无法同时使用两种编译器编译两种语言。不过直接编写Makefile是可以的，通过设置不同的任务，可以实现一个Makefile编译两个语言。但这不是这里要讨论的重点。使用CUDA和C进…

CUDA小白 - NPP(11) 图像处理 Comparison Operations

cuda小白原始API链接 NPP GPU架构近些年也有不少的变化，具体的可以参考别的博主的介绍，都比较详细。还有一些cuda中的专有名词的含义，可以参考《详解CUDA的Context、Stream、Warp、SM、SP、Kernel、Block、Grid》常见的NppStatus&#xf…

CUDA C编程权威指南：1.2-CUDA基础知识点梳理

主要整理了N多年前（2013年）学习CUDA的时候开始总结的知识点，好长时间不写CUDA代码了，现在LLM推理需要重新学习CUDA编程，看来出来混迟早要还的。 1.闭扫描和开扫描对于一个二元运算符 ⊕ \oplus ⊕和一个 n n n元…

CUDA小白 - NPP(2) -图像处理-算数和逻辑操作(2)

cuda小白原始API链接 NPP GPU架构近些年也有不少的变化，具体的可以参考别的博主的介绍，都比较详细。还有一些cuda中的专有名词的含义，可以参考《详解CUDA的Context、Stream、Warp、SM、SP、Kernel、Block、Grid》常见的NppStatus&#xf…

VSCode之C++ CUDA极简环境配置

背景想要了解CUDA并行计算原理，同时针对深度学习中出现一些“不支持算子”可能需要手写的需要，配置一个简单的CUDA编译环境，探索CUDA编程的范式【注：CUDA环境配置略】。结果展示示例代码 #include "cuda_runtime.h" …

9.1.tensorRT高级(4)封装系列-自动驾驶案例项目self-driving-道路分割分析

目录前言1. 道路分割总结前言杜老师推出的 tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。本次课程学习 tensorRT 高级-自动驾驶案例项目self-driving-道路分…

【已解决】torch.cuda.is_available()提示The NVIDIA driver on your system is too old (found version 10000)

最直接的表现是安装完pytorch，训练GPU计算单元使用率是0。强制device，报错。遂查看torch.cuda.is_available()提示The NVIDIA driver on your system is too old (found version 10000)。原因是我的cuda 10.0 我安装 pytorch 1.7.1的时候安装的是 con…

CUDA小白 - NPP(4) 图像处理 Data Exchange and Initialization（2）

cuda小白原始API链接 NPP GPU架构近些年也有不少的变化，具体的可以参考别的博主的介绍，都比较详细。还有一些cuda中的专有名词的含义，可以参考《详解CUDA的Context、Stream、Warp、SM、SP、Kernel、Block、Grid》常见的NppStatus&#xf…

CUDA小白 - NPP(4) 图像处理 Data Exchange and Initialization（1）

cuda小白原始API链接 NPP GPU架构近些年也有不少的变化，具体的可以参考别的博主的介绍，都比较详细。还有一些cuda中的专有名词的含义，可以参考《详解CUDA的Context、Stream、Warp、SM、SP、Kernel、Block、Grid》常见的NppStatus&#xf…

CUDA小白 - NPP(8) 图像处理 Morphological Operations

cuda小白原始API链接 NPP GPU架构近些年也有不少的变化，具体的可以参考别的博主的介绍，都比较详细。还有一些cuda中的专有名词的含义，可以参考《详解CUDA的Context、Stream、Warp、SM、SP、Kernel、Block、Grid》常见的NppStatus&#xf…

关于高性能计算的知识记录汇总-菜鸟级别?

关于高性能计算的知识记录汇总-菜鸟级别菜鸟级别 Mpi和openMPI的区别，或者CUDA和OpenCL的区别，这篇文章就是为了总结下高性能计算的相关知识。目前高性能计算有两大趋势，并行计算集群和CPU处理器和GPU显卡的异构混合计算。下面做对这些名…

再谈异构计算CPU+GPU(APU)

再谈异构计算CPUGPU 异构计算的英文名称是Heterogeneous computing，主要是指使用不同类型指令集和体系架构的计算单元组成系统的计算方式。常见的计算单元类别包括CPU、GPU等协处理器、DSP、ASIC、FPGA等。我们常说的并行计算正是异构计算中的重要组成部分异构计算近…

CUDA 安装

查看自己电脑的cuda版本：见文章查看CUDA版本我的是： 他的意思就是说：俺的显卡支持的cuda版本是12.0的（向下兼容） 然后我的项目tensorflow-gpu版本是1.13.2版本的，对应的cuda为10： &#xff…

cuda12+vs2019环境搭建发疯实录

点击exe文件后开始安装（注意更改默认安装的位置） 在选项阶段，全选所有的选项出现的问题，这里显示未安装进一步地查看原因可能式对应的版本下载错误如何寻找到所需要的版本并进行下载？ 在上述参考链接中进行搜…

配置VScode开发环境-CUDA编程

如果觉得本篇文章对您的学习起到帮助作用，请点赞关注评论 ，留下您的足迹💪💪💪 本文主要介绍VScode下的CUDA编程配置，因此记录以备日后查看，同时，如果能够帮助到更多人&#xf…

CUDA编程- 矩阵乘法

矩阵乘法是一个经典的并行计算示例，因为每个输出元素的计算都可以独立于其他元素进行。以下是一个简单的CUDA程序，用于计算两个矩阵的乘法： #include <iostream> #include <cuda_runtime.h>const int WIDTH 16; // 假设矩阵的…

NVIDIA NCCL 源码学习（十一）- ring allreduce

之前的章节里我们看到了nccl send/recv通信的过程，本节我们以ring allreduce为例看下集合通信的过程。整体执行流程和send/recv很像，所以对于相似的流程只做简单介绍，主要介绍ring allreduce自己特有内容。单机搜索ring 在nccl初始化的过…

正确设置PyTorch训练时使用的GPU资源

背景： 最近在使用Hugging Face的transformers api来进行预训练大模型的微调，机器是8卡的GPU，当我调用trainer.train()之后，发现8个GPU都被使用了，因为这个机器上面还有其他人跑的模型，当我进行训练的时候&…

关于windows上运行bitsandbytes老是报错的（说cuda版本有问题）解决方案

报错问题基本上都是什么 UserWarning: The installed version of bitsandbytes was compiled without GPU support. 8-bit optimizers, 8-bit multiplication, and GPU quantization are unavailable. 或者是什么 argument of type ‘WindowsPath’ is not iterable 我以为是自…

【QT+CUDA】QT中使用cuda，QT+VS+cuda下载安装配置

文章目录相关网址汇总： 一、软件安装：VS、CUDA、QT1 安装VS1.1 下载1.2 vs2017安装1.3 vs2015安装 2 安装CUDA2.1 下载2.2 安装2.3 测试2.4 卸载 3 安装QT3.1 下载3.2 安装二、QT使用cuda1 .pro文件三、常用操作1 NVIDIA控制面板：显卡、驱…

【成功解决】ERROR: cuda failure (unknow error) in error_util.h:91

点击目录可跳转起因原因解决办法起因安装cudnn时，想进行验证操作，进入官方提供的$HOME/cudnn_samples_v8/mnistCUDNN/后，运行./mnistCUDNN时，报了标题的错误。如下图： 顺便提一下，我是不知道为什么报错…

Nvidia 驱动安装不完整记录

Nvidia 驱动安装不完整记录安装 epel， sudo dnf install -y https://dl.fedoraproject.org/pub/epel/epel-releaselatest-8.noarch.rpm安装 gcc-toolset-11-gcc， dnf install gcc-toolset-11-gcc修改 gcc，make，as 为 gcc-tools…

CUBLAS库入门教程（从环境配置讲起）

文章目录前言一、搭建环境二、简单介绍三、具体例子四、疑问前言 CUBLAS库是NVIDIA CUDA用于线性代数计算的库。使用CUBLAS库的原因是我不想去直接写核函数。 （当然，你还是得学习核函数该怎么写。但是人家写好的肯定比我自己写的更准确！&…

Opencv_CUDA实现推理图像前处理与后处理

Opencv_CUDA实现推理图像前处理与后处理通过trt 或者 openvino部署深度学习算法时，往往会通过opencv的Mat及算法将图像转换为固定的格式作为输入openvino图像的前后处理后边将在单独的文章中写出今晚空闲搜了一些opencv_cuda的使用方法，在此总结一下前…

【教程】PyTorch Timer计时器

转载请注明出处：小锋学长生活大爆炸[xfxuezhang.cn] OpenCV的Timer计时器可以看这篇：Python Timer和TimerFPS计时工具类 Timer作用说明：统计某一段代码的运行耗时。直接上代码，开箱即用。 import time import torch import os …

CUDA小白 - NPP(2) - Arithmetic and Logical Operations(1)

cuda小白原文链接 NPP GPU架构近些年也有不少的变化，具体的可以参考别的博主的介绍，都比较详细。还有一些cuda中的专有名词的含义，可以参考《详解CUDA的Context、Stream、Warp、SM、SP、Kernel、Block、Grid》常见的NppStatus&#xff0c…

数字人创作+SadTalker+GTX1080

https://github.com/OpenTalker/SadTalker 开源项目 SadTalker模型是一个使用图片与音频文件自动合成人物说话动画的开源模型，我们自己给模型一张图片以及一段音频文件，模型会根据音频文件把传递的图片进行人脸的相应动作，比如张嘴&#xf…

nvidia-smi nvcc -V 及 CUDA、cuDNN 安装

nvidia-smi nvcc -V 及 CUDA、cuDNN 安装 1. 问题缘由2. 分析3. CUDA Driver API 安装3.1 Software & Updates3.2 官网下载 4. CUDA Runtime API 安装5. 安装 cuDNN5.1 cuDNN下载 6. 一点点小注意事项 1. 问题缘由之前查找 CUDA 版本时都是直接使用的 nvidia-smi 指令&am…

极智开发 | 你真的了解GPU nvidia-smi指令吗

欢迎关注我的公众号 [极智视界]，获取我的更多经验分享大家好，我是极智视界，本文分享一下你真的了解GPU nvidia-smi指令吗。邀您加入我的知识星球「极智视界」，星球内有超多好玩的项目实战源码和资源下载，链接：https://t.zsxq.com/0aiNxERDq 对于 GPU 的这个指令，大家…

[每日一氵] cudaDevAttrMaxBlocksPerMultiprocessor is not a member of cudaDeviceAttr

省流版： 本来懒得氵了，结果搜了下没啥结果，看了CUDA文档才知道，CUDA10还没有这个枚举值, CUDA11以及以上的版本才有带着 CINN 编译 Paddle 报错: cmake .. -DWITH_GPUON -DWITH_TESTINGON -DCINN_ONLYOFF -DWITH_CINNON/Paddle…

初次安装Pytorch过程

第一次安装Pytorch，刚开始安装的时候装错了CUDA的版本号这里最高支持12.2.138， 但是我装了一个12.2.140的CUDA，导致不兼容我在测试时发现 import torch# if torch.cuda.is_available(): # print("GPU可用") # else: # p…

windows安装CUDA

windows安装CUDA 说明适用于你的电脑为nvidia的显卡第一步先运行nvcc -V 查看cuda版本，不过应该都是未识别的命令，如下图所示打开pytorch的官网 https://pytorch.org/get-started/locally/ ，查看其支持最新的cuda为多少版本&#xf…

RuntimeError: CUDA error: an illegal memory access was encountered 解决思路

问题描述： 在跑编译正常通过，CPU上也正常运行的某项目时，在运行到某个epoch时，程序突然出现以下错误： RuntimeError: CUDA error: an illegal memory access was encountered CUDA kernel errors might be asynchron…

nvidia-smi 命令详解

nvidia-smi 命令详解 1. nvidia-smi 面板解析2. 显存与GPU的区别 Reference: nvidia-smi命令详解相关文章： nvidia-smi nvcc -V 及 CUDA、cuDNN 安装 nvidia-smi(NVIDIA System Management Interface) 是一种命令行实用程序，用于监控和管理 NVIDIA G…

使用CUDA计算GPU的理论显存带宽

文章目录一、显存带宽和理论显存带宽1. 显存带宽2. 理论显存带宽1）计算公式2）举例二、利用CUDA计算理论显存带宽一、显存带宽和理论显存带宽 1. 显存带宽显存带宽是指显存和GPU计算单元之间的数据传输速率。显存带宽越大，意味着数据传…

Windows11搭建GPU版本PyTorch环境详细过程

Anaconda安装 https://www.anaconda.com/ Anaconda: 中文大蟒蛇，是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。从官网下载Setup：点击安装，之后勾选上可以方便在普通命令行cmd和PowerShell中使用…

CUDA说明和安装[window]

文章目录 1、查看版本信息查看GPU查看cuda版本其他方法 2区分了解cudaCUDA ToolkitNVCCcuDNN 3/ 安装过程4/版本的问题CUDA Toolkit和显卡驱动的版本对应CUDA / CUDA Toolkit和cuDNN的版本对应 5/关于CUDA和Cudnn**5.1 CUDA的命名规则****5.2 如何查看自己所安装的CUDA的版本…

YUVToRGB(CUDA Conversion)库的学习

目录前言1. YUVToRGB1.1 Supported Feature1.2 Performance1.2.1 Performance Table1.2.2 How to Benchmark1.2.3 How to Verify the Accuracy 1.3 User Integration1.4 Summary 2. YUVToRGB案例2.1 环境配置2.2 run案例 3. YUVToRGB浅析4. 补充知识4.1 YUV不同格式区别4.2 Lu…

NCCL源码解析: P2P 连接的建立

文章目录前言概括详解ncclTransportP2pSetup() 前言 NCCL 源码解析总目录我尽量在每个函数之前介绍每个函数的作用，建议先不要投入到函数内部实现，先把函数作用搞清楚，有了整体框架，再回归到细节。习惯： 我的笔记…

CUDA小白 - NPP(6) 图像处理 Geometry Transforms (2)

cuda小白原始API链接 NPP GPU架构近些年也有不少的变化，具体的可以参考别的博主的介绍，都比较详细。还有一些cuda中的专有名词的含义，可以参考《详解CUDA的Context、Stream、Warp、SM、SP、Kernel、Block、Grid》常见的NppStatus&#xf…

CUDA小白 - NPP(6) 图像处理 Geometry Transforms (1)

cuda小白原始API链接 NPP GPU架构近些年也有不少的变化，具体的可以参考别的博主的介绍，都比较详细。还有一些cuda中的专有名词的含义，可以参考《详解CUDA的Context、Stream、Warp、SM、SP、Kernel、Block、Grid》常见的NppStatus&#xf…

模型推理加速与部署梳理

推理加速与部署文章目录推理加速与部署服务级别的推理加速模型级别的推理加速量化图优化 kernel级别的推理加速GPU常见优化方式特殊Kernel的优化方式推理框架可供学习的框架最近学的有点杂，梳理一下我的个人体系，接下来我会花一定时间梳理下面这些东…

Jetson Orin NX 开发指南（5）: 安装 OpenCV 4.6.0 并配置 CUDA 以支持 GPU 加速

一、前言 Jetson 系列的开发板 CPU 性能不是很强，往往需要采用 GPU 加速的方式处理图像数据，因此本文主要介绍如何安装带有 GPU 加速的 OpenCV，其中 GPU 加速通过 CUDA 来实现。参考博客 Ubuntu 20.04 配置 VINS-Fusion-gpu OpenCV 4.6.…

CUDA学习笔记3——图像卷积实现

分别采用GPU、CPU对图像进行sobel滤波处理 #include <stdio.h> #include "cuda_runtime.h" #include "device_launch_parameters.h" #include<math.h> #include <malloc.h> #include <opencv2/opencv.hpp>#include <stdlib.h…

极智开发 | CUDA Memory内存模型

欢迎关注我的公众号 [极智视界]，获取我的更多经验分享大家好，我是极智视界，本文分享一下 CUDA Memory内存模型。邀您加入我的知识星球「极智视界」，星球内有超多好玩的项目实战源码和资源下载，链接：https://t.zsxq.com/0aiNxERDq 熟悉和了解 CUDA Memory 内存模型对于…

V100 GPU服务器安装CUDA教程

大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的…

ubuntu 20.04 + cuda-11.8 + cudnn-8.6+TensorRT-8.6

1、装显卡驱动 ubuntu20.04 cuda10.0 cudnn7.6.4_我是谁？？的博客-CSDN博客查看支持的驱动版本： 查看本机显卡能够配置的驱动信息 luhost:/usr/local$ ubuntu-drivers devices/sys/devices/pci0000:00/0000:00:01.0/0000:01:00.0 moda…

异构编程和cuda程序概念

文章目录异构编程和cuda程序概念一、异构系统和异构编程模型1、什么是异构系统2、异构系统优点3、什么是异构编程模型二、cuda基本知识三、cuda工作流程1、基本流程2、并行线程组织结构3、CUDA程序异构编程和cuda程序概念一、异构系统和异构编程模型 1、什么是异构系统 …

CUDA学习笔记5——CUDA程序错误检测

CUDA程序错误检测所有CUDA的API函数都有一个类型为cudaError_t的返回值，代表了一种错误信息；只有返回cudaSuccess时，才是成功调用。 cudaGetLastError()用来检测核函数的执行是否出错cudaGetErrorString()输出错误信息 #include <stdi…

CUDA编程- 瓦片（Tiling）技术

瓦片（Tiling）技术是CUDA编程中的一个常见策略，用于优化内存访问模式，特别是在矩阵乘法这类计算密集型操作中。 1. 基本概念当我们说“瓦片”时，我们指的是将大数据集（如矩阵）划分为较小的块或…

YOLOv8-Cls推理详解及部署实现

目录前言一、YOLOv8-Cls推理(Python)1. YOLOv8-Cls预测2. YOLOv8-Cls预处理3. YOLOv8-Cls推理二、YOLOv8-Cls推理(C)1. ONNX导出2. YOLOv8-Cls预处理3. YOLOv8-Cls推理三、YOLOv8-Cls部署1. 源码下载2. 环境配置2.1 配置CMakeLists.txt2.2 配置Makefile 3. ONNX导出4. 源码修…

YOLOv8推理详解及部署实现

目录前言一、YOLOv8推理(Python)1. YOLOv8预测2. YOLOv8预处理3. YOLOv8后处理4. YOLOv8推理二、YOLOv8推理(C)1. ONNX导出2. YOLOv8预处理3. YOLOv8后处理4. YOLOv8推理三、YOLOv8部署1. 源码下载2. 环境配置2.1 配置CMakeLists.txt2.2 配置Makefile 3. ONNX导出4. 源码修改…

问题记录（待解决）｜由 apt install nvidia-cuda-toolkit 引发的灾难

捣鼓环境的时候，按照网上的办法执行 sudo apt install nvidia-cuda-toolkit 后，28号机器的 nvidia-smi 命令直接无法使用了…… # nvidia-smi Failed to initialize NVML: Driver/library version mismatchcuda 也无法被正确识别： # python…

Jetson平台180度鱼眼相机畸变校正调试记录

1.需求说明由于使用180度GMSL鱼眼相机，畸变很大；如需算法使用，必须进行畸变校正 2. 硬件说明相机：森云 SG2-AR0233-5300-GMSL2-190H 主板： Jetson NX 3. opencv畸变矫正处理 3.1 获取内参系数现在森云相机可以直接读取内部flash获取内参系数 3.2 畸变处理 …

百度 STI2 赛题二-基于向量交集的 TopK 搜索优化学习笔记

百度 STI2 赛题二-基于向量交集的 TopK 搜索优化学习笔记注: 本文主要是对参赛冠军团队"晨曦"的 xiatwhu/baidu_topk 代码的学习整理, 下文中的"代码作者"即指的该仓库的作者. 赛题信息给定850万条规模的数据文件，每条数据是最大128维度的…

确保设备索引与 GPU 的物理连接顺序一致的方法

问题描述在使用以下指令来指定使用的GPU序号时，可能会遇到设备索引与 GPU 的物理连接顺序不一致的问题，即你指定了GPU 3来运行代码，但代码却是在其他GPU上运行的。 ## python os.environ["CUDA_VISIBLE_DEVICES"] "3"…

GPU CUDA 使用shared memory 运行速度不升反降原因与解决方案

写了两张图像相加，以及图像滤波的的几个算子，分别采用shared memory 进行优化。 #include <stdio.h> #include <cuda_runtime.h>#include "helper_cuda.h" #include "helper_timer.h"#define BLOCKX 32 #define BLOCKY…

规约算法 GPU优化方法

规约算法是用于将大量数据聚合为一个值,例如计算数组中所有元素的总和、最大值、最小值等，可以利用到GPU的并行特性。数组求和算法优化过程：比如一个求数组和的方法，其方法为： //reduce 测试 __global__ void reduce1(int* g_idata, int* g_odata) {extern __shared_…

MIT-BEVFusion系列九--CUDA-BEVFusion部署4 c++解析pytorch导出的tensor数据

目录创建流打印 engine 信息打印结果内部流程启动计时功能加载变换矩阵并更新数据（重要）内部实现该系列文章与qwe一同创作，喜欢的话不妨点个赞。在create_core方法结束后，我们的视角回到了main.cpp中。继续来看接下来的流程。…

2.8 EXERCISES

如果我们想使用每个线程来计算向量加法的一个输出元素，那么将线程/块索引映射到数据索引的表达式是什么？ 答：C 假设我们想用每个线程来计算向量加法的两个（相邻）元素。将线程/块索引映射到i（由线程处理的…

更简单地介绍 CUDA

这篇文章是对 CUDA 的超级简单介绍，CUDA 是 NVIDIA 流行的并行计算平台和编程模型。我之前在2013年写过一篇文章《CUDA简单介绍》，多年来一直很受欢迎。但 CUDA 编程变得更加容易，GPU 也变得更快，所以是时候进行更新（甚…

4.2 MATRIX MULTIPLICATION

矩阵-矩阵乘法，或简称矩阵乘法，在 i X j（i 行 by j 列）矩阵 M 和 j x k 矩阵 N 之间产生 i X k 矩阵P。矩阵乘法是基本线性代数子程序（BLAS）标准的重要组成部分（见第3章中的“线性代数函数”边栏…

【编程技术】CUDA TencoreCore编程实例说明

概述通过一个m16n8k16矩阵乘法的CUDA TencoreCore编程实例，展示load/store mma 的矩阵乘法运行过程动画实例 CUDA TensoreCore 编程实例

4.6 BOUNDARY CHECKS

我们现在扩展了tile矩阵乘法内核，以处理具有任意宽度的矩阵。扩展必须允许内核正确处理宽度不是tile宽度倍数的矩阵。通过更改图4.14中的示例至33 M、N和P矩阵，图4.18创建了矩阵的宽度为3，不是tile宽度（2）的倍数。图4.…

ubuntu22.04 安装cuda

CUDA（Compute Unified Device Architecture）是由 NVIDIA 开发的一种并行计算平台和编程模型。它允许开发者利用 NVIDIA 的 GPU（图形处理单元）进行高效的计算处理。CUDA 通过提供一系列的 C、C 和 Fortran 扩展，使得开发…

CUDA initialization failure with error: 999

ubuntu20.04，安装tensorRT, 执行example里面的./sample_char_rnn程序，测试时候报了如标题的一个错误，居然如下两行代码这样解决了，这两行命令好像是重新加载nvidia内核模块，有点玄学： sudo rmmod nvidia_u…

2.4 DEVICE GLOBAL MEMORY AND DATA TRANSFER

在当前的CUDA系统中，设备通常是带有自己的动态随机存取存储器（DRAM）的硬件卡。例如，NVIDIA GTX1080具有高达8 GB的DRAM，称为全局内存。我们将互换使用全局内存和设备内存这两个术语。为了在设备上执行内核，…

Tensor Core的一些概念理解

英伟达的GPU产品架构发展如下图，Tensor Core是从2017年的Volta架构开始演变的针对AI模型大量乘加运算的特殊处理单元。本文主要梳理一些关于Tensor Core的一些基础概念知识。什么是混合精度？ 混合精度在底层硬件算子层面，使用半精度&#xf…

PVE设置显卡直通（二：Linux显卡直通，以及Linux系统下安装cuda库）

PVE设置显卡直通（一：硬件设置）本文仅记录PVE关于Linux下的显卡直通步骤例程不过多阐述 ps: 无直通经验的同学，先参阅 PVE设置显卡直通（一：硬件设置），再参阅本博文参阅完成 PVE设置显卡直通（一：硬件设置）后，直接在PVE面板中添加显卡硬件到自己的主机即可，此文中…

【cuda】三、矩阵相乘与coalescing writes（合并写操作）

Matrix Multiplication and Optimization 线程块功能并行执行：线程块是一组同时执行的线程。它们共同执行分配给它们的任务资源共享：线程块内的线程可以共享数据和同步执行。通过共享内存（Shared Memory）和同步原语&#xff…

ubuntu20.04安装tensorRT流程梳理

目标：先跑demo，再学习源码 step1, 提前准备好CUDA环境安装CUDA，cuDNN 注意，CUDA，cuDNN需要去官网下载.run和tar文件安装，否则在下面step4 make命令会报找不到cuda等的错误，具体安装教程网上…

CUDA基础教程文档记录

目录前言0. CUDA基础语法1. CUDA共享内存2. GPU架构简介3. CUDA内存子系统4. 原子/规约操作和warp shuffle5. CUDA统一内存(Managed Memory)6. CUDA流和并发7. Profiler驱动的优化前言学习手写 AI 中 HY 大佬的《CUDA基础教程》八讲视频，由于没有文档&#xff0c…

YOLOv8-Seg推理详解及部署实现

目录前言一、YOLOv8-Seg推理(Python)1. YOLOv8-Seg预测2. YOLOv8-Seg预处理3. YOLOv8-Seg后处理4. YOLOv8-Seg推理二、YOLOv8-Seg推理(C)1. ONNX导出2. YOLOv8-Seg预处理3. YOLOv8-Seg后处理4. YOLOv8推理三、YOLOv8-Seg部署1. 源码下载2. 环境配置2.1 配置CMakeLists.txt2.…

YOLOv8-Pose推理详解及部署实现

目录前言一、YOLOv8-Pose推理(Python)1. YOLOv8-Pose预测2. YOLOv8-Pose预处理3. YOLOv8-Pose后处理4. YOLOv8-Pose推理二、YOLOv8-Pose推理(C)1. ONNX导出2. YOLOv8-Pose预处理3. YOLOv8-Pose后处理4. YOLOv8-Pose推理三、YOLOv8-Pose部署1. 源码下载2. 环境配置2.1 配置CM…

一个完整的手工构建的cuda动态链接库工程 02记

step3, 两个 API 函数的动态链接库 Makefile 版本对比之前的文件树： 现在的文件树： 添加了3个新文件，修改了4个旧文件，其中include/ic_add.h 其实可以改成 icmm.h，作为整个 shared library 被调用的头文件。现将新文…

5. Jetson Orin Nano CUDA 配置

5. Jetson Orin Nano CUDA 配置 1：安装Jtop jtop安装主要有以下三个步骤： 安装pip3 我们需要使用pip3来安装jtop，所以先安装pip3 sudo apt install python3-pip安装jtop sudo -H pip3 install -U jetson-stats运行jtop服务 sudo -H pip3 in…

模型部署 - BevFusion - (1) - 思路总结

模型部署实践 - BevFusion 思路总结一、网络结构 - 总结1.1、代码1.2、网络流程图1.3、模块大致梳理二、Onnx 的导出 -总体思路分析三、优化思路总结学习 BevFusion 的部署，看了很多的资料，这篇博客进行总结和记录自己的实践思路总结对于一个模型我…

YOLOv9推理详解及部署实现

目录前言零、YOLOv9简介一、YOLOv9推理(Python)1. YOLOv9预测2. YOLOv9预处理3. YOLOv9后处理4. YOLOv9推理二、YOLOv9推理(C)1. ONNX导出2. YOLOv9预处理3. YOLOv9后处理4. YOLOv9推理三、YOLOv9部署1. 源码下载2. 环境配置2.1 配置CMakeLists.txt2.2 配置Makefile 3. ONNX…

cmake+OpenCV4.8.0+contrib4.8.0+cuda 12.2编译踩坑

cmakeOpenCV4.8.0contrib4.8.0cuda 12.2编译踩坑准备工具 cmake （去官网下载）OpenCV 我下载的是官网发布最新的稳定版本对应的源码，官网目前是4.8.0，github下一个（连不上的可以网上找找资源或者科学上网&#xff09…

五、深入学习TensorRT，Developer Guide篇(四)

上一篇文章我们介绍了C的API，这篇文章我们主要针对的是Python的API，起始C和Python在整体流程上面基本一致，但是由于Python天然的简洁性和易用性，Python的API相对来讲还是比较简单的，我们一起来看一下吧。文章目录 4.…

PaddleOCR 运行退出0xC0000409，不显示错误信息

在一台老的电脑上去运行PaddleOCR 时，发现程序输出ppocr DEBUG: Namespace后，返回错误码0xC0000409执行到ocr就闪退，不提示。原因：PaddleOCR 吞了输出。解决方案需要改下Pycharm的运行选项，勾选重定向也就是在输出…

编译 CUDA加速的 OpenCV-4.8.0 版本

文章目录前言一、编译环境二、前期准备三、CMake编译四、VS编译OpenCV.sln五、问题前言由于项目需要用上CUDA加速的OpenCV，编译时也踩了不少坑，所以这里记录一下。一、编译环境我的编译环境是： Win10 RTX4050 CUDA-12.0 CUDNN 8.9.…

*4.3 CUDA MEMORY TYPES

CUDA设备包含几种类型的内存，可以帮助程序员提高计算到全局内存的访问率，从而实现高执行速度。图4.6显示了这些CUDA设备内存。全局内存和恒定内存出现在图片的底部。主机可以通过调用API函数来写入（W）和读取（R&#xf…

Parallel patterns: convolution —— An introduction to stencil computation

在接下来的几章中，我们将讨论一组重要的并行计算模式。这些模式是许多并行应用中出现的广泛并行算法的基础。我们将从卷积开始，这是一种流行的阵列操作，以各种形式用于信号处理、数字记录、图像处理、视频处理和计算机视觉。在这些应用领域&a…

Python与GPU编程快速入门（一）

Python与GPU编程快速入门文章目录 Python与GPU编程快速入门1、图形处理单元（Graphics Processing Unit，GPU）1.1 并行设计1.2 速度优势本系列文章将详细介绍如何在Python中使用CUDA，从而使Python应用程序加速。 1、图形处理单元（Graphics Processing Unit，GPU）图形处理…

编译代码性能优化实践：理解循环展开(pragma unroll)

引言：CUDA的矩阵乘优化经常见到 pragma unroll 的使用，本文通过简单的示例，展示了CPU和CUDA对循环展开前后的性能表现，来通俗理解循环展开的优化策略。一、什么是循环展开？ 简单理解：将代码中的for循环展开…

RuntimeError: CUDA out of memory.【多种场景下的解决方案】

RuntimeError: CUDA out of memory.【多种场景下的解决方案】 🌈 个人主页：高斯小哥 🔥 高质量专栏：【Matplotlib之旅：零基础精通数据可视化】 🏆🏆关注博主，随时获取更多关于深度学…

【YOLOv5】实现扑克牌的点数识别

前言其实年初的时候，我也跟着别人的源码，用 Tensoflow 实现过扑克牌的目标检测。虽然也通过博文的方式记录了，但是那个项目使用的 TF 版本比较旧，自身对 TF 并不熟。后期如果说要升级或修改估计够呛，知道最近看到 YOL…

大模型自定义算子优化方案学习笔记：CUDA算子定义、算子编译、正反向梯度实现

01算子优化的意义随着大模型应用的普及以及算力紧缺，下一步对于计算性能的追求一定是技术的核心方向。因为目前大模型的计算逻辑是由一个个独立的算子或者说OP正反向求导实现的，底层往往调用的是GPU提供的CUDA的驱动程序。如果不能对于整个计算过程学习…

CUDA下载安装与配置

八. 实战：CUDA-BEVFusion部署分析-环境搭建

目录前言0. 简述1. CUDA-BEVFusion浅析2. CUDA-BEVFusion环境配置2.1 简述2.2 源码下载2.3 模型数据下载2.4 基础软件安装2.5 protobuf安装2.5.1 apt 方式安装2.5.2 源码方式安装 2.6 编译运行2.6.1 配置 environment.sh2.6.2 利用TensorRT构建模型2.6.3 编译运行程序 2.7 拓展…

[已解决]安装CUDA失败报错(附万能解决办法)

[已解决]安装CUDA失败报错(附万能解决办法) （Tips：赶时间直接看万能法2） 经过长时间的尝试和研究，我终于解决了安装CUDA失败报错的问题。在这里，我将记录下我遇到的问题以及解决办法，希望对其他小白们有所帮…

3.3 IMAGE BLUR: A MORE COMPLEX KERNEL

我们研究了vecAddkernel和colorToGreyscaleConversion，其中每个线程只对一个数组元素执行少量算术运算。这些内核很好地服务于其目的：说明基本的CUDA C程序结构和数据并行执行概念。在这一点上，读者应该问一个显而易见的问题——所有CUDA线程…

MIT-BEVFusion系列九--CUDA-BEVFusion部署6 前向推理的数据加载与图像预处理

目录加载图像数据加载点云数据模型推理并计时预热操作模型推理检查点云输入数据量打印信息中CopyLidar部分的计算和耗时打印信息中ImageNrom图像预处理部分计算和耗时该系列文章与qwe、Dorothea一同创作，喜欢的话不妨点个赞。接上面的文章，目光聚焦回…

[CUDA 学习笔记] Element-wise 算子优化

Element-wise 算子优化注: 本文主要是对文章【BBuf 的CUDA笔记】一，解析OneFlow Element-Wise 算子实现 - 知乎的学习整理 Element-wise 算子即针对输入 Tensor(可能有多个) 进行逐元素操作. 如 ReLU 操作. 朴素实现 __global__ void relu_kernel(float* inp…

报错ValueError: Unknown CUDA arch (8.6) or GPU not supported

文章目录问题描述解决方案参考文献问题描述报错 ValueError: Unknown CUDA arch (8.6) or GPU not supported 本人显卡为 RTX 3060，CUDA 为 10.2，PyTorch 为 1.5 解决方案修改 C:\Users\Administrator\Envs\test\Lib\site-packages\torch\utils\c…

记录 | 验证pytorch-cuda是否安装成功

检测程序如下： import torchprint(torch.__version__) print(torch.cuda.is_available()) 或者用终端 Shell，运行情况如下

混合输入矩阵乘法的性能优化

作者 | Manish Gupta OneFlow编译翻译｜宛子琳、杨婷 AI驱动的技术正逐渐融入人们日常生活的各个角落，有望提高人们获取知识的能力，并提升整体生产效率。语言大模型（LLM）正是这些应用的核心。LLM对内存的需求很高&…

解决由NVCC编译优化所产生的Bug

Bug描述在测量如下一个简单的核函数的执行时间的时候，发现测量的时间和循环的次数完全无关，觉得很奇怪，因为循环的次数已经很大了，不管我再怎么提升循环次数，这么大的计算量，不可能保持时间的恒定。 __g…

nvidia显卡如何安装cuda驱动

目录查看显卡对应的cuda版本下载与你显卡匹配的CUDA Toolkit 查看显卡对应的cuda版本按微软 R 键，输入cmd 然后输入 nvidia-smi ，回车显示下面信息： 看到 CUDA Version 为 12.2 下载与你显卡匹配的CUDA Toolkit 打开网页&#xff1a…

[CUDA] 使用thrust::sort()函数排序

一、简介本文介绍了如何使用thrust::sort()函数对device_vector<int>容器，或者int*指针表示的内存（显存）处的数据进行排序。二、示例代码 1. 排序 device_vector<int>中的数据 main.cu文件内容： #include <…

模型部署 - onnx的导出和分析 - onnx 的架构和 onnx helper 的使用 - 学习记录

onnx 的架构和 onnx helper 的使用简介一、onnx 的架构二、onnx 实践2.1、 create - linear.onnx2.1.1、要点一：创建节点2.1.2、要点二：创建张量2.1.3、要点三：创建图 2.2、 create - onnx.convnet2.3、使用 onnx helper 导出的基本流程总结…

Windows + RTX4090驱动，CUDA安装

Nvidia驱动下载安装 NVIDA Drivers驱动 https://www.nvidia.com/Download/index.aspx?langen-us CUDA安装 https://developer.nvidia.com/cuda-toolkit-archive （1）nvidia-smi -L查看自己的显卡型号。 （2）然后在https://ww…

WSL下Ubuntu+RTX4090安装CUDA+cuDnn+Pytorch

安装驱动首先需要明确的是，在WSL下安装Ubuntu，如果要使用主机的GPU卡，只需要在主机Windows上安装驱动，Linux中不需要安装驱动，可以在Linux中使用nvidia-smi命令查看驱动版本。安装CUDA 避坑注意事项：如…

nccl2安装指南

https://developer.nvidia.com/nccl/nccl-download 旧版本安装: https://developer.nvidia.com/nccl/nccl-legacy-downloads 找到你对应的CUDA版本我这里选择 deb 文件安装了 sudo dpkg -i nccl-local-repo-ubuntu2004-2.16.5-cuda11.8_1.0-1_amd64.debsudo cp /var/nccl-lo…

先安装CUDA后安装Visual Studio的额外配置

VS新建项目中增加CUDA选项以vs2019 cuda 11.3为例关闭vs2019解压cuda的windows安装包cuda_11.3.0_465.89_win10.exe进入路径cuda_11.3.0_465.89_win10\visual_studio_integration\CUDAVisualStudioIntegration\extras\visual_studio_integration\CudaProjectVsWizards\拷贝…

CUDA Cpp正电子发射断层扫描仪校准和图像重建—蒙特卡洛3D伊辛模型

要点 GPU对比CPU计算正弦和：使用单CPU、使用OpenMP库和CUDACUDA并行计算：3D网格运行内核：线程块，线程线性处理3D数组，并行归约，共享内存，矩阵乘法/平铺矩阵乘法，基本线性代数子程序…

Paddle2.5+PaddleDetect安装

文章目录前言发现问题想点办法先修复桌面复原CUDAPaddle安装前言安装paddle的时候，由于驱动是最新的，就硬着头皮上了最新的paddle。结果试试就逝世。发现问题我参照官网进行安装： $ python -m pip install paddlepaddle-gpu2.6.0.pos…

[CUDA 学习笔记] Reduce 算子优化

Reduce 算子优化注: 本文主要是对文章【BBuf的CUDA笔记】三，reduce优化入门学习笔记 - 知乎的学习整理 Reduce 又称之为归约, 即根据数组中的每个元素得到一个输出值, 常见的包括求和(sum)、取最大值(max)、取最小值(min)等. 前言本文同样按照英伟达官方 PP…

wsl-oraclelinux 安装 cuda

wsl-oraclelinux 安装 cuda 1. 安装 cuda2. 安装 cuDNN3. 配置环境变量 1. 安装 cuda wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.run sudo sh cuda_12.4.0_550.54.14_linux.run2. 安装 cuDNN sudo dnf …

Ubuntu 20.04，cuda 12.4安装对应的cuDNN， 2024最新教程（附带最新查看cuDNN版本指令)

Ubuntu 20.04，cuda 12.4安装对应的cuDNN， 2024最新教程（附带最新查看cuDNN版本指令) 0.环境介绍 Ubuntu 20.04Cuda 12.4 1.安装cuDNN 9.0 最新版这是在安装好Cuda的情况下安装cuDNN！ 进入nvidia官网的cuDNN页面，…

Jetson Orin NX 安装 anaconda、cuda、torch、torchvision

第一次接触踩了不少坑，切忌不要按照常见服务器、电脑的思路安装。安装 JetPack 套件 JetPack 是 Nvidia为 Jetson 系列开发板开发的一款软件开发包，常用的开发工具基本都有，安装 Jetson 会自动的将匹配版本的CUDA、cuDNN、TensorRT等安装好…

cuda python课程中“使用 Numba 的 CUDA Python 的自定义核函数和内存管理“一个大坑

总觉得自己的算法没问题，最终还是测试结果不符。错误出现在一个很顺眼的位置。解决方案在最终测验阶段有一个看起来没问题不需要任何修改的Cell，就是这一句，看起来没什么毛病 d_histogram_out cuda.device_array_like(histogram_out)需…

CUDA入门之统一内存

原文来自CUDA 编程入门之统一内存 🎬个人简介：一个全栈工程师的升级之路！ 📋个人专栏：高性能（HPC）开发基础教程 🎀CSDN主页发狂的小花 🌄人生秘诀：学习的本质…

彻底解决 ModuleNotFoundError: No module named ‘torch_scatter‘

之前做实验报了一个错误，卡了很久。具体就是这行代码 from torch_scatter import scatter_add 这个torch_scatter是非官方的库，经常安装失败， 找了很多的安装方法，都不好使，特别是对新版的pytorchcuda环境机缘巧…

MatlabR2021a+CUDA+VS2019配置TIGRE环境（基于层析迭代GPU的重建工具箱）

支持CUDA运算的显卡算力表

GPUs supported Supported CUDA level of GPU and card. CUDA SDK 1.0 support for compute capability 1.0 – 1.1 (Tesla CUDA SDK 1.1 support for compute capability 1.0 – 1.1x (Tesla) CUDA SDK 2.0 support for compute capability 1.0 – 1.1x (Tesla) CUDA SDK 2.…