Nvidia RTX A4000 ADA có thể xử lý các tác vụ học máy không?

Vào tháng 4, Nvidia đã ra mắt một sản phẩm mới, RTX A4000 ADA, một GPU dạng nhỏ được thiết kế cho các ứng dụng máy trạm. Bộ xử lý này thay thế A2000 và có thể được sử dụng cho các tác vụ phức tạp, bao gồm nghiên cứu khoa học, tính toán kỹ thuật và trực quan hóa dữ liệu.

RTX A4000 ADA có 6.144 lõi CUDA, 192 lõi Tenor và 48 lõi RT và 20 GB GDDR6 ECC VRAM. Một trong những lợi ích chính của GPU mới là hiệu suất năng lượng: RTX A4000 ADA chỉ tiêu thụ 70W, giúp giảm cả chi phí điện năng và nhiệt độ hệ thống. GPU cũng cho phép bạn điều khiển nhiều màn hình nhờ khả năng kết nối 4x Mini-DisplayPort 1.4a.

Khi so sánh GPU RTX 4000 SFF ADA với các thiết bị khác cùng loại, cần lưu ý rằng khi chạy ở chế độ chính xác đơn, nó cho hiệu suất tương đương với GPU RTX A4000 thế hệ mới nhất, tiêu thụ điện năng gấp đôi (140W so với 140W). 70W).

ADA RTX 4000 SFF được xây dựng trên kiến trúc ADA Lovelace và công nghệ xử lý 5nm. Điều này cho phép các lõi Tensor Core và lõi dò tia thế hệ tiếp theo, giúp cải thiện đáng kể hiệu suất bằng cách cung cấp các lõi Tensor và dò tia nhanh hơn và hiệu quả hơn so với RTX A4000. Ngoài ra, RTX 4000 SFF của ADA được đóng gói nhỏ - thẻ dài 168mm và dày bằng hai khe cắm mở rộng.

Các nhân dò tia cải tiến cho phép đạt được hiệu suất hiệu quả trong các môi trường sử dụng công nghệ này, chẳng hạn như trong thiết kế và kết xuất 3D. Hơn nữa, dung lượng bộ nhớ 20GB của GPU mới cho phép nó xử lý các môi trường rộng lớn.

Theo nhà sản xuất, các lõi Tensor thế hệ thứ tư mang lại hiệu suất tính toán AI cao - hiệu suất tăng gấp đôi so với thế hệ trước. Các lõi Tensor mới hỗ trợ tăng tốc FP8. Tính năng sáng tạo này có thể hoạt động tốt đối với những người đang phát triển và triển khai các mô hình AI trong các môi trường như bộ gen và thị giác máy tính .

Cũng cần lưu ý rằng sự gia tăng về cơ chế mã hóa và giải mã làm cho RTX 4000 SFF ADA trở thành một giải pháp tốt cho khối lượng công việc đa phương tiện, chẳng hạn như video trong số những thứ khác.

Thông số kỹ thuật của card đồ họa NVIDIA RTX A4000 và RTX A5000, RTX 3090

	RTX A4000 ADA	NVIDIA RTX A4000	NVIDIA RTX A5000	RTX 3090
Ngành kiến trúc	Ada Lovelace	Ampe	Ampe	Ampe
quy trình công nghệ	5nm	8nm	8nm	8nm
GPU	AD104	GA102	GA104	GA102
Số lượng bóng bán dẫn (triệu)	35.800	17.400	28.300	28.300
Băng thông bộ nhớ (Gb/s)	280.0	448	768	936.2
Dung lượng bộ nhớ video (bit)	160	256	384	384
Bộ nhớ GPU (GB)	20	16	24	24
loại bộ nhớ	GDDR6	GDDR6	GDDR6	GDDR6X
lõi CUDA	6,144	6 144	8192	10496
lõi tenor	192	192	256	328
lõi RT	48	48	64	82
SP hoàn hảo (teraflop)	19.2	19,2	27,8	35,6
Hiệu suất lõi RT (teraflop)	44.3	37,4	54,2	69,5
Hiệu suất tenxơ (teraflop)	306.8	153,4	222,2	285
Công suất tối đa (Watt)	70	140	230	350
giao diện	PCIe 4.0x16	PCI-E 4.0x16	PCI-E 4.0x16	PCIe 4.0x16
kết nối	4x Mini DisplayPort 1.4a	DP 1.4 (4)	DP 1.4 (4)	DP 1.4 (4)
Yếu tố hình thức	2 khe	1 khe	2 khe	2-3 khe cắm
Phần mềm vGPU	KHÔNG	KHÔNG	Có, không giới hạn	Đúng. với những hạn chế
nvlink	KHÔNG	KHÔNG	2XRTX A5000	Đúng
hỗ trợ CUDA	11.6	8.6	8.6	8.6
hỗ trợ VULKAN	1.3	Đúng	Đúng	vâng, 1,2
giá (USD)	1.250	1000	2500	1400

Mô tả môi trường thử nghiệm

	RTX A4000 ADA	RTX A4000
CPU	AMD Ryzen 9 5950X 3.4GHz (16 nhân)	OctaCore Intel Xeon E-2288G, 3,5 GHz
ĐẬP	4x32 Gb DDR4 ECC SO-DIMM	2x32 GB DDR4-3200 ECC DDR4 SDRAM 1600 MHz
Lái xe	SSD NVMe 1Tb	SSD Samsung 980 PRO 1TB
bo mạch chủ	ASRock X570D4I-2T	Dòng Asus P11C-I
Hệ điều hành	Microsoft Windows 10	Microsoft Windows 10

Kết quả kiểm tra

Điểm chuẩn V-Ray 5

Các bài kiểm tra CUDA và RTX của V-Ray GPU đo hiệu suất kết xuất GPU tương đối. GPU RTX A4000 kém hơn một chút so với RTX A4000 ADA (lần lượt là 4% và 11%).

Học máy

"Chó vs. Mèo"

Để so sánh hiệu suất của GPU cho mạng thần kinh, chúng tôi đã sử dụng bộ dữ liệu "Dogs vs. Cats" - thử nghiệm phân tích nội dung của một bức ảnh và phân biệt xem bức ảnh chụp một con mèo hay một con chó. Tất cả các dữ liệu thô cần thiết có thể được tìm thấy . Chúng tôi đã chạy thử nghiệm này trên các GPU và dịch vụ đám mây khác nhau và nhận được kết quả như sau:

Trong thử nghiệm này, RTX A4000 ADA nhỉnh hơn một chút so với RTX A4000 9%, nhưng hãy nhớ rằng GPU mới có kích thước nhỏ và mức tiêu thụ điện năng thấp.

AI-Benchmark cho phép bạn đo hiệu suất của thiết bị trong tác vụ đầu ra mô hình AI. Đơn vị đo có thể thay đổi tùy theo thử nghiệm, nhưng thông thường đó là số thao tác trên giây (OPS) hoặc số khung hình trên giây (FPS).

	RTX A4000	RTX A4000 ADA
19/1. MobileNet-V2	1.1 — suy luận | đợt=50, kích thước=224x224: 38,5 ± 2,4 ms1,2 — đào tạo | đợt=50, kích thước=224x224: 109 ± 4 ms	1.1 — suy luận | đợt=50, kích thước=224x224: 53,5 ± 0,7 ms1,2 — đào tạo | lô=50, kích thước=224x224: 130,1 ± 0,6 ms
19/2. Inception-V3	2.1 — suy luận | đợt=20, kích thước=346x346: 36,1 ± 1,8 ms2,2 — đào tạo | đợt=20, kích thước=346x346: 137,4 ± 0,6 ms	2.1 — suy luận | đợt=20, kích thước=346x346: 36,8 ± 1,1 ms2,2 — đào tạo | đợt=20, kích thước=346x346: 147,5 ± 0,8 ms
19/3. Inception-V4	3.1 — suy luận | đợt=10, kích thước=346x346: 34,0 ± 0,9 ms3.2 — đào tạo | đợt=10, kích thước=346x346: 139,4 ± 1,0 ms	3.1 — suy luận | đợt=10, kích thước=346x346: 33,0 ± 0,8 ms3.2 — đào tạo | đợt=10, kích thước=346x346: 135,7 ± 0,9 ms
19/4. Khởi động-ResNet-V2	4.1 — suy luận | đợt=10, kích thước=346x346: 45,7 ± 0,6 ms4.2 — đào tạo | đợt=8, kích thước=346x346: 153,4 ± 0,8 ms	4.1 — lô suy luận=10, kích thước=346x346: 33,6 ± 0,7 ms4.2 — lô đào tạo=8, kích thước=346x346: 132 ± 1 ms
19/5. ResNet-V2-50	5.1 — suy luận | đợt=10, kích thước=346x346: 25,3 ± 0,5 ms5.2 — đào tạo | đợt=10, kích thước=346x346: 91,1 ± 0,8 ms	5.1 — suy luận | đợt=10, kích thước=346x346: 26,1 ± 0,5 ms5.2 — đào tạo | đợt=10, kích thước=346x346: 92,3 ± 0,6 ms
19/6. ResNet-V2-152	6.1 — suy luận | đợt=10, kích thước=256x256: 32,4 ± 0,5 ms6.2 — đào tạo | đợt=10, kích thước=256x256: 131,4 ± 0,7 ms	6.1 — suy luận | đợt=10, kích thước=256x256: 23,7 ± 0,6 ms6.2 — đào tạo | lô=10, kích thước=256x256: 107,1 ± 0,9 ms
19/7. VGG-16	7.1 — suy luận | đợt=20, kích thước=224x224: 54,9 ± 0,9 ms7.2 — đào tạo | đợt=2, kích thước=224x224: 83,6 ± 0,7 ms	7.1 — suy luận | đợt=20, kích thước=224x224: 66,3 ± 0,9 ms7.2 — đào tạo | đợt=2, kích thước=224x224: 109,3 ± 0,8 ms
19/8. SRCNN 9-5-5	8.1 — suy luận | đợt=10, kích thước=512x512: 51,5 ± 0,9 ms8.2 — suy luận | đợt=1, kích thước=1536x1536: 45,7 ± 0,9 ms8,3 — đào tạo | đợt=10, kích thước=512x512: 183 ± 1 ms	8.1 — suy luận | đợt=10, kích thước=512x512: 59,9 ± 1,6 ms8.2 — suy luận | đợt=1, kích thước=1536x1536: 53,1 ± 0,7 ms8,3 — đào tạo | đợt=10, kích thước=512x512: 176 ± 2 ms
19/9. VGG-19 Super-Res	9.1 — suy luận | đợt=10, kích thước=256x256: 99,5 ± 0,8 ms9,2 — suy luận | đợt=1, kích thước=1024x1024: 162 ± 1 ms9.3 — đào tạo | đợt=10, kích thước=224x224: 204 ± 2 ms
19/10. ResNet-SRGAN	10.1 — suy luận | đợt=10, kích thước=512x512: 85,8 ± 0,6 ms10,2 — suy luận | đợt=1, kích thước=1536x1536: 82,4 ± 1,9 ms10,3 — đào tạo | đợt=5, kích thước=512x512: 133 ± 1 ms	10.1 — suy luận | đợt=10, kích thước=512x512: 98,9 ± 0,8 ms10,2 — suy luận | đợt=1, kích thước=1536x1536: 86,1 ± 0,6 ms10,3 — đào tạo | đợt=5, kích thước=512x512: 130,9 ± 0,6 ms
19/11. ResNet-DPED	11.1 — suy luận | đợt=10, kích thước=256x256: 114,9 ± 0,6 ms11,2 — suy luận | đợt=1, kích thước=1024x1024: 182 ± 2 ms11.3 — đào tạo | đợt=15, kích thước=128x128: 178,1 ± 0,8 ms	11.1 — suy luận | đợt=10, kích thước=256x256: 146,4 ± 0,5 ms11,2 — suy luận | đợt=1, kích thước=1024x1024: 234,3 ± 0,5 ms11,3 — đào tạo | đợt=15, kích thước=128x128: 234,7 ± 0,6 ms
19/12. U-Net	12.1 — suy luận | đợt=4, kích thước=512x512: 180,8 ± 0,7 ms12,2 — suy luận | đợt=1, kích thước=1024x1024: 177,0 ± 0,4 ms12,3 — đào tạo | đợt=4, kích thước=256x256: 198,6 ± 0,5 ms	12.1 — suy luận | đợt=4, kích thước=512x512: 222,9 ± 0,5 ms12,2 — suy luận | đợt=1, kích thước=1024x1024: 220,4 ± 0,6 ms12,3 — đào tạo | đợt=4, kích thước=256x256: 229,1 ± 0,7 mili giây
19/13. Nvidia-SPADE	13.1 — suy luận | đợt=5, kích thước=128x128: 54,5 ± 0,5 ms13,2 — đào tạo | đợt=1, kích thước=128x128: 103,6 ± 0,6 ms	13.1 — suy luận | đợt=5, kích thước=128x128: 59,6 ± 0,6 ms13,2 — đào tạo | đợt=1, kích thước=128x128: 94,6 ± 0,6 mili giây
14/19. ICNet	14.1 — suy luận | đợt=5, kích thước=1024x1536: 126,3 ± 0,8 ms14,2 — đào tạo | đợt=10, kích thước=1024x1536: 426 ± 9 mili giây	14.1 — suy luận | đợt=5, kích thước=1024x1536: 144 ± 4 ms14.2 — đào tạo | đợt=10, kích thước=1024x1536: 475 ± 17 mili giây
15/19. PSPNet	15.1 — suy luận | đợt=5, kích thước=720x720: 249 ± 12 ms15.2 — đào tạo | đợt=1, kích thước=512x512: 104,6 ± 0,6 ms	15.1 — suy luận | đợt=5, kích thước=720x720: 291,4 ± 0,5 ms15,2 — đào tạo | đợt=1, kích thước=512x512: 99,8 ± 0,9 mili giây
16/19. Phòng thí nghiệm sâu	16.1 — suy luận | đợt=2, kích thước=512x512: 71,7 ± 0,6 ms16,2 — đào tạo | đợt=1, kích thước=384x384: 84,9 ± 0,5 ms	16.1 — suy luận | đợt=2, kích thước=512x512: 71,5 ± 0,7 ms16,2 — đào tạo | đợt=1, kích thước=384x384: 69,4 ± 0,6 ms
17/19. Pixel-RNN	17.1 — suy luận | đợt=50, kích thước=64x64: 299 ± 14 ms17.2 — đào tạo | lô=10, kích thước=64x64: 1258 ± 64 mili giây	17.1 — suy luận | đợt=50, kích thước=64x64: 321 ± 30 ms17.2 — đào tạo | lô=10, kích thước=64x64: 1278 ± 74 mili giây
18/19. LSTM-Tình cảm	18.1 — suy luận | đợt=100, kích thước=1024x300: 395 ± 11 ms18.2 — đào tạo | đợt=10, kích thước=1024x300: 676 ± 15 mili giây	18.1 — suy luận | đợt=100, kích thước=1024x300: 345 ± 10 ms18.2 — đào tạo | đợt=10, kích thước=1024x300: 774 ± 17 mili giây
19/19. GNMT-Dịch	19.1 — suy luận | đợt=1, kích thước=1x20: 119 ± 2 mili giây	19.1 — suy luận | đợt=1, kích thước=1x20: 156 ± 1 ms

Kết quả của thử nghiệm này cho thấy hiệu suất của RTX A4000 cao hơn 6% so với RTX A4000 ADA, tuy nhiên, với lưu ý rằng kết quả thử nghiệm có thể khác nhau tùy thuộc vào tác vụ cụ thể và điều kiện hoạt động được sử dụng.

RTXA4000

điểm chuẩn	Thời gian đào tạo trung bình của mô hình (ms)
Đào tạo loại chính xác kép mnasnet0_5	62.995805740356445
Đào tạo loại chính xác kép mnasnet0_75	98.39066505432129
Đào tạo loại chính xác kép mnasnet1_0	126.60405158996582
Đào tạo loại chính xác kép mnasnet1_3	186.89460277557373
Đào tạo loại chính xác kép resnet18	428.08079719543457
Huấn luyện loại độ chính xác kép resnet34	883.5790348052979
Đào tạo loại chính xác gấp đôi resnet50	1016.3950300216675
Đào tạo loại chính xác kép resnet101	1927.2308254241943
Đào tạo loại chính xác kép resnet152	2815.663013458252
Đào tạo loại chính xác gấp đôi resnext50_32x4d	1075.4373741149902
Đào tạo loại chính xác gấp đôi resnext101_32x8d	4050.0641918182373
Đào tạo loại chính xác kép wide_resnet50_2	2615.9953451156616
Đào tạo loại chính xác kép wide_resnet101_2	5218.524832725525
Đào tạo loại chính xác kép densitynet121	751.9759511947632
Đào tạo loại chính xác kép densitynet169	910.3225564956665
Đào tạo loại chính xác kép densitynet201	1163.036551475525
Đào tạo loại chính xác kép densitynet161	2141.505298614502
Đào tạo loại pinchnet chính xác gấp đôi1_0	203.988
Đào tạo loại pinchnet chính xác gấp đôi1_1	98.04857730865479
Đào tạo loại chính xác kép vgg11	1697.7
Đào tạo loại chính xác kép vgg11_bn	1729.2972660064697
Đào tạo loại chính xác kép vgg13	2491.6
Đào tạo loại chính xác kép vgg13_bn	2545.34
Đào tạo loại chính xác kép vgg16	3371.68
Đào tạo loại chính xác kép vgg16_bn	3423.8639068603516
Đào tạo loại chính xác kép vgg19_bn	4314.55
Đào tạo loại chính xác kép vgg19	4249.422650337219
Đào tạo loại chính xác kép mobilenet_v3_large	105.546
Đào tạo loại chính xác kép mobilenet_v3_small	37.6680850982666
Đào tạo loại chính xác kép shufflenet_v2_x0_5	26.51611328125
Đào tạo loại chính xác kép shufflenet_v2_x1_0	61.260504722595215
Đào tạo loại chính xác kép shufflenet_v2_x1_5	105.30067920684814
Đào tạo loại chính xác kép shufflenet_v2_x2_0	181.03694438934326
Suy luận loại chính xác kép mnasnet0_5	17.397074699401855
Suy luận loại chính xác kép mnasnet0_75	28.902697563171387
Suy luận loại chính xác kép mnasnet1_0	38.3877
Suy luận loại chính xác kép mnasnet1_3	58.228821754455566
Suy luận loại chính xác kép resnet18	147.95727252960205
Suy luận loại chính xác kép resnet34	293.5
Suy luận loại chính xác gấp đôi resnet50	336.44991874694824
Suy luận loại chính xác kép resnet101	637.9982376098633
Suy luận loại chính xác kép resnet152	948.9351654052734
Suy luận loại chính xác kép resnext50_32x4d	372.80876636505127
Suy luận loại chính xác kép resnext101_32x8d	1385.09
Suy luận loại chính xác kép wide_resnet50_2	873.048791885376
Suy luận loại chính xác kép wide_resnet101_2	1729.2765426635742
Suy luận kiểu chính xác képdennet121	270.354
Suy luận kiểu chính xác képdensnet169	327.06
Suy luận loại chính xác gấp đôidennet201	414.733362197876
Suy luận kiểu chính xác képdennet161	766.3542318344116
Suy luận loại chính xác gấp đôi pinchnet1_0	74.86292839050293
Suy luận kiểu chính xác gấp đôi pinchnet1_1	34.04905319213867
Suy luận loại chính xác kép vgg11	576.3767147064209
Suy luận loại chính xác kép vgg11_bn	580.5839586257935
Suy luận loại chính xác kép vgg13	853.4365510940552
Suy luận loại chính xác kép vgg13_bn	860.39
Suy luận loại chính xác kép vgg16	1145.091052055359
Suy luận loại chính xác kép vgg16_bn	1152.8028392791748
Suy luận loại chính xác kép vgg19_bn	1444.9562692642212
Suy luận loại chính xác kép vgg19	1437.0987701416016
Suy luận loại chính xác kép mobilenet_v3_large	30.8763
Suy luận loại chính xác kép mobilenet_v3_small	11.234536170959473
Suy luận loại chính xác kép shufflenet_v2_x0_5	7.425284385681152
Suy luận kiểu chính xác kép shufflenet_v2_x1_0	18.25782299041748
Suy luận loại chính xác kép shufflenet_v2_x1_5	33.34946632385254
Suy luận kiểu chính xác kép shufflenet_v2_x2_0	57.84676551818848

RTX A4000 ADA

điểm chuẩn	Mô hình thời gian đào tạo trung bình
Đào tạo loại chính xác một nửa mnasnet0_5	20.2666
Đào tạo loại chính xác một nửa mnasnet0_75	21.445374488830566
Đào tạo loại chính xác một nửa mnasnet1_0	26.7625
Đào tạo loại chính xác một nửa mnasnet1_3	26.57
Đào tạo một nửa loại chính xác resnet18	19.624991416931152
Đào tạo một nửa độ chính xác loại resnet34	32.46446132659912
Đào tạo một nửa loại chính xác resnet50	57.332
Đào tạo một nửa loại chính xác resnet101	98.209
Đào tạo một nửa loại chính xác resnet152	138.967
Đào tạo một nửa loại chính xác resnext50_32x4d	75.56005001068115
Đào tạo một nửa loại chính xác resnext101_32x8d	228.8706636428833
Đào tạo loại chính xác một nửa wide_resnet50_2	113.76442432403564
Đào tạo loại chính xác một nửa wide_resnet101_2	204.838
Đào tạo một nửa loại chính xác densitynet121	68.97401332855225
Đào tạo một nửa loại chính xác densitynet169	85.957
Đào tạo một nửa loại chính xác densitynet201	103.299241065979
Đào tạo một nửa loại chính xác densitynet161	137.54578113555908
Đào tạo loại pinchnet bán chính xác1_0	16.729
Đào tạo loại pinchnet bán chính xác1_1	12.906527519226074
Đào tạo một nửa loại chính xác vgg11	51.7004919052124
Đào tạo loại chính xác một nửa vgg11_bn	57.63327598571777
Đào tạo một nửa loại chính xác vgg13	86.809
Đào tạo loại chính xác một nửa vgg13_bn	95.86676120758057
Đào tạo một nửa loại chính xác vgg16	102.918
Đào tạo loại chính xác một nửa vgg16_bn	113.74778270721436
Đào tạo loại chính xác một nửa vgg19_bn	131.56734943389893
Đào tạo một nửa loại chính xác vgg19	119.706
Đào tạo loại chính xác một nửa mobilenet_v3_large	31.30636692047119
Đào tạo loại chính xác một nửa mobilenet_v3_small	19.44464683532715
Đào tạo loại chính xác một nửa shufflenet_v2_x0_5	13.7766
Đào tạo loại chính xác một nửa shufflenet_v2_x1_0	23.608479499816895
Đào tạo loại chính xác một nửa shufflenet_v2_x1_5	26.793746948242188
Đào tạo loại chính xác một nửa shufflenet_v2_x2_0	24.550962448120117
Loại suy luận chính xác một nửa mnasnet0_5	4.4934
Suy luận loại chính xác một nửa mnasnet0_75	4.0253
Loại suy luận chính xác một nửa mnasnet1_0	4.42598819732666
Loại suy luận chính xác một nửa mnasnet1_3	4.6809
Suy luận một nửa chính xác loại resnet18	5.803341865539551
Suy luận một nửa loại chính xác resnet34	9.756693840026855
Suy luận một nửa loại chính xác resnet50	15.873079299926758
Suy luận một nửa chính xác loại resnet101	28.268003463745117
Suy luận một nửa chính xác loại resnet152	40.04594326019287
Suy luận một nửa loại chính xác resnext50_32x4d	19.53421115875244
Suy luận một nửa loại chính xác resnext101_32x8d	62.44826316833496
Suy luận loại chính xác một nửa wide_resnet50_2	33.533992767333984
Suy luận loại chính xác một nửa wide_resnet101_2	59.60897445678711
Suy luận nửa chính xác loại densitynet121	18.052735328674316
Suy luận nửa chính xác loại densitynet169	21.956982612609863
Suy luận một nửa loại chính xác densitynet201	27.851
Suy luận một nửa loại chính xác densitynet161	37.414
Suy luận loại chính xác một nửa pinchnet1_0	4.3978
Suy luận loại chính xác một nửa pinchnet1_1	2.42833
Suy luận loại chính xác một nửa vgg11	17.623
Suy luận loại chính xác một nửa vgg11_bn	18.40585231781006
Suy luận một nửa loại chính xác vgg13	28.4386
Suy luận loại chính xác một nửa vgg13_bn	30.672597885131836
Suy luận một nửa loại chính xác vgg16	34.43562984466553
Suy luận loại chính xác một nửa vgg16_bn	36.929
Suy luận loại chính xác một nửa vgg19_bn	43.1406
Suy luận loại chính xác một nửa vgg19	40.5385684967041
Suy luận loại chính xác một nửa mobilenet_v3_large	5.3507
Loại suy luận chính xác một nửa mobilenet_v3_small	4.0512
Suy luận loại chính xác một nửa shufflenet_v2_x0_5	5.0797
Suy luận loại chính xác một nửa shufflenet_v2_x1_0	5.5935
Suy luận loại chính xác một nửa shufflenet_v2_x1_5	5.649552345275879
Suy luận loại chính xác một nửa shufflenet_v2_x2_0	5.355663299560547
Đào tạo loại chính xác kép mnasnet0_5	50.2386999130249
Đào tạo loại chính xác kép mnasnet0_75	80.66896915435791
Đào tạo loại chính xác kép mnasnet1_0	103.32422733306885
Đào tạo loại chính xác kép mnasnet1_3	154.6230697631836
Đào tạo loại chính xác kép resnet18	337.94031620025635
Huấn luyện loại độ chính xác kép resnet34	677.7706575393677
Đào tạo loại chính xác gấp đôi resnet50	789.9243211746216
Đào tạo loại chính xác kép resnet101	1484.3351316452026
Đào tạo loại chính xác kép resnet152	2170.570478439331
Đào tạo loại chính xác gấp đôi resnext50_32x4d	877.37
Đào tạo loại chính xác gấp đôi resnext101_32x8d	3652.4944639205933
Đào tạo loại chính xác kép wide_resnet50_2	2154.6
Đào tạo loại chính xác kép wide_resnet101_2	4176.522083282471
Đào tạo loại chính xác kép densitynet121	607.8699731826782
Đào tạo loại chính xác kép densitynet169	744.6409797668457
Đào tạo loại chính xác kép densitynet201	962.677731513977
Đào tạo loại chính xác kép densitynet161	1759.772515296936
Đào tạo loại pinchnet chính xác gấp đôi1_0	164.3690824508667
Đào tạo loại pinchnet chính xác gấp đôi1_1	78.70647430419922
Đào tạo loại chính xác kép vgg11	1362.6095294952393
Đào tạo loại chính xác kép vgg11_bn	1387.2539138793945
Đào tạo loại chính xác kép vgg13	2006.0230445861816
Đào tạo loại chính xác kép vgg13_bn	2047.526364326477
Đào tạo loại chính xác kép vgg16	2702.2086429595947
Đào tạo loại chính xác kép vgg16_bn	2747.241234779358
Đào tạo loại chính xác kép vgg19_bn	3447.34
Đào tạo loại chính xác kép vgg19	3397.990345954895
Đào tạo loại chính xác kép mobilenet_v3_large	84.65698719024658
Đào tạo loại chính xác kép mobilenet_v3_small	29.8617
Đào tạo loại chính xác kép shufflenet_v2_x0_5	27.4073
Đào tạo loại chính xác kép shufflenet_v2_x1_0	48.322744369506836
Đào tạo loại chính xác kép shufflenet_v2_x1_5	82.224
Đào tạo loại chính xác kép shufflenet_v2_x2_0	141.7021369934082
Suy luận loại chính xác kép mnasnet0_5	12.988653182983398
Suy luận loại chính xác kép mnasnet0_75	22.4228
Suy luận loại chính xác kép mnasnet1_0	30.056486129760742
Suy luận loại chính xác kép mnasnet1_3	46.953935623168945
Suy luận loại chính xác kép resnet18	118.04479122161865
Suy luận loại chính xác kép resnet34	231.52336597442627
Suy luận loại chính xác kép resnet50	268.63497734069824
Suy luận loại chính xác kép resnet101	495.20
Suy luận loại chính xác kép resnet152	726.4922094345093
Suy luận loại chính xác kép resnext50_32x4d	291.47679328918457
Suy luận loại chính xác kép resnext101_32x8d	1055.
Suy luận loại chính xác kép wide_resnet50_2	690.69
Suy luận loại chính xác kép wide_resnet101_2	1347.5529861450195
Suy luận kiểu chính xác képdennet121	224.35829639434814
Suy luận kiểu chính xác képdensnet169	268.94
Suy luận loại chính xác gấp đôidennet201	343.51
Suy luận kiểu chính xác képdennet161	635.866231918335
Suy luận loại chính xác gấp đôi pinchnet1_0	61.92759037017822
Suy luận kiểu chính xác gấp đôi pinchnet1_1	27.0094
Suy luận loại chính xác kép vgg11	462.3375129699707
Suy luận loại chính xác kép vgg11_bn	468.4495782852173
Suy luận loại chính xác kép vgg13	692.82
Suy luận loại chính xác kép vgg13_bn	703.3538103103638
Suy luận loại chính xác kép vgg16	924.4353818893433
Suy luận loại chính xác kép vgg16_bn	936.5075063705444
Suy luận loại chính xác kép vgg19_bn	1169.098300933838
Suy luận loại chính xác kép vgg19	1156.3771772384644
Suy luận loại chính xác kép mobilenet_v3_large	24.2356014251709
Suy luận loại chính xác kép mobilenet_v3_small	8.85490894317627
Suy luận loại chính xác kép shufflenet_v2_x0_5	6.360034942626953
Suy luận kiểu chính xác kép shufflenet_v2_x1_0	14.3054
Suy luận loại chính xác kép shufflenet_v2_x1_5	24.863481521606445
Suy luận kiểu chính xác kép shufflenet_v2_x2_0	43.8505744934082

Phần kết luận

Card đồ họa mới đã được chứng minh là một giải pháp hiệu quả cho một số tác vụ công việc. Nhờ kích thước nhỏ gọn, nó lý tưởng cho các máy tính SFF (Small Form Factor) mạnh mẽ. Ngoài ra, điều đáng chú ý là 6.144 lõi CUDA và bộ nhớ 20 GB với bus 160 bit khiến thẻ này trở thành một trong những sản phẩm hiệu quả nhất trên thị trường. Hơn nữa, TDP thấp 70W giúp giảm thiểu chi phí điện năng tiêu thụ. Bốn cổng Mini-DisplayPort cho phép thẻ được sử dụng với nhiều màn hình hoặc như một giải pháp đồ họa đa kênh.

RTX 4000 SFF ADA thể hiện một bước tiến đáng kể so với các thế hệ trước, mang lại hiệu suất tương đương với một chiếc thẻ có mức tiêu thụ điện năng gấp đôi. Không có đầu nối nguồn PCIe, RTX 4000 SFF ADA dễ dàng tích hợp vào các máy trạm tiêu thụ điện năng thấp mà không làm giảm hiệu suất cao.