tests/assembly/nvptx-atomics.rs

   1 // assembly-output: ptx-linker
   2 // compile-flags: --crate-type cdylib
   3 // only-nvptx64
   4 // ignore-nvptx64
   5
   6 #![feature(abi_ptx, core_intrinsics)]
   7 #![no_std]
   8
   9 use core::intrinsics::*;
  10
  11 // aux-build: breakpoint-panic-handler.rs
  12 extern crate breakpoint_panic_handler;
  13
  14 // Currently, LLVM NVPTX backend can only emit atomic instructions with
  15 // `relaxed` (PTX default) ordering. But it's also useful to make sure
  16 // the backend won't fail with other orders. Apparently, the backend
  17 // doesn't support fences as well. As a workaround `llvm.nvvm.membar.*`
  18 // could work, and perhaps on the long run, all the atomic operations
  19 // should rather be provided by `core::arch::nvptx`.
  20
  21 // Also, PTX ISA doesn't have atomic `load`, `store` and `nand`.
  22
  23 // FIXME(denzp): add tests for `core::sync::atomic::*`.
  24
  25 #[no_mangle]
  26 pub unsafe extern "ptx-kernel" fn atomics_kernel(a: *mut u32) {
  27     // CHECK: atom.global.and.b32 %{{r[0-9]+}}, [%{{rd[0-9]+}}], 1;
  28     // CHECK: atom.global.and.b32 %{{r[0-9]+}}, [%{{rd[0-9]+}}], 1;
  29     atomic_and(a, 1);
  30     atomic_and_relaxed(a, 1);
  31
  32     // CHECK: atom.global.cas.b32 %{{r[0-9]+}}, [%{{rd[0-9]+}}], 1, 2;
  33     // CHECK: atom.global.cas.b32 %{{r[0-9]+}}, [%{{rd[0-9]+}}], 1, 2;
  34     atomic_cxchg(a, 1, 2);
  35     atomic_cxchg_relaxed(a, 1, 2);
  36
  37     // CHECK: atom.global.max.s32 %{{r[0-9]+}}, [%{{rd[0-9]+}}], 1;
  38     // CHECK: atom.global.max.s32 %{{r[0-9]+}}, [%{{rd[0-9]+}}], 1;
  39     atomic_max(a, 1);
  40     atomic_max_relaxed(a, 1);
  41
  42     // CHECK: atom.global.min.s32 %{{r[0-9]+}}, [%{{rd[0-9]+}}], 1;
  43     // CHECK: atom.global.min.s32 %{{r[0-9]+}}, [%{{rd[0-9]+}}], 1;
  44     atomic_min(a, 1);
  45     atomic_min_relaxed(a, 1);
  46
  47     // CHECK: atom.global.or.b32 %{{r[0-9]+}}, [%{{rd[0-9]+}}], 1;
  48     // CHECK: atom.global.or.b32 %{{r[0-9]+}}, [%{{rd[0-9]+}}], 1;
  49     atomic_or(a, 1);
  50     atomic_or_relaxed(a, 1);
  51
  52     // CHECK: atom.global.max.u32 %{{r[0-9]+}}, [%{{rd[0-9]+}}], 1;
  53     // CHECK: atom.global.max.u32 %{{r[0-9]+}}, [%{{rd[0-9]+}}], 1;
  54     atomic_umax(a, 1);
  55     atomic_umax_relaxed(a, 1);
  56
  57     // CHECK: atom.global.min.u32 %{{r[0-9]+}}, [%{{rd[0-9]+}}], 1;
  58     // CHECK: atom.global.min.u32 %{{r[0-9]+}}, [%{{rd[0-9]+}}], 1;
  59     atomic_umin(a, 1);
  60     atomic_umin_relaxed(a, 1);
  61
  62     // CHECK: atom.global.add.u32 %{{r[0-9]+}}, [%{{rd[0-9]+}}], 1;
  63     // CHECK: atom.global.add.u32 %{{r[0-9]+}}, [%{{rd[0-9]+}}], 1;
  64     atomic_xadd(a, 1);
  65     atomic_xadd_relaxed(a, 1);
  66
  67     // CHECK: atom.global.exch.b32 %{{r[0-9]+}}, [%{{rd[0-9]+}}], 1;
  68     // CHECK: atom.global.exch.b32 %{{r[0-9]+}}, [%{{rd[0-9]+}}], 1;
  69     atomic_xchg(a, 1);
  70     atomic_xchg_relaxed(a, 1);
  71
  72     // CHECK: atom.global.xor.b32 %{{r[0-9]+}}, [%{{rd[0-9]+}}], 1;
  73     // CHECK: atom.global.xor.b32 %{{r[0-9]+}}, [%{{rd[0-9]+}}], 1;
  74     atomic_xor(a, 1);
  75     atomic_xor_relaxed(a, 1);
  76
  77     // CHECK: mov.u32 %[[sub_0_arg:r[0-9]+]], 100;
  78     // CHECK: neg.s32 temp, %[[sub_0_arg]];
  79     // CHECK: atom.global.add.u32 %{{r[0-9]+}}, [%{{rd[0-9]+}}], temp;
  80     atomic_xsub(a, 100);
  81
  82     // CHECK: mov.u32 %[[sub_1_arg:r[0-9]+]], 200;
  83     // CHECK: neg.s32 temp, %[[sub_1_arg]];
  84     // CHECK: atom.global.add.u32 %{{r[0-9]+}}, [%{{rd[0-9]+}}], temp;
  85     atomic_xsub_relaxed(a, 200);
  86 }