OpenBLAS/kernel/loongarch64/sswap_lsx.S

#define ASSEMBLER

#include "common.h"
#define N      $r4
#define X      $r7
#define INCX   $r8
#define Y      $r9
#define INCY   $r10

#define I      $r17
#define TEMP   $r18
#define XX     $r5
#define YY     $r6
#define t1     $r14
#define t2     $r15
#define t3     $r16
#define t4     $r19
#define a1     $f12
#define a2     $f13
#define a3     $f14
#define a4     $f15
#define b1     $f16
#define b2     $f17
#define b3     $f18
#define b4     $f19
#define VX0    $vr12
#define VX1    $vr13
#define VX2    $vr14
#define VX3    $vr15


    PROLOGUE
    bge $r0, N, .L999
    li.d TEMP, 1
    slli.d  TEMP, TEMP, BASE_SHIFT
    slli.d  INCX, INCX, BASE_SHIFT
    slli.d  INCY, INCY, BASE_SHIFT
    srai.d I, N, 3
    bne INCX, TEMP, .L20
    bne INCY, TEMP, .L12 // INCX==1 and INCY!=1
    b .L11  // INCX==1 and INCY==1
.L20:
    bne INCY, TEMP, .L22 // INCX!=1 and INCY!=1
    b .L21 // INCX!=1 and INCY==1

.L11:
    bge $r0, I, .L112
    .align 3

.L111:
    vld VX0, X, 0 * SIZE
    vld VX1, X, 4 * SIZE
    vld VX2, Y, 0 * SIZE
    vld VX3, Y, 4 * SIZE
    addi.d  I, I, -1
    vst VX2, X, 0 * SIZE
    vst VX3, X, 4 * SIZE
    vst VX0, Y, 0 * SIZE
    vst VX1, Y, 4 * SIZE
    addi.d X, X, 8 * SIZE
    addi.d Y, Y, 8 * SIZE
    blt $r0, I, .L111
    .align 3

.L112:
    andi I, N, 7
    bge $r0, I, .L999
    .align 3

.L113:
    fld.s $f12, X, 0 * SIZE
    fld.s $f14, Y, 0 * SIZE
    addi.d I, I, -1
    fst.s $f12, Y, 0 * SIZE
    fst.s $f14, X, 0 * SIZE
    addi.d  X, X, SIZE
    addi.d  Y, Y, SIZE
    blt $r0, I, .L113
    b .L999
    .align 3

.L12: // INCX==1 and INCY!=1
    bge $r0, I, .L122
    .align 3

.L121:
    vld VX0, X, 0 * SIZE
    ld.w t1, Y, 0 * SIZE
    vstelm.w VX0, Y, 0, 0
    add.d Y, Y, INCY
    ld.w t2, Y, 0 * SIZE
    vstelm.w VX0, Y, 0, 1
    add.d Y, Y, INCY
    ld.w t3, Y, 0 * SIZE
    vstelm.w VX0, Y, 0, 2
    add.d Y, Y, INCY
    ld.w t4, Y, 0 * SIZE
    vstelm.w VX0, Y, 0, 3
    vinsgr2vr.w VX2, t1, 0
    vinsgr2vr.w VX2, t2, 1
    vinsgr2vr.w VX2, t3, 2
    vinsgr2vr.w VX2, t4, 3
    add.d Y, Y, INCY
    vst VX2, X, 0 * SIZE
    vld VX1, X, 4 * SIZE
    ld.w t1, Y, 0 * SIZE
    vstelm.w VX1, Y, 0, 0
    add.d Y, Y, INCY
    ld.w t2, Y, 0 * SIZE
    vstelm.w VX1, Y, 0, 1
    add.d Y, Y, INCY
    ld.w t3, Y, 0 * SIZE
    vstelm.w VX1, Y, 0, 2
    add.d Y, Y, INCY
    ld.w t4, Y, 0 * SIZE
    vstelm.w VX1, Y, 0, 3
    vinsgr2vr.w VX3, t1, 0
    vinsgr2vr.w VX3, t2, 1
    vinsgr2vr.w VX3, t3, 2
    vinsgr2vr.w VX3, t4, 3
    add.d Y, Y, INCY
    vst VX3, X, 4 * SIZE
    addi.d X, X, 8 * SIZE
    addi.d  I, I, -1
    blt $r0, I, .L121
    .align 3

.L122:
    andi I, N, 7
    bge $r0, I, .L999
    .align 3

.L123:
    fld.s $f12, X, 0 * SIZE
    fld.s $f14, Y, 0 * SIZE
    addi.d I, I, -1
    fst.s $f12, Y, 0 * SIZE
    fst.s $f14, X, 0 * SIZE
    addi.d  X, X, SIZE
    add.d  Y, Y, INCY
    blt $r0, I, .L123
    b .L999
    .align 3

.L21:// INCX!=1 and INCY==1
    bge $r0, I, .L212
    .align 3

.L211:
    vld VX2, Y, 0 * SIZE
    ld.w t1, X, 0 * SIZE
    vstelm.w VX2, X, 0, 0
    add.d X, X, INCX
    ld.w t2, X, 0 * SIZE
    vstelm.w VX2, X, 0, 1
    add.d X, X, INCY
    ld.w t3, X, 0 * SIZE
    vstelm.w VX2, X, 0, 2
    add.d X, X, INCX
    ld.w t4, X, 0 * SIZE
    vstelm.w VX2, X, 0, 3
    vinsgr2vr.w VX0, t1, 0
    vinsgr2vr.w VX0, t2, 1
    vinsgr2vr.w VX0, t3, 2
    vinsgr2vr.w VX0, t4, 3
    add.d X, X, INCX
    vst VX0, Y, 0 * SIZE
    vld VX3, Y, 4 * SIZE
    ld.w t1, X, 0 * SIZE
    vstelm.w VX3, X, 0, 0
    add.d X, X, INCY
    ld.w t2, X, 0 * SIZE
    vstelm.w VX3, X, 0, 1
    add.d X, X, INCX
    ld.w t3, X, 0 * SIZE
    vstelm.w VX3, X, 0, 2
    add.d X, X, INCX
    ld.w t4, X, 0 * SIZE
    vstelm.w VX3, X, 0, 3
    vinsgr2vr.w VX1, t1, 0
    vinsgr2vr.w VX1, t2, 1
    vinsgr2vr.w VX1, t3, 2
    vinsgr2vr.w VX1, t4, 3
    add.d X, X, INCX
    vst VX1, Y, 0 * SIZE
    addi.d Y, Y, 8 * SIZE
    addi.d  I, I, -1
    blt $r0, I, .L211
    .align 3

.L212:
    andi I, N, 7
    bge $r0, I, .L999
    .align 3

.L213:
    fld.s $f12, X, 0 * SIZE
    fld.s $f14, Y, 0 * SIZE
    addi.d I, I, -1
    fst.s $f12, Y, 0 * SIZE
    fst.s $f14, X, 0 * SIZE
    add.d  X, X, INCX
    addi.d  Y, Y, SIZE
    blt $r0, I, .L213
    b .L999
    .align 3

.L22:
    bge $r0, I, .L223
    .align 3
    move XX, X

.L222:
    fld.s a1, X, 0 * SIZE
    add.d X, X, INCX
    fld.s a2, X, 0 * SIZE
    add.d X, X, INCX
    fld.s a3, X, 0 * SIZE
    add.d X, X, INCX
    fld.s a4, X, 0 * SIZE
    add.d X, X, INCX
    fld.s b1, Y, 0 * SIZE
    fst.s a1, Y, 0 * SIZE
    add.d Y, Y, INCY
    fld.s b2, Y, 0 * SIZE
    fst.s a2, Y, 0 * SIZE
    add.d Y, Y, INCY
    fld.s b3, Y, 0 * SIZE
    fst.s a3, Y, 0 * SIZE
    add.d Y, Y, INCY
    fld.s b4, Y, 0 * SIZE
    fst.s a4, Y, 0 * SIZE
    add.d Y, Y, INCY
    fld.s a1, X, 0 * SIZE
    add.d X, X, INCX
    fst.s b1, XX, 0 * SIZE
    add.d XX, XX, INCX
    fld.s b1, Y, 0 * SIZE
    fst.s a1, Y, 0 * SIZE
    add.d Y, Y, INCY
    fld.s a2, X, 0 * SIZE
    add.d X, X, INCX
    fst.s b2, XX, 0 * SIZE
    add.d XX, XX, INCX
    fld.s b2, Y, 0 * SIZE
    fst.s a2, Y, 0 * SIZE
    add.d Y, Y, INCY
    fld.s a3, X, 0 * SIZE
    add.d X, X, INCX
    fst.s b3, XX, 0 * SIZE
    add.d XX, XX, INCX
    fld.s b3, Y, 0 * SIZE
    fst.s a3, Y, 0 * SIZE
    fld.s a4, X, 0 * SIZE
    add.d X, X, INCX
    fst.s b4, XX, 0 * SIZE
    add.d XX, XX, INCX
    fld.s b4, Y, 0 * SIZE
    fst.s a4, Y, 0 * SIZE
    add.d Y, Y, INCY
    fst.s b1, XX, 0 * SIZE
    add.d XX, XX, INCX
    fst.s b2, XX, 0 * SIZE
    add.d XX, XX, INCX
    fst.s b3, XX, 0 * SIZE
    add.d XX, XX, INCX
    fst.s b4, XX, 0 * SIZE
    add.d XX, XX, INCX
    addi.d  I, I, -1
    blt $r0, I, .L222
    .align 3

.L223:
    andi I, N, 7
    bge $r0, I, .L999
    .align 3

.L224:
    fld.s $f12, X, 0 * SIZE
    fld.s $f14, Y, 0 * SIZE
    addi.d I, I, -1
    fst.s $f12, Y, 0 * SIZE
    fst.s $f14, X, 0 * SIZE
    add.d  X, X, INCX
    add.d  Y, Y, INCY
    blt $r0, I, .L224
    .align 3

.L999:
    move $r4, $r12
    jirl $r0, $r1, 0x0
    .align 3

    EPILOGUE