Use ps instructions in cgemm.
This commit is contained in:
traz
parent
3c856c0c1a
commit
d238a768ab
|
|
@ -17,9 +17,13 @@ DGEMMOTCOPY = ../generic/gemm_tcopy_4.c
|
||||||
DGEMMONCOPYOBJ = dgemm_oncopy.o
|
DGEMMONCOPYOBJ = dgemm_oncopy.o
|
||||||
DGEMMOTCOPYOBJ = dgemm_otcopy.o
|
DGEMMOTCOPYOBJ = dgemm_otcopy.o
|
||||||
|
|
||||||
CGEMMKERNEL = cgemm_kernel_loongson3a_2x2.S
|
CGEMMKERNEL = cgemm_kernel_loongson3a_4x2_ps.S
|
||||||
|
CGEMMINCOPY = ../generic/zgemm_ncopy_4.c
|
||||||
|
CGEMMITCOPY = ../generic/zgemm_tcopy_4.c
|
||||||
CGEMMONCOPY = ../generic/zgemm_ncopy_2.c
|
CGEMMONCOPY = ../generic/zgemm_ncopy_2.c
|
||||||
CGEMMOTCOPY = ../generic/zgemm_tcopy_2.c
|
CGEMMOTCOPY = ../generic/zgemm_tcopy_2.c
|
||||||
|
CGEMMINCOPYOBJ = cgemm_incopy.o
|
||||||
|
CGEMMITCOPYOBJ = cgemm_itcopy.o
|
||||||
CGEMMONCOPYOBJ = cgemm_oncopy.o
|
CGEMMONCOPYOBJ = cgemm_oncopy.o
|
||||||
CGEMMOTCOPYOBJ = cgemm_otcopy.o
|
CGEMMOTCOPYOBJ = cgemm_otcopy.o
|
||||||
|
|
||||||
|
|
|
||||||
|
|
@ -0,0 +1,921 @@
|
||||||
|
##define REALNAME gemm
|
||||||
|
#define ASSEMBLER
|
||||||
|
#include "common.h"
|
||||||
|
|
||||||
|
#define FETCH ld
|
||||||
|
#define STACKSIZE 192
|
||||||
|
#define gsLQC1(base,fq,ft,offset) .word(0x32<<26|base<<21|ft<<16|0x1<<15|offset<<6|0x1<<5|fq)
|
||||||
|
#define gsSQC1(base,fq,ft,offset) .word(0x3A<<26|base<<21|ft<<16|0x1<<15|offset<<6|0x1<<5|fq)
|
||||||
|
|
||||||
|
|
||||||
|
##### Parameter registers ####
|
||||||
|
#define M $4
|
||||||
|
#define N $5
|
||||||
|
#define K $6
|
||||||
|
#define A $8
|
||||||
|
#define B $9
|
||||||
|
#define C $10
|
||||||
|
#define LDC $11
|
||||||
|
|
||||||
|
#### Pointer A, B, C ####
|
||||||
|
#define AO $12
|
||||||
|
#define BO $13
|
||||||
|
|
||||||
|
#define CO1 $14
|
||||||
|
#define CO2 $15
|
||||||
|
|
||||||
|
#define PREA $18
|
||||||
|
#define PREB $19
|
||||||
|
|
||||||
|
#### Used registers ####
|
||||||
|
#define A1 $f0
|
||||||
|
#define A2 $f1
|
||||||
|
#define A3 $f2
|
||||||
|
#define A4 $f3
|
||||||
|
#define A5 $f4
|
||||||
|
#define A6 $f5
|
||||||
|
#define A7 $f6
|
||||||
|
#define A8 $f7
|
||||||
|
|
||||||
|
#define B1 $f8
|
||||||
|
#define B2 $f9
|
||||||
|
#define B3 $f10
|
||||||
|
#define B4 $f11
|
||||||
|
#define B5 $f12
|
||||||
|
#define B6 $f13
|
||||||
|
#define B7 $f14
|
||||||
|
#define B8 $f15
|
||||||
|
|
||||||
|
#define C11 $f16
|
||||||
|
#define C12 $f17
|
||||||
|
#define C21 $f18
|
||||||
|
#define C22 $f19
|
||||||
|
#define C31 $f20
|
||||||
|
#define C32 $f21
|
||||||
|
#define C41 $f22
|
||||||
|
#define C42 $f23
|
||||||
|
#define C13 $f24
|
||||||
|
#define C14 $f25
|
||||||
|
#define C23 $f26
|
||||||
|
#define C24 $f27
|
||||||
|
#define C33 $f28
|
||||||
|
#define C34 $f29
|
||||||
|
#define C43 $f30
|
||||||
|
#define C44 $f31
|
||||||
|
|
||||||
|
#define I $2
|
||||||
|
#define J $3
|
||||||
|
#define L $7
|
||||||
|
|
||||||
|
#### Alpha register ####
|
||||||
|
#define ALPHA $f15
|
||||||
|
|
||||||
|
#define F31 31
|
||||||
|
#define F30 30
|
||||||
|
#define F29 29
|
||||||
|
#define F28 28
|
||||||
|
#define F27 27
|
||||||
|
#define F26 26
|
||||||
|
#define F25 25
|
||||||
|
#define F24 24
|
||||||
|
#define F23 23
|
||||||
|
#define F22 22
|
||||||
|
#define F21 21
|
||||||
|
#define F20 20
|
||||||
|
#define F19 19
|
||||||
|
#define F18 18
|
||||||
|
#define F17 17
|
||||||
|
#define F16 16
|
||||||
|
#define F15 15
|
||||||
|
#define F14 14
|
||||||
|
#define F13 13
|
||||||
|
#define F12 12
|
||||||
|
#define F11 11
|
||||||
|
#define F10 10
|
||||||
|
#define F9 9
|
||||||
|
#define F8 8
|
||||||
|
#define F7 7
|
||||||
|
#define F6 6
|
||||||
|
#define F5 5
|
||||||
|
#define F4 4
|
||||||
|
#define F3 3
|
||||||
|
#define F2 2
|
||||||
|
#define F1 1
|
||||||
|
#define F0 0
|
||||||
|
|
||||||
|
#define R12 12
|
||||||
|
#define R13 13
|
||||||
|
|
||||||
|
#define R14 14
|
||||||
|
#define R15 15
|
||||||
|
#define R16 16
|
||||||
|
#define R17 17
|
||||||
|
|
||||||
|
#if defined(TRMMKERNEL)
|
||||||
|
#define OFFSET $23
|
||||||
|
#define KK $24
|
||||||
|
#define TEMP $25
|
||||||
|
#endif
|
||||||
|
|
||||||
|
|
||||||
|
PROLOGUE
|
||||||
|
|
||||||
|
daddiu $sp,$sp,-STACKSIZE
|
||||||
|
|
||||||
|
sd $16, 0($sp)
|
||||||
|
sd $17, 8($sp)
|
||||||
|
sd $18, 16($sp)
|
||||||
|
sd $19, 24($sp)
|
||||||
|
sd $20, 32($sp)
|
||||||
|
sd $21, 40($sp)
|
||||||
|
sd $22, 48($sp)
|
||||||
|
|
||||||
|
ST $f24, 56($sp)
|
||||||
|
ST $f25, 64($sp)
|
||||||
|
ST $f26, 72($sp)
|
||||||
|
ST $f27, 80($sp)
|
||||||
|
ST $f28, 88($sp)
|
||||||
|
|
||||||
|
#if defined(TRMMKERNEL)
|
||||||
|
sd $23, 96($sp)
|
||||||
|
sd $24, 104($sp)
|
||||||
|
sd $25, 112($sp)
|
||||||
|
|
||||||
|
LDARG OFFSET, 160($sp)
|
||||||
|
#endif
|
||||||
|
|
||||||
|
#ifndef __64BIT__
|
||||||
|
ST $f20,120($sp)
|
||||||
|
ST $f21,128($sp)
|
||||||
|
ST $f22,136($sp)
|
||||||
|
ST $f23,144($sp)
|
||||||
|
#endif
|
||||||
|
|
||||||
|
.align 4
|
||||||
|
.L2:
|
||||||
|
dsra J, N, 1 # NR=2
|
||||||
|
ST $f15, 152($sp)
|
||||||
|
|
||||||
|
dsll LDC, LDC, ZBASE_SHIFT# LDC*SIZE
|
||||||
|
blez J, .L1
|
||||||
|
ST $f16, 160($sp)
|
||||||
|
|
||||||
|
.L24:
|
||||||
|
dsra I, M, 2 # MR=8
|
||||||
|
move AO, A # Reset A
|
||||||
|
move CO1, C
|
||||||
|
|
||||||
|
daddu CO2, C, LDC
|
||||||
|
blez I, .L22
|
||||||
|
daddu C, CO2, LDC
|
||||||
|
|
||||||
|
.align 4
|
||||||
|
.L241:
|
||||||
|
move BO, B # Reset B
|
||||||
|
dsra L, K, 2 # UnRoll K=64
|
||||||
|
|
||||||
|
MTC $0, C11 # CLEAR REAULTS REGISTERS
|
||||||
|
MOV C12, C11
|
||||||
|
|
||||||
|
MOV C21, C11
|
||||||
|
MOV C22, C11
|
||||||
|
|
||||||
|
MOV C31, C11
|
||||||
|
MOV C32, C11
|
||||||
|
gsLQC1(R13, F9, F8, 0) # B1 B2
|
||||||
|
|
||||||
|
MOV C41, C11
|
||||||
|
MOV C42, C11
|
||||||
|
gsLQC1(R12, F1, F0, 0) # A1 A2
|
||||||
|
|
||||||
|
MOV C13, C11
|
||||||
|
MOV C14, C11
|
||||||
|
gsLQC1(R12, F3, F2, 1) # A3 A4
|
||||||
|
|
||||||
|
MOV C23, C11
|
||||||
|
FETCH $0, 0 * SIZE(CO1)
|
||||||
|
MOV C24, C11
|
||||||
|
FETCH $0, 4 * SIZE(CO1)
|
||||||
|
|
||||||
|
MOV C33, C11
|
||||||
|
FETCH $0, 0 * SIZE(CO2)
|
||||||
|
MOV C34, C11
|
||||||
|
FETCH $0, 4 * SIZE(CO2)
|
||||||
|
|
||||||
|
MOV C43, C11
|
||||||
|
PLU B3, B1, B1
|
||||||
|
|
||||||
|
MOV C44, C11
|
||||||
|
blez L, .L242
|
||||||
|
PLU B4, B2, B2
|
||||||
|
|
||||||
|
.L2410:
|
||||||
|
daddiu L, L, -1
|
||||||
|
gsLQC1(R13, F13, F12, 1) # B3 B4
|
||||||
|
MADPS C11, C11, A1, B1
|
||||||
|
MADPS C21, C21, A2, B1
|
||||||
|
|
||||||
|
gsLQC1(R12, F5, F4, 2) # A5 A6
|
||||||
|
MADPS C12, C12, A1, B2
|
||||||
|
MADPS C22, C22, A2, B2
|
||||||
|
|
||||||
|
gsLQC1(R12, F7, F6, 3) # A7 A8
|
||||||
|
MADPS C31, C31, A3, B1
|
||||||
|
MADPS C41, C41, A4, B1
|
||||||
|
|
||||||
|
MADPS C32, C32, A3, B2
|
||||||
|
MADPS C42, C42, A4, B2
|
||||||
|
|
||||||
|
MADPS C13, C13, A1, B3
|
||||||
|
MADPS C23, C23, A2, B3
|
||||||
|
|
||||||
|
MADPS C33, C33, A3, B3
|
||||||
|
MADPS C43, C43, A4, B3
|
||||||
|
|
||||||
|
MADPS C14, C14, A1, B4
|
||||||
|
PLU B7, B5, B5
|
||||||
|
|
||||||
|
MADPS C24, C24, A2, B4
|
||||||
|
PLU B8, B6, B6
|
||||||
|
|
||||||
|
MADPS C34, C34, A3, B4
|
||||||
|
MADPS C44, C44, A4, B4
|
||||||
|
|
||||||
|
gsLQC1(R13, F9, F8, 2) # B1 B2
|
||||||
|
MADPS C11, C11, A5, B5
|
||||||
|
MADPS C21, C21, A6, B5
|
||||||
|
|
||||||
|
gsLQC1(R12, F1, F0, 4) # A1 A2
|
||||||
|
MADPS C12, C12, A5, B6
|
||||||
|
MADPS C22, C22, A6, B6
|
||||||
|
|
||||||
|
gsLQC1(R12, F3, F2, 5) # A3 A4
|
||||||
|
MADPS C31, C31, A7, B5
|
||||||
|
MADPS C41, C41, A8, B5
|
||||||
|
|
||||||
|
MADPS C32, C32, A7, B6
|
||||||
|
MADPS C42, C42, A8, B6
|
||||||
|
|
||||||
|
MADPS C13, C13, A5, B7
|
||||||
|
MADPS C23, C23, A6, B7
|
||||||
|
|
||||||
|
MADPS C33, C33, A7, B7
|
||||||
|
MADPS C43, C43, A8, B7
|
||||||
|
|
||||||
|
MADPS C14, C14, A5, B8
|
||||||
|
PLU B3, B1, B1
|
||||||
|
|
||||||
|
MADPS C24, C24, A6, B8
|
||||||
|
PLU B4, B2, B2
|
||||||
|
|
||||||
|
MADPS C34, C34, A7, B8
|
||||||
|
MADPS C44, C44, A8, B8
|
||||||
|
|
||||||
|
gsLQC1(R13, F13, F12, 3) # B3 B4
|
||||||
|
MADPS C11, C11, A1, B1
|
||||||
|
MADPS C21, C21, A2, B1
|
||||||
|
|
||||||
|
gsLQC1(R12, F5, F4, 6) # A5 A6
|
||||||
|
MADPS C12, C12, A1, B2
|
||||||
|
MADPS C22, C22, A2, B2
|
||||||
|
|
||||||
|
gsLQC1(R12, F7, F6, 7) # A7 A8
|
||||||
|
MADPS C31, C31, A3, B1
|
||||||
|
daddiu BO, BO, 16 * SIZE # 4KR*4NR
|
||||||
|
MADPS C41, C41, A4, B1
|
||||||
|
|
||||||
|
MADPS C32, C32, A3, B2
|
||||||
|
MADPS C42, C42, A4, B2
|
||||||
|
daddiu AO, AO, 32 * SIZE # 4KR*8MR
|
||||||
|
|
||||||
|
MADPS C13, C13, A1, B3
|
||||||
|
MADPS C23, C23, A2, B3
|
||||||
|
|
||||||
|
MADPS C33, C33, A3, B3
|
||||||
|
MADPS C43, C43, A4, B3
|
||||||
|
|
||||||
|
MADPS C14, C14, A1, B4
|
||||||
|
PLU B7, B5, B5
|
||||||
|
|
||||||
|
MADPS C24, C24, A2, B4
|
||||||
|
PLU B8, B6, B6
|
||||||
|
|
||||||
|
MADPS C34, C34, A3, B4
|
||||||
|
MADPS C44, C44, A4, B4
|
||||||
|
|
||||||
|
gsLQC1(R13, F9, F8, 0) # B1 B2
|
||||||
|
MADPS C11, C11, A5, B5
|
||||||
|
MADPS C21, C21, A6, B5
|
||||||
|
|
||||||
|
gsLQC1(R12, F1, F0, 0) # A1 A2
|
||||||
|
MADPS C12, C12, A5, B6
|
||||||
|
MADPS C22, C22, A6, B6
|
||||||
|
|
||||||
|
gsLQC1(R12, F3, F2, 1) # A3 A4
|
||||||
|
MADPS C31, C31, A7, B5
|
||||||
|
MADPS C41, C41, A8, B5
|
||||||
|
|
||||||
|
MADPS C32, C32, A7, B6
|
||||||
|
MADPS C42, C42, A8, B6
|
||||||
|
|
||||||
|
MADPS C13, C13, A5, B7
|
||||||
|
MADPS C23, C23, A6, B7
|
||||||
|
|
||||||
|
MADPS C33, C33, A7, B7
|
||||||
|
MADPS C43, C43, A8, B7
|
||||||
|
|
||||||
|
MADPS C14, C14, A5, B8
|
||||||
|
PLU B3, B1, B1
|
||||||
|
|
||||||
|
MADPS C24, C24, A6, B8
|
||||||
|
PLU B4, B2, B2
|
||||||
|
|
||||||
|
MADPS C34, C34, A7, B8
|
||||||
|
bgtz L, .L2410
|
||||||
|
MADPS C44, C44, A8, B8
|
||||||
|
|
||||||
|
|
||||||
|
.align 4
|
||||||
|
.L242:
|
||||||
|
andi L, K, 2
|
||||||
|
blez L, .L247
|
||||||
|
NOP
|
||||||
|
|
||||||
|
.align 4
|
||||||
|
.L247:
|
||||||
|
andi L, K, 1
|
||||||
|
blez L, .L240
|
||||||
|
NOP
|
||||||
|
|
||||||
|
|
||||||
|
.align 4
|
||||||
|
.L240: # Write Back
|
||||||
|
daddiu I, I, -1
|
||||||
|
CVTU A1, C11
|
||||||
|
CVTU A2, C21
|
||||||
|
|
||||||
|
CVTU A3, C31
|
||||||
|
CVTU A4, C41
|
||||||
|
|
||||||
|
CVTU A5, C13
|
||||||
|
CVTU A6, C23
|
||||||
|
|
||||||
|
CVTU A7, C33
|
||||||
|
CVTU A8, C43
|
||||||
|
|
||||||
|
CVTU B1, C12
|
||||||
|
CVTU B2, C22
|
||||||
|
|
||||||
|
CVTU B3, C32
|
||||||
|
CVTU B4, C42
|
||||||
|
|
||||||
|
CVTU B5, C14
|
||||||
|
CVTU B6, C24
|
||||||
|
|
||||||
|
CVTU B7, C34
|
||||||
|
CVTU B8, C44
|
||||||
|
|
||||||
|
#if defined(NN) || defined(NT) || defined(TN) || defined(TT)
|
||||||
|
/* (a + bi) * (c + di) */
|
||||||
|
SUB C11, C11, A1 # ac'+'bd
|
||||||
|
SUB C21, C21, A2
|
||||||
|
LD A1, 152($sp) # load alpha_r
|
||||||
|
# LD A1, 0 * SIZE(A) # load alpha_r
|
||||||
|
SUB C31, C31, A3
|
||||||
|
LD A2, 160($sp) # load alpha_i
|
||||||
|
# LD A2, 0 * SIZE(A) # load alpha_i
|
||||||
|
|
||||||
|
SUB C41, C41, A4
|
||||||
|
ADD C13, A5, C13 # ad'+'cb
|
||||||
|
ADD C23, A6, C23
|
||||||
|
ADD C33, A7, C33
|
||||||
|
ADD C43, A8, C43
|
||||||
|
SUB C12, C12, B1
|
||||||
|
SUB C22, C22, B2
|
||||||
|
SUB C32, C32, B3
|
||||||
|
SUB C42, C42, B4
|
||||||
|
ADD C14, B5, C14
|
||||||
|
ADD C24, B6, C24
|
||||||
|
ADD C34, B7, C34
|
||||||
|
ADD C44, B8, C44
|
||||||
|
|
||||||
|
LD B1, 0 * SIZE(CO1)
|
||||||
|
LD B3, 2 * SIZE(CO1)
|
||||||
|
LD B5, 4 * SIZE(CO1)
|
||||||
|
LD B7, 6 * SIZE(CO1)
|
||||||
|
LD B2, 1 * SIZE(CO1)
|
||||||
|
LD B4, 3 * SIZE(CO1)
|
||||||
|
LD B6, 5 * SIZE(CO1)
|
||||||
|
LD B8, 7 * SIZE(CO1)
|
||||||
|
|
||||||
|
MADD B1, B1, C11, A1 # A1 = alpha_r
|
||||||
|
MADD B3, B3, C21, A1
|
||||||
|
MADD B5, B5, C31, A1
|
||||||
|
MADD B7, B7, C41, A1
|
||||||
|
MADD B2, B2, C13, A1
|
||||||
|
MADD B4, B4, C23, A1
|
||||||
|
MADD B6, B6, C33, A1
|
||||||
|
MADD B8, B8, C43, A1
|
||||||
|
NMSUB B1, B1, C13, A2 # A2 = alpha_i
|
||||||
|
|
||||||
|
NMSUB B3, B3, C23, A2
|
||||||
|
NMSUB B5, B5, C33, A2
|
||||||
|
|
||||||
|
NMSUB B7, B7, C43, A2
|
||||||
|
MADD B2, B2, C11, A2
|
||||||
|
|
||||||
|
MADD B4, B4, C21, A2
|
||||||
|
MADD B6, B6, C31, A2
|
||||||
|
MADD B8, B8, C41, A2
|
||||||
|
|
||||||
|
LD C13, 0 * SIZE(CO2)
|
||||||
|
LD C23, 2 * SIZE(CO2)
|
||||||
|
LD C33, 4 * SIZE(CO2)
|
||||||
|
LD C43, 6 * SIZE(CO2)
|
||||||
|
LD C11, 1 * SIZE(CO2)
|
||||||
|
LD C21, 3 * SIZE(CO2)
|
||||||
|
LD C31, 5 * SIZE(CO2)
|
||||||
|
LD C41, 7 * SIZE(CO2)
|
||||||
|
|
||||||
|
MADD C13, C13, C12, A1
|
||||||
|
MADD C23, C23, C22, A1
|
||||||
|
|
||||||
|
MADD C33, C33, C32, A1
|
||||||
|
ST B1, 0 * SIZE(CO1)
|
||||||
|
|
||||||
|
MADD C43, C43, C42, A1
|
||||||
|
ST B3, 2 * SIZE(CO1)
|
||||||
|
|
||||||
|
MADD C11, C11, C14, A1
|
||||||
|
ST B5, 4 * SIZE(CO1)
|
||||||
|
|
||||||
|
MADD C21, C21, C24, A1
|
||||||
|
ST B7, 6 * SIZE(CO1)
|
||||||
|
|
||||||
|
MADD C31, C31, C34, A1
|
||||||
|
ST B2, 1 * SIZE(CO1)
|
||||||
|
|
||||||
|
MADD C41, C41, C44, A1
|
||||||
|
ST B4, 3 * SIZE(CO1)
|
||||||
|
|
||||||
|
NMSUB C13, C13, C14, A2
|
||||||
|
ST B6, 5 * SIZE(CO1)
|
||||||
|
|
||||||
|
NMSUB C23, C23, C24, A2
|
||||||
|
ST B8, 7 * SIZE(CO1)
|
||||||
|
|
||||||
|
NMSUB C33, C33, C34, A2
|
||||||
|
NMSUB C43, C43, C44, A2
|
||||||
|
|
||||||
|
MADD C11, C11, C12, A2
|
||||||
|
MADD C21, C21, C22, A2
|
||||||
|
|
||||||
|
MADD C31, C31, C32, A2
|
||||||
|
MADD C41, C41, C42, A2
|
||||||
|
|
||||||
|
ST C13, 0 * SIZE(CO2)
|
||||||
|
ST C23, 2 * SIZE(CO2)
|
||||||
|
ST C33, 4 * SIZE(CO2)
|
||||||
|
ST C43, 6 * SIZE(CO2)
|
||||||
|
ST C11, 1 * SIZE(CO2)
|
||||||
|
ST C21, 3 * SIZE(CO2)
|
||||||
|
ST C31, 5 * SIZE(CO2)
|
||||||
|
ST C41, 7 * SIZE(CO2)
|
||||||
|
#endif
|
||||||
|
|
||||||
|
#if defined(NR) || defined(NC) || defined(TR) || defined(TC)
|
||||||
|
/* (a + bi) * (c - di) */
|
||||||
|
ADD C11, A1, C11 # ac'+'bd
|
||||||
|
ADD C21, A2, C21
|
||||||
|
# LD A1, 0 * SIZE(A) # load alpha_r
|
||||||
|
LD A1, 152($sp) # load alpha_r
|
||||||
|
|
||||||
|
ADD C31, A3, C31
|
||||||
|
LD A2, 160($sp) # load alpha_i
|
||||||
|
# LD A2, 0 * SIZE(A) # load alpha_r
|
||||||
|
|
||||||
|
ADD C41, A4, C41
|
||||||
|
LD B1, 0 * SIZE(CO1)
|
||||||
|
|
||||||
|
SUB C13, A5, C13 # ad'+'cb
|
||||||
|
LD B3, 2 * SIZE(CO1)
|
||||||
|
|
||||||
|
SUB C23, A6, C23
|
||||||
|
LD B5, 4 * SIZE(CO1)
|
||||||
|
|
||||||
|
SUB C33, A7, C33
|
||||||
|
LD B7, 6 * SIZE(CO1)
|
||||||
|
|
||||||
|
SUB C43, A8, C43
|
||||||
|
LD B2, 1 * SIZE(CO1)
|
||||||
|
|
||||||
|
ADD C12, B1, C12
|
||||||
|
LD B4, 3 * SIZE(CO1)
|
||||||
|
|
||||||
|
ADD C22, B2, C22
|
||||||
|
LD B6, 5 * SIZE(CO1)
|
||||||
|
|
||||||
|
ADD C32, B3, C32
|
||||||
|
LD B8, 7 * SIZE(CO1)
|
||||||
|
|
||||||
|
ADD C42, B4, C42
|
||||||
|
MADD B1, B1, C11, A1 # A1 = alpha_r
|
||||||
|
|
||||||
|
SUB C14, B5, C14
|
||||||
|
MADD B3, B3, C21, A1
|
||||||
|
|
||||||
|
SUB C24, B6, C24
|
||||||
|
MADD B5, B5, C31, A1
|
||||||
|
|
||||||
|
SUB C34, B7, C34
|
||||||
|
MADD B7, B7, C41, A1
|
||||||
|
|
||||||
|
SUB C44, B8, C44
|
||||||
|
MADD B2, B2, C13, A1
|
||||||
|
|
||||||
|
MADD B4, B4, C23, A1
|
||||||
|
MADD B6, B6, C33, A1
|
||||||
|
|
||||||
|
MADD B8, B8, C43, A1
|
||||||
|
NMSUB B1, B1, C13, A2 # A2 = alpha_i
|
||||||
|
|
||||||
|
NMSUB B3, B3, C23, A2
|
||||||
|
NMSUB B5, B5, C33, A2
|
||||||
|
LD C13, 0 * SIZE(CO2)
|
||||||
|
|
||||||
|
NMSUB B7, B7, C43, A2
|
||||||
|
MADD B2, B2, C11, A2
|
||||||
|
LD C23, 2 * SIZE(CO2)
|
||||||
|
|
||||||
|
MADD B4, B4, C12, A2
|
||||||
|
MADD B6, B6, C13, A2
|
||||||
|
LD C33, 4 * SIZE(CO2)
|
||||||
|
|
||||||
|
MADD B8, B8, C14, A2
|
||||||
|
LD C43, 6 * SIZE(CO2)
|
||||||
|
|
||||||
|
LD C11, 1 * SIZE(CO2)
|
||||||
|
LD C21, 3 * SIZE(CO2)
|
||||||
|
LD C31, 5 * SIZE(CO2)
|
||||||
|
MADD C13, C13, C12, A1
|
||||||
|
|
||||||
|
LD C41, 7 * SIZE(CO2)
|
||||||
|
MADD C23, C23, C22, A1
|
||||||
|
|
||||||
|
MADD C33, C33, C32, A1
|
||||||
|
ST B1, 0 * SIZE(CO1)
|
||||||
|
|
||||||
|
MADD C43, C43, C42, A1
|
||||||
|
ST B3, 2 * SIZE(CO1)
|
||||||
|
|
||||||
|
MADD C11, C11, C14, A1
|
||||||
|
ST B5, 4 * SIZE(CO1)
|
||||||
|
|
||||||
|
MADD C21, C21, C24, A1
|
||||||
|
ST B7, 6 * SIZE(CO1)
|
||||||
|
|
||||||
|
MADD C31, C31, C34, A1
|
||||||
|
ST B2, 1 * SIZE(CO1)
|
||||||
|
|
||||||
|
MADD C41, C41, C44, A1
|
||||||
|
ST B4, 3 * SIZE(CO1)
|
||||||
|
|
||||||
|
NMSUB C13, C13, C14, A2
|
||||||
|
ST B6, 5 * SIZE(CO1)
|
||||||
|
|
||||||
|
NMSUB C23, C23, C24, A2
|
||||||
|
ST B8, 7 * SIZE(CO1)
|
||||||
|
|
||||||
|
NMSUB C33, C33, C34, A2
|
||||||
|
NMSUB C43, C43, C44, A2
|
||||||
|
|
||||||
|
MADD C11, C11, C12, A2
|
||||||
|
MADD C21, C21, C22, A2
|
||||||
|
|
||||||
|
MADD C31, C31, C32, A2
|
||||||
|
MADD C41, C41, C42, A2
|
||||||
|
|
||||||
|
ST C13, 0 * SIZE(CO2)
|
||||||
|
ST C23, 2 * SIZE(CO2)
|
||||||
|
ST C33, 4 * SIZE(CO2)
|
||||||
|
ST C43, 6 * SIZE(CO2)
|
||||||
|
ST C11, 1 * SIZE(CO2)
|
||||||
|
ST C21, 3 * SIZE(CO2)
|
||||||
|
ST C31, 5 * SIZE(CO2)
|
||||||
|
ST C41, 7 * SIZE(CO2)
|
||||||
|
|
||||||
|
#endif
|
||||||
|
|
||||||
|
#if defined(RN) || defined(RT) || defined(CN) || defined(CT)
|
||||||
|
/* (a - bi) * (c + di) */
|
||||||
|
ADD C11, A1, C11 # ac'+'bd
|
||||||
|
ADD C21, A2, C21
|
||||||
|
# LD A1, 0 * SIZE(A) # load alpha_r
|
||||||
|
LD A1, 152($sp) # load alpha_r
|
||||||
|
|
||||||
|
ADD C31, A3, C31
|
||||||
|
# LD A2, 0 * SIZE(A) # load alpha_r
|
||||||
|
LD A2, 160($sp) # load alpha_i
|
||||||
|
|
||||||
|
ADD C41, A4, C41
|
||||||
|
LD B1, 0 * SIZE(CO1)
|
||||||
|
|
||||||
|
SUB C13, C13, A5 # ad'+'cb
|
||||||
|
LD B3, 2 * SIZE(CO1)
|
||||||
|
|
||||||
|
SUB C23, C23, A6
|
||||||
|
LD B5, 4 * SIZE(CO1)
|
||||||
|
|
||||||
|
SUB C33, C33, A7
|
||||||
|
LD B7, 6 * SIZE(CO1)
|
||||||
|
|
||||||
|
SUB C43, C43, A8
|
||||||
|
LD B2, 1 * SIZE(CO1)
|
||||||
|
|
||||||
|
ADD C12, B1, C12
|
||||||
|
LD B4, 3 * SIZE(CO1)
|
||||||
|
|
||||||
|
ADD C22, B2, C22
|
||||||
|
LD B6, 5 * SIZE(CO1)
|
||||||
|
|
||||||
|
ADD C32, B3, C32
|
||||||
|
LD B8, 7 * SIZE(CO1)
|
||||||
|
|
||||||
|
ADD C42, B4, C42
|
||||||
|
MADD B1, B1, C11, A1 # A1 = alpha_r
|
||||||
|
|
||||||
|
SUB C14, C14, B5
|
||||||
|
MADD B3, B3, C21, A1
|
||||||
|
|
||||||
|
SUB C24, C24, B6
|
||||||
|
MADD B5, B5, C31, A1
|
||||||
|
|
||||||
|
SUB C34, C34, B7
|
||||||
|
MADD B7, B7, C41, A1
|
||||||
|
|
||||||
|
SUB C44, C44, B8
|
||||||
|
MADD B2, B2, C13, A1
|
||||||
|
|
||||||
|
MADD B4, B4, C23, A1
|
||||||
|
MADD B6, B6, C33, A1
|
||||||
|
|
||||||
|
MADD B8, B8, C43, A1
|
||||||
|
NMSUB B1, B1, C13, A2 # A2 = alpha_i
|
||||||
|
|
||||||
|
NMSUB B3, B3, C23, A2
|
||||||
|
NMSUB B5, B5, C33, A2
|
||||||
|
LD C13, 0 * SIZE(CO2)
|
||||||
|
|
||||||
|
NMSUB B7, B7, C43, A2
|
||||||
|
MADD B2, B2, C11, A2
|
||||||
|
LD C23, 2 * SIZE(CO2)
|
||||||
|
|
||||||
|
MADD B4, B4, C12, A2
|
||||||
|
MADD B6, B6, C13, A2
|
||||||
|
LD C33, 4 * SIZE(CO2)
|
||||||
|
|
||||||
|
MADD B8, B8, C14, A2
|
||||||
|
LD C43, 6 * SIZE(CO2)
|
||||||
|
|
||||||
|
LD C11, 1 * SIZE(CO2)
|
||||||
|
LD C21, 3 * SIZE(CO2)
|
||||||
|
LD C31, 5 * SIZE(CO2)
|
||||||
|
MADD C13, C13, C12, A1
|
||||||
|
|
||||||
|
LD C41, 7 * SIZE(CO2)
|
||||||
|
MADD C23, C23, C22, A1
|
||||||
|
|
||||||
|
MADD C33, C33, C32, A1
|
||||||
|
ST B1, 0 * SIZE(CO1)
|
||||||
|
|
||||||
|
MADD C43, C43, C42, A1
|
||||||
|
ST B3, 2 * SIZE(CO1)
|
||||||
|
|
||||||
|
MADD C11, C11, C14, A1
|
||||||
|
ST B5, 4 * SIZE(CO1)
|
||||||
|
|
||||||
|
MADD C21, C21, C24, A1
|
||||||
|
ST B7, 6 * SIZE(CO1)
|
||||||
|
|
||||||
|
MADD C31, C31, C34, A1
|
||||||
|
ST B2, 1 * SIZE(CO1)
|
||||||
|
|
||||||
|
MADD C41, C41, C44, A1
|
||||||
|
ST B4, 3 * SIZE(CO1)
|
||||||
|
|
||||||
|
NMSUB C13, C13, C14, A2
|
||||||
|
ST B6, 5 * SIZE(CO1)
|
||||||
|
|
||||||
|
NMSUB C23, C23, C24, A2
|
||||||
|
ST B8, 7 * SIZE(CO1)
|
||||||
|
|
||||||
|
NMSUB C33, C33, C34, A2
|
||||||
|
NMSUB C43, C43, C44, A2
|
||||||
|
|
||||||
|
MADD C11, C11, C12, A2
|
||||||
|
MADD C21, C21, C22, A2
|
||||||
|
|
||||||
|
MADD C31, C31, C32, A2
|
||||||
|
MADD C41, C41, C42, A2
|
||||||
|
|
||||||
|
ST C13, 0 * SIZE(CO2)
|
||||||
|
ST C23, 2 * SIZE(CO2)
|
||||||
|
ST C33, 4 * SIZE(CO2)
|
||||||
|
ST C43, 6 * SIZE(CO2)
|
||||||
|
ST C11, 1 * SIZE(CO2)
|
||||||
|
ST C21, 3 * SIZE(CO2)
|
||||||
|
ST C31, 5 * SIZE(CO2)
|
||||||
|
ST C41, 7 * SIZE(CO2)
|
||||||
|
|
||||||
|
#endif
|
||||||
|
|
||||||
|
#if defined(RR) || defined(RC) || defined(CR) || defined(CC)
|
||||||
|
/* (a - bi) * (c - di) */
|
||||||
|
SUB C11, A1, C11 # ac'+'bd
|
||||||
|
SUB C21, A2, C21
|
||||||
|
LD A1, 152($sp) # load alpha_r
|
||||||
|
# LD A1, 0 * SIZE(A) # load alpha_r
|
||||||
|
|
||||||
|
SUB C31, A3, C31
|
||||||
|
# LD A2, 0 * SIZE(A) # load alpha_i
|
||||||
|
LD A2, 160($sp)
|
||||||
|
|
||||||
|
SUB C41, A4, C41
|
||||||
|
LD B1, 0 * SIZE(CO1)
|
||||||
|
|
||||||
|
ADD C13, A5, C13 # ad'+'cb
|
||||||
|
LD B3, 2 * SIZE(CO1)
|
||||||
|
|
||||||
|
ADD C23, A6, C23
|
||||||
|
LD B5, 4 * SIZE(CO1)
|
||||||
|
|
||||||
|
ADD C33, A7, C33
|
||||||
|
LD B7, 6 * SIZE(CO1)
|
||||||
|
|
||||||
|
ADD C43, A8, C43
|
||||||
|
LD B2, 1 * SIZE(CO1)
|
||||||
|
|
||||||
|
SUB C12, B1, C12
|
||||||
|
LD B4, 3 * SIZE(CO1)
|
||||||
|
|
||||||
|
SUB C22, B2, C22
|
||||||
|
LD B6, 5 * SIZE(CO1)
|
||||||
|
|
||||||
|
SUB C32, B3, C32
|
||||||
|
LD B8, 7 * SIZE(CO1)
|
||||||
|
|
||||||
|
SUB C42, B4, C42
|
||||||
|
MADD B1, B1, C11, A1 # A1 = alpha_r
|
||||||
|
|
||||||
|
ADD C14, B5, C14
|
||||||
|
MADD B3, B3, C21, A1
|
||||||
|
|
||||||
|
ADD C24, B6, C24
|
||||||
|
MADD B5, B5, C31, A1
|
||||||
|
|
||||||
|
ADD C34, B7, C34
|
||||||
|
MADD B7, B7, C41, A1
|
||||||
|
|
||||||
|
ADD C44, B8, C44
|
||||||
|
NMSUB B2, B2, C13, A1
|
||||||
|
|
||||||
|
NMSUB B4, B4, C23, A1
|
||||||
|
NMSUB B6, B6, C33, A1
|
||||||
|
|
||||||
|
NMSUB B8, B8, C43, A1
|
||||||
|
NMSUB B1, B1, C13, A2 # A2 = alpha_i
|
||||||
|
|
||||||
|
NMSUB B3, B3, C23, A2
|
||||||
|
NMSUB B5, B5, C33, A2
|
||||||
|
LD C13, 0 * SIZE(CO2)
|
||||||
|
|
||||||
|
NMSUB B7, B7, C43, A2
|
||||||
|
MADD B2, B2, C11, A2
|
||||||
|
LD C23, 2 * SIZE(CO2)
|
||||||
|
|
||||||
|
MADD B4, B4, C12, A2
|
||||||
|
MADD B6, B6, C13, A2
|
||||||
|
LD C33, 4 * SIZE(CO2)
|
||||||
|
|
||||||
|
MADD B8, B8, C14, A2
|
||||||
|
LD C43, 6 * SIZE(CO2)
|
||||||
|
|
||||||
|
LD C11, 1 * SIZE(CO2)
|
||||||
|
LD C21, 3 * SIZE(CO2)
|
||||||
|
LD C31, 5 * SIZE(CO2)
|
||||||
|
MADD C13, C13, C12, A1
|
||||||
|
|
||||||
|
LD C41, 7 * SIZE(CO2)
|
||||||
|
MADD C23, C23, C22, A1
|
||||||
|
|
||||||
|
MADD C33, C33, C32, A1
|
||||||
|
ST B1, 0 * SIZE(CO1)
|
||||||
|
|
||||||
|
MADD C43, C43, C42, A1
|
||||||
|
ST B3, 2 * SIZE(CO1)
|
||||||
|
|
||||||
|
NMSUB C11, C11, C14, A1
|
||||||
|
ST B5, 4 * SIZE(CO1)
|
||||||
|
|
||||||
|
NMSUB C21, C21, C24, A1
|
||||||
|
ST B7, 6 * SIZE(CO1)
|
||||||
|
|
||||||
|
NMSUB C31, C31, C34, A1
|
||||||
|
ST B2, 1 * SIZE(CO1)
|
||||||
|
|
||||||
|
NMSUB C41, C41, C44, A1
|
||||||
|
ST B4, 3 * SIZE(CO1)
|
||||||
|
|
||||||
|
NMSUB C13, C13, C14, A2
|
||||||
|
ST B6, 5 * SIZE(CO1)
|
||||||
|
|
||||||
|
NMSUB C23, C23, C24, A2
|
||||||
|
ST B8, 7 * SIZE(CO1)
|
||||||
|
|
||||||
|
NMSUB C33, C33, C34, A2
|
||||||
|
NMSUB C43, C43, C44, A2
|
||||||
|
|
||||||
|
MADD C11, C11, C12, A2
|
||||||
|
MADD C21, C21, C22, A2
|
||||||
|
|
||||||
|
MADD C31, C31, C32, A2
|
||||||
|
MADD C41, C41, C42, A2
|
||||||
|
|
||||||
|
ST C13, 0 * SIZE(CO2)
|
||||||
|
ST C23, 2 * SIZE(CO2)
|
||||||
|
ST C33, 4 * SIZE(CO2)
|
||||||
|
ST C43, 6 * SIZE(CO2)
|
||||||
|
ST C11, 1 * SIZE(CO2)
|
||||||
|
ST C21, 3 * SIZE(CO2)
|
||||||
|
ST C31, 5 * SIZE(CO2)
|
||||||
|
ST C41, 7 * SIZE(CO2)
|
||||||
|
|
||||||
|
#endif
|
||||||
|
|
||||||
|
daddiu CO1, CO1, 8 * SIZE
|
||||||
|
bgtz I, .L241
|
||||||
|
daddiu CO2, CO2, 8 * SIZE
|
||||||
|
|
||||||
|
.align 4
|
||||||
|
.L22:
|
||||||
|
andi I, M, 2 # MR=4
|
||||||
|
blez I, .L21
|
||||||
|
NOP
|
||||||
|
|
||||||
|
.align 4
|
||||||
|
.L21:
|
||||||
|
andi I, M, 1
|
||||||
|
blez I, .L20
|
||||||
|
NOP
|
||||||
|
|
||||||
|
.align 4
|
||||||
|
.L20:
|
||||||
|
daddiu J, J, -1
|
||||||
|
move B, BO
|
||||||
|
bgtz J, .L24
|
||||||
|
NOP
|
||||||
|
|
||||||
|
|
||||||
|
.align 4
|
||||||
|
.L1:
|
||||||
|
andi J, N, 1
|
||||||
|
blez J, .L999
|
||||||
|
NOP
|
||||||
|
|
||||||
|
.align 4
|
||||||
|
.L10:
|
||||||
|
move B, BO
|
||||||
|
|
||||||
|
.L999:
|
||||||
|
ld $16, 0($sp)
|
||||||
|
ld $17, 8($sp)
|
||||||
|
ld $18, 16($sp)
|
||||||
|
ld $19, 24($sp)
|
||||||
|
ld $20, 32($sp)
|
||||||
|
ld $21, 40($sp)
|
||||||
|
ld $22, 48($sp)
|
||||||
|
|
||||||
|
LD $f24, 56($sp)
|
||||||
|
LD $f25, 64($sp)
|
||||||
|
LD $f26, 72($sp)
|
||||||
|
LD $f27, 80($sp)
|
||||||
|
LD $f28, 88($sp)
|
||||||
|
|
||||||
|
#if defined(TRMMKERNEL)
|
||||||
|
ld $23, 96($sp)
|
||||||
|
ld $24, 104($sp)
|
||||||
|
ld $25, 112($sp)
|
||||||
|
#endif
|
||||||
|
|
||||||
|
#ifndef __64BIT__
|
||||||
|
LD $f20,120($sp)
|
||||||
|
LD $f21,128($sp)
|
||||||
|
LD $f22,136($sp)
|
||||||
|
LD $f23,144($sp)
|
||||||
|
#endif
|
||||||
|
|
||||||
|
daddiu $sp,$sp,STACKSIZE
|
||||||
|
j $31
|
||||||
|
nop
|
||||||
|
|
||||||
|
EPILOGUE
|
||||||
6
param.h
6
param.h
|
|
@ -1486,7 +1486,7 @@ USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
|
||||||
#define DGEMM_DEFAULT_UNROLL_M 4
|
#define DGEMM_DEFAULT_UNROLL_M 4
|
||||||
#define DGEMM_DEFAULT_UNROLL_N 4
|
#define DGEMM_DEFAULT_UNROLL_N 4
|
||||||
|
|
||||||
#define CGEMM_DEFAULT_UNROLL_M 2
|
#define CGEMM_DEFAULT_UNROLL_M 4
|
||||||
#define CGEMM_DEFAULT_UNROLL_N 2
|
#define CGEMM_DEFAULT_UNROLL_N 2
|
||||||
|
|
||||||
#define ZGEMM_DEFAULT_UNROLL_M 2
|
#define ZGEMM_DEFAULT_UNROLL_M 2
|
||||||
|
|
@ -1499,7 +1499,7 @@ USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
|
||||||
|
|
||||||
#define SGEMM_DEFAULT_Q 192
|
#define SGEMM_DEFAULT_Q 192
|
||||||
#define DGEMM_DEFAULT_Q 112
|
#define DGEMM_DEFAULT_Q 112
|
||||||
#define CGEMM_DEFAULT_Q 100
|
#define CGEMM_DEFAULT_Q 192
|
||||||
#define ZGEMM_DEFAULT_Q 80
|
#define ZGEMM_DEFAULT_Q 80
|
||||||
|
|
||||||
#define SGEMM_DEFAULT_R 1024
|
#define SGEMM_DEFAULT_R 1024
|
||||||
|
|
@ -1511,7 +1511,7 @@ USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
|
||||||
//1000
|
//1000
|
||||||
//#define DGEMM_DEFAULT_R 160
|
//#define DGEMM_DEFAULT_R 160
|
||||||
//#define DGEMM_DEFAULT_R 270
|
//#define DGEMM_DEFAULT_R 270
|
||||||
#define CGEMM_DEFAULT_R 1000
|
#define CGEMM_DEFAULT_R 1024
|
||||||
//#define ZGEMM_DEFAULT_R 1000
|
//#define ZGEMM_DEFAULT_R 1000
|
||||||
#define ZGEMM_DEFAULT_R 1000
|
#define ZGEMM_DEFAULT_R 1000
|
||||||
|
|
||||||
|
|
|
||||||
Loading…
Reference in New Issue