floraachy
/
OpenBLAS
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
OpenBLAS/kernel/zarch/kernelMacros.S

1477 lines
44 KiB
ArmAsm
Raw Blame History

/*********************************KERNEL 8x4***********************************************/
/*Zero C block Vectors*/
.macro ZERO_CVEC_8x4
vzero %v16
vzero %v17
vzero %v18
vzero %v19
vzero %v20
vzero %v21
vzero %v22
vzero %v23
vzero %v24
vzero %v25
vzero %v26
vzero %v27
vzero %v28
vzero %v29
vzero %v30
vzero %v31
.endm
/*Calculate for 8x4 C blocks*/
.macro CALC_8x4 PTR_A_REG,PTR_B_REG
vlrepg %v7, 0(\PTR_B_REG)
vlrepg %v1,8(\PTR_B_REG)
vl %v2, 0(\PTR_A_REG)
vl %v3, 16(\PTR_A_REG)
vl %v4, 32(\PTR_A_REG)
vl %v5, 48(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
vfmadb %v18,%v4,%v7,%v18
vfmadb %v19,%v5,%v7,%v19
vfmadb %v20,%v2,%v1,%v20
vfmadb %v21,%v3,%v1,%v21
vlrepg %v7,16(\PTR_B_REG)
vfmadb %v22,%v4,%v1,%v22
vfmadb %v23,%v5,%v1,%v23
vlrepg %v1,24(\PTR_B_REG)
vfmadb %v24,%v2,%v7,%v24
vfmadb %v25,%v3,%v7,%v25
vfmadb %v26,%v4,%v7,%v26
la \PTR_A_REG, 64(\PTR_A_REG)
vfmadb %v27,%v5,%v7,%v27
vfmadb %v28,%v2,%v1,%v28
vfmadb %v29,%v3,%v1,%v29
la \PTR_B_REG, 32(\PTR_B_REG)
vfmadb %v30,%v4,%v1,%v30
vfmadb %v31,%v5,%v1,%v31
.endm
/*Calculate for 8x4_4 C blocks*/
.macro CALC_8x4_4 PTR_A_REG,PTR_B_REG
vlrepg %v7, 0(\PTR_B_REG)
vlrepg %v1,8(\PTR_B_REG)
vl %v2, 0(\PTR_A_REG)
vl %v3, 16(\PTR_A_REG)
vl %v4, 32(\PTR_A_REG)
vl %v5, 48(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
vfmadb %v18,%v4,%v7,%v18
vfmadb %v19,%v5,%v7,%v19
vfmadb %v20,%v2,%v1,%v20
vfmadb %v21,%v3,%v1,%v21
vlrepg %v7,16(\PTR_B_REG)
vfmadb %v22,%v4,%v1,%v22
vfmadb %v23,%v5,%v1,%v23
vlrepg %v1,24(\PTR_B_REG)
vfmadb %v24,%v2,%v7,%v24
vfmadb %v25,%v3,%v7,%v25
vfmadb %v26,%v4,%v7,%v26
vfmadb %v27,%v5,%v7,%v27
vfmadb %v28,%v2,%v1,%v28
vfmadb %v29,%v3,%v1,%v29
vfmadb %v30,%v4,%v1,%v30
vfmadb %v31,%v5,%v1,%v31
vlrepg %v7, 32(\PTR_B_REG)
vlrepg %v1,40(\PTR_B_REG)
vl %v2, 64(\PTR_A_REG)
vl %v3, 80(\PTR_A_REG)
vl %v4, 96(\PTR_A_REG)
vl %v5, 112(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
vfmadb %v18,%v4,%v7,%v18
vfmadb %v19,%v5,%v7,%v19
vfmadb %v20,%v2,%v1,%v20
vfmadb %v21,%v3,%v1,%v21
vlrepg %v7,48(\PTR_B_REG)
vfmadb %v22,%v4,%v1,%v22
vfmadb %v23,%v5,%v1,%v23
vlrepg %v1,56(\PTR_B_REG)
vfmadb %v24,%v2,%v7,%v24
vfmadb %v25,%v3,%v7,%v25
vfmadb %v26,%v4,%v7,%v26
vfmadb %v27,%v5,%v7,%v27
vfmadb %v28,%v2,%v1,%v28
vfmadb %v29,%v3,%v1,%v29
vfmadb %v30,%v4,%v1,%v30
vfmadb %v31,%v5,%v1,%v31
vlrepg %v7, 64(\PTR_B_REG)
vlrepg %v1,72(\PTR_B_REG)
vl %v2, 128(\PTR_A_REG)
vl %v3, 144(\PTR_A_REG)
vl %v4, 160(\PTR_A_REG)
vl %v5, 176(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
vfmadb %v18,%v4,%v7,%v18
vfmadb %v19,%v5,%v7,%v19
vfmadb %v20,%v2,%v1,%v20
vfmadb %v21,%v3,%v1,%v21
vlrepg %v7,80(\PTR_B_REG)
vfmadb %v22,%v4,%v1,%v22
vfmadb %v23,%v5,%v1,%v23
vlrepg %v1,88(\PTR_B_REG)
vfmadb %v24,%v2,%v7,%v24
vfmadb %v25,%v3,%v7,%v25
vfmadb %v26,%v4,%v7,%v26
vfmadb %v27,%v5,%v7,%v27
vfmadb %v28,%v2,%v1,%v28
vfmadb %v29,%v3,%v1,%v29
vfmadb %v30,%v4,%v1,%v30
vfmadb %v31,%v5,%v1,%v31
vlrepg %v7, 96(\PTR_B_REG)
vlrepg %v1,104(\PTR_B_REG)
vl %v2, 192(\PTR_A_REG)
vl %v3, 208(\PTR_A_REG)
vl %v4, 224(\PTR_A_REG)
vl %v5, 240(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
vfmadb %v18,%v4,%v7,%v18
vfmadb %v19,%v5,%v7,%v19
vfmadb %v20,%v2,%v1,%v20
vfmadb %v21,%v3,%v1,%v21
vlrepg %v7,112(\PTR_B_REG)
vfmadb %v22,%v4,%v1,%v22
vfmadb %v23,%v5,%v1,%v23
vlrepg %v1,120(\PTR_B_REG)
vfmadb %v24,%v2,%v7,%v24
vfmadb %v25,%v3,%v7,%v25
vfmadb %v26,%v4,%v7,%v26
vfmadb %v27,%v5,%v7,%v27
la \PTR_B_REG, 128(\PTR_B_REG)
vfmadb %v28,%v2,%v1,%v28
vfmadb %v29,%v3,%v1,%v29
vfmadb %v30,%v4,%v1,%v30
la \PTR_A_REG, 256(\PTR_A_REG)
vfmadb %v31,%v5,%v1,%v31
.endm
/*STORE C8X4*/
.macro STORE_8x4 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL
/*add LDC_BYTE_reg=LDC_BYTE_original<<1 */
la LOCAL_VAR1,0(\LDC_BYTE_ORIGINAL, \LDC_BYTE_ORIGINAL)
vl %v1,0(\CIJ_REG)
vfmadb %v1,%v16,\ALPHA_VECREG,%v1
vst %v1,0(\CIJ_REG)
vl %v2,16(\CIJ_REG)
vfmadb %v2,%v17,\ALPHA_VECREG,%v2
vst %v2,16(\CIJ_REG)
vl %v3,32(\CIJ_REG)
vfmadb %v3,%v18,\ALPHA_VECREG,%v3
vst %v3,32(\CIJ_REG)
vl %v4,48(\CIJ_REG)
vfmadb %v4,%v19,\ALPHA_VECREG,%v4
vst %v4,48(\CIJ_REG)
la LOCAL_VAR2,0(LOCAL_VAR1,\LDC_BYTE_ORIGINAL )
/*add c LDC_BYTE*/
vl %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vfmadb %v1,%v20,\ALPHA_VECREG,%v1
vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vl %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vfmadb %v2,%v21,\ALPHA_VECREG,%v2
vst %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vl %v3,32(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vfmadb %v3,%v22,\ALPHA_VECREG,%v3
vst %v3,32(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vl %v4,48(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vfmadb %v4,%v23,\ALPHA_VECREG,%v4
vst %v4,48(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vl %v1,0(\CIJ_REG,LOCAL_VAR1)
vfmadb %v1,%v24,\ALPHA_VECREG,%v1
vst %v1,0(\CIJ_REG,LOCAL_VAR1)
vl %v2,16(\CIJ_REG,LOCAL_VAR1)
vfmadb %v2,%v25,\ALPHA_VECREG,%v2
vst %v2,16(\CIJ_REG,LOCAL_VAR1)
vl %v3,32(\CIJ_REG,LOCAL_VAR1)
vfmadb %v3,%v26,\ALPHA_VECREG,%v3
vst %v3,32(\CIJ_REG,LOCAL_VAR1)
vl %v4,48(\CIJ_REG,LOCAL_VAR1)
vfmadb %v4,%v27,\ALPHA_VECREG,%v4
vst %v4,48(\CIJ_REG,LOCAL_VAR1)
vl %v1,0(\CIJ_REG,LOCAL_VAR2)
vfmadb %v1,%v28,\ALPHA_VECREG,%v1
vst %v1,0(\CIJ_REG,LOCAL_VAR2)
vl %v2,16(\CIJ_REG,LOCAL_VAR2)
vfmadb %v2,%v29,\ALPHA_VECREG,%v2
vst %v2,16(\CIJ_REG,LOCAL_VAR2)
vl %v3,32(\CIJ_REG,LOCAL_VAR2)
vfmadb %v3,%v30,\ALPHA_VECREG,%v3
vst %v3,32(\CIJ_REG,LOCAL_VAR2)
vl %v4,48(\CIJ_REG,LOCAL_VAR2)
vfmadb %v4,%v31,\ALPHA_VECREG,%v4
vst %v4,48(\CIJ_REG,LOCAL_VAR2)
la \CIJ_REG,64(\CIJ_REG)
.endm
/*STORE TRMM C8X4*/
.macro STORE_TRMM_8x4 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL
/*add LDC_BYTE_reg=LDC_BYTE_original<<1 */
la LOCAL_VAR1,0(\LDC_BYTE_ORIGINAL, \LDC_BYTE_ORIGINAL)
vfmdb %v1,%v16,\ALPHA_VECREG
vst %v1,0(\CIJ_REG)
vfmdb %v2,%v17,\ALPHA_VECREG
vst %v2,16(\CIJ_REG)
vfmdb %v3,%v18,\ALPHA_VECREG
vst %v3,32(\CIJ_REG)
vfmdb %v4,%v19,\ALPHA_VECREG
vst %v4,48(\CIJ_REG)
la LOCAL_VAR2,0(LOCAL_VAR1,\LDC_BYTE_ORIGINAL )
/*add c LDC_BYTE*/
vfmdb %v1,%v20,\ALPHA_VECREG
vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vfmdb %v2,%v21,\ALPHA_VECREG
vst %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vfmdb %v3,%v22,\ALPHA_VECREG
vst %v3,32(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vfmdb %v4,%v23,\ALPHA_VECREG
vst %v4,48(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vfmdb %v1,%v24,\ALPHA_VECREG
vst %v1,0(\CIJ_REG,LOCAL_VAR1)
vfmdb %v2,%v25,\ALPHA_VECREG
vst %v2,16(\CIJ_REG,LOCAL_VAR1)
vfmdb %v3,%v26,\ALPHA_VECREG
vst %v3,32(\CIJ_REG,LOCAL_VAR1)
vfmdb %v4,%v27,\ALPHA_VECREG
vst %v4,48(\CIJ_REG,LOCAL_VAR1)
vfmdb %v1,%v28,\ALPHA_VECREG
vst %v1,0(\CIJ_REG,LOCAL_VAR2)
vfmdb %v2,%v29,\ALPHA_VECREG
vst %v2,16(\CIJ_REG,LOCAL_VAR2)
vfmdb %v3,%v30,\ALPHA_VECREG
vst %v3,32(\CIJ_REG,LOCAL_VAR2)
vfmdb %v4,%v31,\ALPHA_VECREG
vst %v4,48(\CIJ_REG,LOCAL_VAR2)
la \CIJ_REG,64(\CIJ_REG)
.endm
/**************************************Kernel4x4*************************************************/
/*Zero C block Vectors*/
.macro ZERO_CVEC_4x4
vzero %v16
vzero %v17
vzero %v20
vzero %v21
vzero %v24
vzero %v25
vzero %v28
vzero %v29
.endm
/*Calculate for 4x4 C blocks*/
.macro CALC_4x4 PTR_A_REG,PTR_B_REG
vlrepg %v7, 0(\PTR_B_REG)
vlrepg %v1,8(\PTR_B_REG)
vl %v2, 0(\PTR_A_REG)
vl %v3, 16(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
vfmadb %v20,%v2,%v1,%v20
vfmadb %v21,%v3,%v1,%v21
vlrepg %v7,16(\PTR_B_REG)
vlrepg %v1,24(\PTR_B_REG)
vfmadb %v24,%v2,%v7,%v24
vfmadb %v25,%v3,%v7,%v25
la \PTR_A_REG, 32(\PTR_A_REG)
vfmadb %v28,%v2,%v1,%v28
vfmadb %v29,%v3,%v1,%v29
la \PTR_B_REG, 32(\PTR_B_REG)
.endm
.macro CALC_4x4_4 PTR_A_REG,PTR_B_REG
vlrepg %v7, 0(\PTR_B_REG)
vlrepg %v1,8(\PTR_B_REG)
vl %v2, 0(\PTR_A_REG)
vl %v3, 16(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
vfmadb %v20,%v2,%v1,%v20
vfmadb %v21,%v3,%v1,%v21
vlrepg %v7,16(\PTR_B_REG)
vlrepg %v1,24(\PTR_B_REG)
vfmadb %v24,%v2,%v7,%v24
vfmadb %v25,%v3,%v7,%v25
vfmadb %v28,%v2,%v1,%v28
vfmadb %v29,%v3,%v1,%v29
vlrepg %v7, 32(\PTR_B_REG)
vlrepg %v1,40(\PTR_B_REG)
vl %v2, 32(\PTR_A_REG)
vl %v3, 48(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
vfmadb %v20,%v2,%v1,%v20
vfmadb %v21,%v3,%v1,%v21
vlrepg %v7,48(\PTR_B_REG)
vlrepg %v1,56(\PTR_B_REG)
vfmadb %v24,%v2,%v7,%v24
vfmadb %v25,%v3,%v7,%v25
vfmadb %v28,%v2,%v1,%v28
vfmadb %v29,%v3,%v1,%v29
vlrepg %v7, 64(\PTR_B_REG)
vlrepg %v1,72(\PTR_B_REG)
vl %v2, 64(\PTR_A_REG)
vl %v3, 80(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
vfmadb %v20,%v2,%v1,%v20
vfmadb %v21,%v3,%v1,%v21
vlrepg %v7,80(\PTR_B_REG)
vlrepg %v1,88(\PTR_B_REG)
vfmadb %v24,%v2,%v7,%v24
vfmadb %v25,%v3,%v7,%v25
vfmadb %v28,%v2,%v1,%v28
vfmadb %v29,%v3,%v1,%v29
vlrepg %v7, 96(\PTR_B_REG)
vlrepg %v1,104(\PTR_B_REG)
vl %v2, 96(\PTR_A_REG)
vl %v3, 112(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
vfmadb %v20,%v2,%v1,%v20
vfmadb %v21,%v3,%v1,%v21
vlrepg %v7,112(\PTR_B_REG)
la \PTR_A_REG, 128(\PTR_A_REG)
vlrepg %v1,120(\PTR_B_REG)
vfmadb %v24,%v2,%v7,%v24
vfmadb %v25,%v3,%v7,%v25
vfmadb %v28,%v2,%v1,%v28
la \PTR_B_REG, 128(\PTR_B_REG)
vfmadb %v29,%v3,%v1,%v29
.endm
/*STORE C4X4*/
.macro STORE_4x4 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL
/*add LDC_BYTE_reg=LDC_BYTE_original<<1 */
la LOCAL_VAR1,0(\LDC_BYTE_ORIGINAL, \LDC_BYTE_ORIGINAL)
vl %v1,0(\CIJ_REG)
vfmadb %v1,%v16,\ALPHA_VECREG,%v1
vst %v1,0(\CIJ_REG)
vl %v2,16(\CIJ_REG)
vfmadb %v2,%v17,\ALPHA_VECREG,%v2
vst %v2,16(\CIJ_REG)
la LOCAL_VAR2,0(LOCAL_VAR1,\LDC_BYTE_ORIGINAL )
/*add c LDC_BYTE*/
vl %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vfmadb %v1,%v20,\ALPHA_VECREG,%v1
vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vl %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vfmadb %v2,%v21,\ALPHA_VECREG,%v2
vst %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vl %v1,0(\CIJ_REG,LOCAL_VAR1)
vfmadb %v1,%v24,\ALPHA_VECREG,%v1
vst %v1,0(\CIJ_REG,LOCAL_VAR1)
vl %v2,16(\CIJ_REG,LOCAL_VAR1)
vfmadb %v2,%v25,\ALPHA_VECREG,%v2
vst %v2,16(\CIJ_REG,LOCAL_VAR1)
vl %v1,0(\CIJ_REG,LOCAL_VAR2)
vfmadb %v1,%v28,\ALPHA_VECREG,%v1
vst %v1,0(\CIJ_REG,LOCAL_VAR2)
vl %v2,16(\CIJ_REG,LOCAL_VAR2)
vfmadb %v2,%v29,\ALPHA_VECREG,%v2
vst %v2,16(\CIJ_REG,LOCAL_VAR2)
la \CIJ_REG,32(\CIJ_REG)
.endm
/*STORE TRMM C4X4*/
.macro STORE_TRMM_4x4 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL
/*add LDC_BYTE_reg=LDC_BYTE_original<<1 */
la LOCAL_VAR1,0(\LDC_BYTE_ORIGINAL, \LDC_BYTE_ORIGINAL)
vfmdb %v1,%v16,\ALPHA_VECREG
vst %v1,0(\CIJ_REG)
vfmdb %v2,%v17,\ALPHA_VECREG
vst %v2,16(\CIJ_REG)
la LOCAL_VAR2,0(LOCAL_VAR1,\LDC_BYTE_ORIGINAL )
vfmdb %v1,%v20,\ALPHA_VECREG
vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vfmdb %v2,%v21,\ALPHA_VECREG
vst %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vfmdb %v1,%v24,\ALPHA_VECREG
vst %v1,0(\CIJ_REG,LOCAL_VAR1)
vfmdb %v2,%v25,\ALPHA_VECREG
vst %v2,16(\CIJ_REG,LOCAL_VAR1)
vfmdb %v1,%v28,\ALPHA_VECREG
vst %v1,0(\CIJ_REG,LOCAL_VAR2)
vfmdb %v2,%v29,\ALPHA_VECREG
vst %v2,16(\CIJ_REG,LOCAL_VAR2)
la \CIJ_REG,32(\CIJ_REG)
.endm
/**************************************Kernel2x4*************************************************/
/*Zero C block Vectors*/
.macro ZERO_CVEC_2x4
vzero %v1 /*a1b1 a1b2 */
vzero %v2 /*a1b3 a1b4 */
vzero %v6 /*a2b1 a2b2 */
vzero %v7 /*a2b3 a2b4 */
.endm
/*Calculate for 2x4_4 C blocks.This Time BroadCast A. but Load B multiple*/
.macro CALC_2x4_4 PTR_A_REG,PTR_B_REG
vl %v4, 0(\PTR_B_REG)
vl %v5,16(\PTR_B_REG)
vlrepg %v3, 0(\PTR_A_REG)
vlrepg %v16, 8(\PTR_A_REG)
vfmadb %v1,%v3,%v4,%v1
vfmadb %v2,%v3,%v5,%v2
vfmadb %v6,%v16,%v4,%v6
vfmadb %v7,%v16,%v5,%v7
vl %v4, 32(\PTR_B_REG)
vl %v5,48(\PTR_B_REG)
vlrepg %v3, 16(\PTR_A_REG)
vlrepg %v16, 24(\PTR_A_REG)
vfmadb %v1,%v3,%v4,%v1
vfmadb %v2,%v3,%v5,%v2
vfmadb %v6,%v16,%v4,%v6
vfmadb %v7,%v16,%v5,%v7
vl %v4, 64(\PTR_B_REG)
vl %v5,80(\PTR_B_REG)
vlrepg %v3, 32(\PTR_A_REG)
vlrepg %v16, 40(\PTR_A_REG)
vfmadb %v1,%v3,%v4,%v1
vfmadb %v2,%v3,%v5,%v2
vfmadb %v6,%v16,%v4,%v6
vfmadb %v7,%v16,%v5,%v7
vl %v4, 96(\PTR_B_REG)
vl %v5,112(\PTR_B_REG)
vlrepg %v3, 48(\PTR_A_REG)
vlrepg %v16, 56(\PTR_A_REG)
vfmadb %v1,%v3,%v4,%v1
vfmadb %v2,%v3,%v5,%v2
la \PTR_B_REG, 128(\PTR_B_REG)
vfmadb %v6,%v16,%v4,%v6
vfmadb %v7,%v16,%v5,%v7
la \PTR_A_REG, 64(\PTR_A_REG)
.endm
/*Calculate for 2x4 C blocks.This Time BroadCast A. but Load B multiple*/
.macro CALC_2x4 PTR_A_REG,PTR_B_REG
vl %v4, 0(\PTR_B_REG)
vl %v5,16(\PTR_B_REG)
vlrepg %v3, 0(\PTR_A_REG)
vlrepg %v16, 8(\PTR_A_REG)
vfmadb %v1,%v3,%v4,%v1
vfmadb %v2,%v3,%v5,%v2
la \PTR_A_REG, 16(\PTR_A_REG)
vfmadb %v6,%v16,%v4,%v6
vfmadb %v7,%v16,%v5,%v7
la \PTR_B_REG, 32(\PTR_B_REG)
.endm
.macro STORE_2x4 ALPHA_REG,CIJ_REG , LDC_BYTE_ORIGINAL
/**/
vfmdb %v1,%v1,\ALPHA_REG
vfmdb %v2,%v2,\ALPHA_REG
vfmdb %v6,%v6,\ALPHA_REG
vfmdb %v7,%v7,\ALPHA_REG
vrepg %v4,%v1,1
vrepg %v5,%v6,1
la LOCAL_VAR1,0(\LDC_BYTE_ORIGINAL, \LDC_BYTE_ORIGINAL)
adb %f1, 0(\CIJ_REG)
std %f1,0(\CIJ_REG)
adb %f6, 8(\CIJ_REG)
std %f6,8(\CIJ_REG)
adb %f4,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)
std %f4,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)
adb %f5,8(\CIJ_REG,\LDC_BYTE_ORIGINAL)
std %f5,8(\CIJ_REG,\LDC_BYTE_ORIGINAL)
/*add LDC_BYTE */
la LOCAL_VAR2,0(LOCAL_VAR1,\LDC_BYTE_ORIGINAL )
vrepg %v4,%v2,1
vrepg %v5,%v7,1
adb %f2,0(\CIJ_REG,LOCAL_VAR1)
std %f2,0(\CIJ_REG,LOCAL_VAR1)
adb %f7,8(\CIJ_REG,LOCAL_VAR1)
std %f7,8(\CIJ_REG,LOCAL_VAR1)
adb %f4,0(\CIJ_REG,LOCAL_VAR2)
std %f4,0(\CIJ_REG,LOCAL_VAR2)
adb %f5,8(\CIJ_REG,LOCAL_VAR2)
std %f5,8(\CIJ_REG,LOCAL_VAR2)
la \CIJ_REG,16(\CIJ_REG)
.endm
.macro STORE_TRMM_2x4 ALPHA_REG,CIJ_REG , LDC_BYTE_ORIGINAL
/**/
vfmdb %v1,%v1,\ALPHA_REG
vfmdb %v2,%v2,\ALPHA_REG
vfmdb %v6,%v6,\ALPHA_REG
vfmdb %v7,%v7,\ALPHA_REG
vrepg %v4,%v1,1
vrepg %v5,%v6,1
la LOCAL_VAR1,0(\LDC_BYTE_ORIGINAL, \LDC_BYTE_ORIGINAL)
std %f1,0(\CIJ_REG)
std %f6,8(\CIJ_REG)
std %f4,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)
std %f5,8(\CIJ_REG,\LDC_BYTE_ORIGINAL)
/*add LDC_BYTE */
la LOCAL_VAR2,0(LOCAL_VAR1,\LDC_BYTE_ORIGINAL )
vrepg %v4,%v2,1
vrepg %v5,%v7,1
std %f2,0(\CIJ_REG,LOCAL_VAR1)
std %f7,8(\CIJ_REG,LOCAL_VAR1)
std %f4,0(\CIJ_REG,LOCAL_VAR2)
std %f5,8(\CIJ_REG,LOCAL_VAR2)
la \CIJ_REG,16(\CIJ_REG)
.endm
/**************************************Kernel1x4*************************************************/
/*Zero C block Vectors*/
.macro ZERO_CVEC_1x4
vzero %v1
vzero %v2
.endm
/*Calculate for 1x4 C blocks.This Time BroadCast A. but Load B multiple*/
.macro CALC_1x4 PTR_A_REG,PTR_B_REG
vl %v4, 0(\PTR_B_REG)
vl %v5,16(\PTR_B_REG)
vlrepg %v3, 0(\PTR_A_REG)
vfmadb %v1,%v3,%v4,%v1
la \PTR_A_REG, 8(\PTR_A_REG)
vfmadb %v2,%v3,%v5,%v2
la \PTR_B_REG, 32(\PTR_B_REG)
.endm
/*Calculate for 1x4_4 C blocks.This Time BroadCast A. but Load B multiple*/
.macro CALC_1x4_4 PTR_A_REG,PTR_B_REG
vl %v4, 0(\PTR_B_REG)
vl %v5,16(\PTR_B_REG)
vlrepg %v3, 0(\PTR_A_REG)
vfmadb %v1,%v3,%v4,%v1
vfmadb %v2,%v3,%v5,%v2
vl %v4, 32(\PTR_B_REG)
vl %v5,48(\PTR_B_REG)
vlrepg %v3, 8(\PTR_A_REG)
vfmadb %v1,%v3,%v4,%v1
vfmadb %v2,%v3,%v5,%v2
vl %v4, 64(\PTR_B_REG)
vl %v5,80(\PTR_B_REG)
vlrepg %v3, 16(\PTR_A_REG)
vfmadb %v1,%v3,%v4,%v1
vfmadb %v2,%v3,%v5,%v2
vl %v4, 96(\PTR_B_REG)
vl %v5,112(\PTR_B_REG)
vlrepg %v3, 24(\PTR_A_REG)
vfmadb %v1,%v3,%v4,%v1
vfmadb %v2,%v3,%v5,%v2
la \PTR_A_REG, 32(\PTR_A_REG)
la \PTR_B_REG, 128(\PTR_B_REG)
.endm
.macro STORE_1x4 ALPHA_REG,CIJ_REG , LDC_BYTE_ORIGINAL
/**/
vfmdb %v1,%v1,\ALPHA_REG
vfmdb %v2,%v2,\ALPHA_REG
vrepg %v4,%v1,1
vrepg %v5,%v2,1
la LOCAL_VAR1,0(\LDC_BYTE_ORIGINAL, \LDC_BYTE_ORIGINAL)
adb %f1, 0(\CIJ_REG)
std %f1,0(\CIJ_REG)
adb %f4,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)
std %f4,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)
/*add LDC_BYTE */
la LOCAL_VAR2,0(LOCAL_VAR1,\LDC_BYTE_ORIGINAL )
adb %f2,0(\CIJ_REG,LOCAL_VAR1)
std %f2,0(\CIJ_REG,LOCAL_VAR1)
adb %f5,0(\CIJ_REG,LOCAL_VAR2)
std %f5,0(\CIJ_REG,LOCAL_VAR2)
la \CIJ_REG,8(\CIJ_REG)
.endm
.macro STORE_TRMM_1x4 ALPHA_REG,CIJ_REG , LDC_BYTE_ORIGINAL
/**/
vfmdb %v1,%v1,\ALPHA_REG
vfmdb %v2,%v2,\ALPHA_REG
vrepg %v4,%v1,1
vrepg %v5,%v2,1
la LOCAL_VAR1,0(\LDC_BYTE_ORIGINAL, \LDC_BYTE_ORIGINAL)
std %f1,0(\CIJ_REG)
std %f4,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)
/*add LDC_BYTE */
la LOCAL_VAR2,0(LOCAL_VAR1,\LDC_BYTE_ORIGINAL )
std %f2,0(\CIJ_REG,LOCAL_VAR1)
std %f5,0(\CIJ_REG,LOCAL_VAR2)
la \CIJ_REG,8(\CIJ_REG)
.endm
/***************************************BN=2 SECTION***************************************/
/*************************************Kernel8x2***************************************************/
/*Zero C block Vectors*/
.macro ZERO_CVEC_8x2
vzero %v16
vzero %v17
vzero %v18
vzero %v19
vzero %v20
vzero %v21
vzero %v22
vzero %v23
.endm
/*Calculate for 8x2 C blocks*/
.macro CALC_8x2 PTR_A_REG,PTR_B_REG
vlrepg %v7, 0(\PTR_B_REG)
vlrepg %v1,8(\PTR_B_REG)
vl %v2, 0(\PTR_A_REG)
vl %v3, 16(\PTR_A_REG)
vl %v4, 32(\PTR_A_REG)
vl %v5, 48(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
vfmadb %v18,%v4,%v7,%v18
vfmadb %v19,%v5,%v7,%v19
vfmadb %v20,%v2,%v1,%v20
vfmadb %v21,%v3,%v1,%v21
la \PTR_A_REG, 64(\PTR_A_REG)
vfmadb %v22,%v4,%v1,%v22
vfmadb %v23,%v5,%v1,%v23
la \PTR_B_REG, 16(\PTR_B_REG)
.endm
/*Calculate for 8x2_4 C blocks*/
.macro CALC_8x2_4 PTR_A_REG,PTR_B_REG
vlrepg %v7, 0(\PTR_B_REG)
vlrepg %v1,8(\PTR_B_REG)
vl %v2, 0(\PTR_A_REG)
vl %v3, 16(\PTR_A_REG)
vl %v4, 32(\PTR_A_REG)
vl %v5, 48(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
vfmadb %v18,%v4,%v7,%v18
vfmadb %v19,%v5,%v7,%v19
vfmadb %v20,%v2,%v1,%v20
vfmadb %v21,%v3,%v1,%v21
vfmadb %v22,%v4,%v1,%v22
vfmadb %v23,%v5,%v1,%v23
vlrepg %v7, 16(\PTR_B_REG)
vlrepg %v1,24(\PTR_B_REG)
vl %v2, 64(\PTR_A_REG)
vl %v3, 80(\PTR_A_REG)
vl %v4, 96(\PTR_A_REG)
vl %v5, 112(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
vfmadb %v18,%v4,%v7,%v18
vfmadb %v19,%v5,%v7,%v19
vfmadb %v20,%v2,%v1,%v20
vfmadb %v21,%v3,%v1,%v21
vfmadb %v22,%v4,%v1,%v22
vfmadb %v23,%v5,%v1,%v23
vlrepg %v7, 32(\PTR_B_REG)
vlrepg %v1,40(\PTR_B_REG)
vl %v2, 128(\PTR_A_REG)
vl %v3, 144(\PTR_A_REG)
vl %v4, 160(\PTR_A_REG)
vl %v5, 176(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
vfmadb %v18,%v4,%v7,%v18
vfmadb %v19,%v5,%v7,%v19
vfmadb %v20,%v2,%v1,%v20
vfmadb %v21,%v3,%v1,%v21
vfmadb %v22,%v4,%v1,%v22
vfmadb %v23,%v5,%v1,%v23
vlrepg %v7, 48(\PTR_B_REG)
vlrepg %v1,56(\PTR_B_REG)
vl %v2, 192(\PTR_A_REG)
vl %v3, 208(\PTR_A_REG)
vl %v4, 224(\PTR_A_REG)
vl %v5, 240(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
vfmadb %v18,%v4,%v7,%v18
vfmadb %v19,%v5,%v7,%v19
la \PTR_B_REG, 64(\PTR_B_REG)
vfmadb %v20,%v2,%v1,%v20
vfmadb %v21,%v3,%v1,%v21
vfmadb %v22,%v4,%v1,%v22
vfmadb %v23,%v5,%v1,%v23
la \PTR_A_REG, 256(\PTR_A_REG)
.endm
/*STORE C8X2*/
.macro STORE_8x2 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL
vl %v1,0(\CIJ_REG)
vfmadb %v1,%v16,\ALPHA_VECREG,%v1
vst %v1,0(\CIJ_REG)
vl %v2,16(\CIJ_REG)
vfmadb %v2,%v17,\ALPHA_VECREG,%v2
vst %v2,16(\CIJ_REG)
vl %v3,32(\CIJ_REG)
vfmadb %v3,%v18,\ALPHA_VECREG,%v3
vst %v3,32(\CIJ_REG)
vl %v4,48(\CIJ_REG)
vfmadb %v4,%v19,\ALPHA_VECREG,%v4
vst %v4,48(\CIJ_REG)
vl %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vfmadb %v1,%v20,\ALPHA_VECREG,%v1
vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vl %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vfmadb %v2,%v21,\ALPHA_VECREG,%v2
vst %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vl %v3,32(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vfmadb %v3,%v22,\ALPHA_VECREG,%v3
vst %v3,32(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vl %v4,48(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vfmadb %v4,%v23,\ALPHA_VECREG,%v4
vst %v4,48(\CIJ_REG,\LDC_BYTE_ORIGINAL)
la \CIJ_REG,64(\CIJ_REG)
.endm
/*STORE TRMM C8X2*/
.macro STORE_TRMM_8x2 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL
vfmdb %v1,%v16,\ALPHA_VECREG
vst %v1,0(\CIJ_REG)
vfmdb %v2,%v17,\ALPHA_VECREG
vst %v2,16(\CIJ_REG)
vfmdb %v3,%v18,\ALPHA_VECREG
vst %v3,32(\CIJ_REG)
vfmdb %v4,%v19,\ALPHA_VECREG
vst %v4,48(\CIJ_REG)
vfmdb %v1,%v20,\ALPHA_VECREG
vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vfmdb %v2,%v21,\ALPHA_VECREG
vst %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vfmdb %v3,%v22,\ALPHA_VECREG
vst %v3,32(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vfmdb %v4,%v23,\ALPHA_VECREG
vst %v4,48(\CIJ_REG,\LDC_BYTE_ORIGINAL)
la \CIJ_REG,64(\CIJ_REG)
.endm
/*************************************Kernel4x2***************************************************/
/*Zero C block Vectors*/
.macro ZERO_CVEC_4x2
vzero %v16
vzero %v17
vzero %v20
vzero %v21
.endm
/*Calculate for 4x2 C blocks*/
.macro CALC_4x2 PTR_A_REG,PTR_B_REG
vlrepg %v7, 0(\PTR_B_REG)
vlrepg %v1,8(\PTR_B_REG)
vl %v2, 0(\PTR_A_REG)
vl %v3, 16(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
la \PTR_A_REG, 32(\PTR_A_REG)
vfmadb %v20,%v2,%v1,%v20
vfmadb %v21,%v3,%v1,%v21
la \PTR_B_REG, 16(\PTR_B_REG)
.endm
/*Calculate for 4x2_4 C blocks*/
.macro CALC_4x2_4 PTR_A_REG,PTR_B_REG
vlrepg %v7, 0(\PTR_B_REG)
vlrepg %v1,8(\PTR_B_REG)
vl %v2, 0(\PTR_A_REG)
vl %v3, 16(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
vfmadb %v20,%v2,%v1,%v20
vfmadb %v21,%v3,%v1,%v21
vlrepg %v7, 16(\PTR_B_REG)
vlrepg %v1,24(\PTR_B_REG)
vl %v2, 32(\PTR_A_REG)
vl %v3, 48(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
vfmadb %v20,%v2,%v1,%v20
vfmadb %v21,%v3,%v1,%v21
vlrepg %v7, 32(\PTR_B_REG)
vlrepg %v1,40(\PTR_B_REG)
vl %v2, 64(\PTR_A_REG)
vl %v3, 80(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
vfmadb %v20,%v2,%v1,%v20
vfmadb %v21,%v3,%v1,%v21
vlrepg %v7, 48(\PTR_B_REG)
vlrepg %v1,56(\PTR_B_REG)
vl %v2, 96(\PTR_A_REG)
vl %v3, 112(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
la \PTR_B_REG, 64(\PTR_B_REG)
vfmadb %v20,%v2,%v1,%v20
vfmadb %v21,%v3,%v1,%v21
la \PTR_A_REG, 128(\PTR_A_REG)
.endm
/*STORE C4x2*/
.macro STORE_4x2 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL
vl %v1,0(\CIJ_REG)
vfmadb %v1,%v16,\ALPHA_VECREG,%v1
vst %v1,0(\CIJ_REG)
vl %v2,16(\CIJ_REG)
vfmadb %v2,%v17,\ALPHA_VECREG,%v2
vst %v2,16(\CIJ_REG)
vl %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vfmadb %v1,%v20,\ALPHA_VECREG,%v1
vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vl %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vfmadb %v2,%v21,\ALPHA_VECREG,%v2
vst %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL)
la \CIJ_REG,32(\CIJ_REG)
.endm
/*STORE TRMM C4x2*/
.macro STORE_TRMM_4x2 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL
vfmdb %v1,%v16,\ALPHA_VECREG
vst %v1,0(\CIJ_REG)
vfmdb %v2,%v17,\ALPHA_VECREG
vst %v2,16(\CIJ_REG)
vfmdb %v1,%v20,\ALPHA_VECREG
vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vfmdb %v2,%v21,\ALPHA_VECREG
vst %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL)
la \CIJ_REG,32(\CIJ_REG)
.endm
/*************************************Kernel2x2***************************************************/
/*Zero C block Vectors*/
.macro ZERO_CVEC_2x2
vzero %v16
vzero %v20
.endm
/*Calculate for 2x2 C blocks*/
.macro CALC_2x2 PTR_A_REG,PTR_B_REG
vlrepg %v7, 0(\PTR_B_REG)
vlrepg %v1,8(\PTR_B_REG)
vl %v2, 0(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
la \PTR_A_REG, 16(\PTR_A_REG)
vfmadb %v20,%v2,%v1,%v20
la \PTR_B_REG, 16(\PTR_B_REG)
.endm
/*Calculate for 2x2_4 C blocks*/
.macro CALC_2x2_4 PTR_A_REG,PTR_B_REG
vlrepg %v7, 0(\PTR_B_REG)
vlrepg %v1,8(\PTR_B_REG)
vl %v2, 0(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v20,%v2,%v1,%v20
vlrepg %v7, 16(\PTR_B_REG)
vlrepg %v1,24(\PTR_B_REG)
vl %v2, 16(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v20,%v2,%v1,%v20
vlrepg %v7, 32(\PTR_B_REG)
vlrepg %v1,40(\PTR_B_REG)
vl %v2, 32(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v20,%v2,%v1,%v20
vlrepg %v7, 48(\PTR_B_REG)
vlrepg %v1,56(\PTR_B_REG)
vl %v2, 48(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v20,%v2,%v1,%v20
la \PTR_B_REG, 64(\PTR_B_REG)
la \PTR_A_REG, 64(\PTR_A_REG)
.endm
/*STORE C2x2*/
.macro STORE_2x2 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL
vl %v1,0(\CIJ_REG)
vfmadb %v1,%v16,\ALPHA_VECREG,%v1
vst %v1,0(\CIJ_REG)
vl %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)
vfmadb %v1,%v20,\ALPHA_VECREG,%v1
vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)
la \CIJ_REG,16(\CIJ_REG)
.endm
/*STORE TRMM C2x2*/
.macro STORE_TRMM_2x2 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL
vfmdb %v1,%v16,\ALPHA_VECREG
vst %v1,0(\CIJ_REG)
vfmdb %v1,%v20,\ALPHA_VECREG
vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)
la \CIJ_REG,16(\CIJ_REG)
.endm
/**************************************Kernel1x2*************************************************/
/*Zero C block Vectors*/
.macro ZERO_CVEC_1x2
vzero %v1
.endm
/*Calculate for 1x2 C blocks.This Time BroadCast A. but Load B multiple*/
.macro CALC_1x2 PTR_A_REG,PTR_B_REG
vl %v4, 0(\PTR_B_REG)
vlrepg %v3, 0(\PTR_A_REG)
la \PTR_B_REG, 16(\PTR_B_REG)
vfmadb %v1,%v3,%v4,%v1
la \PTR_A_REG, 8(\PTR_A_REG)
.endm
.macro CALC_1x2_4 PTR_A_REG,PTR_B_REG
vl %v4, 0(\PTR_B_REG)
vlrepg %v3, 0(\PTR_A_REG)
vfmadb %v1,%v3,%v4,%v1
vl %v4, 16(\PTR_B_REG)
vlrepg %v3, 8(\PTR_A_REG)
vfmadb %v1,%v3,%v4,%v1
vl %v4, 32(\PTR_B_REG)
vlrepg %v3, 16(\PTR_A_REG)
vfmadb %v1,%v3,%v4,%v1
vl %v4, 48(\PTR_B_REG)
vlrepg %v3, 24(\PTR_A_REG)
vfmadb %v1,%v3,%v4,%v1
la \PTR_B_REG, 64(\PTR_B_REG)
la \PTR_A_REG, 32(\PTR_A_REG)
.endm
.macro STORE_1x2 ALPHA_REG,CIJ_REG , LDC_BYTE_ORIGINAL
/**/
vfmdb %v1,%v1,\ALPHA_REG
vrepg %v4,%v1,1
adb %f1, 0(\CIJ_REG)
std %f1,0(\CIJ_REG)
adb %f4,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)
std %f4,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)
la \CIJ_REG,8(\CIJ_REG)
.endm
.macro STORE_TRMM_1x2 ALPHA_REG,CIJ_REG , LDC_BYTE_ORIGINAL
/**/
vfmdb %v1,%v1,\ALPHA_REG
vrepg %v4,%v1,1
std %f1,0(\CIJ_REG)
std %f4,0(\CIJ_REG,\LDC_BYTE_ORIGINAL)
la \CIJ_REG,8(\CIJ_REG)
.endm
/**************************************BN=1*******************************************************/
/*************************************Kernel8x1***************************************************/
/*Zero C block Vectors*/
.macro ZERO_CVEC_8x1
vzero %v16
vzero %v17
vzero %v18
vzero %v19
.endm
/*Calculate for 8x1 C blocks*/
.macro CALC_8x1 PTR_A_REG,PTR_B_REG
vlrepg %v7, 0(\PTR_B_REG)
vl %v2, 0(\PTR_A_REG)
vl %v3, 16(\PTR_A_REG)
vl %v4, 32(\PTR_A_REG)
vl %v5, 48(\PTR_A_REG)
la \PTR_B_REG, 8(\PTR_B_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
vfmadb %v18,%v4,%v7,%v18
la \PTR_A_REG, 64(\PTR_A_REG)
vfmadb %v19,%v5,%v7,%v19
.endm
/*Calculate for 8x1_4 C blocks*/
.macro CALC_8x1_4 PTR_A_REG,PTR_B_REG
vlrepg %v7, 0(\PTR_B_REG)
vl %v2, 0(\PTR_A_REG)
vl %v3, 16(\PTR_A_REG)
vl %v4, 32(\PTR_A_REG)
vl %v5, 48(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
vfmadb %v18,%v4,%v7,%v18
vfmadb %v19,%v5,%v7,%v19
vlrepg %v7, 8(\PTR_B_REG)
vl %v2, 64(\PTR_A_REG)
vl %v3, 80(\PTR_A_REG)
vl %v4, 96(\PTR_A_REG)
vl %v5, 112(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
vfmadb %v18,%v4,%v7,%v18
vfmadb %v19,%v5,%v7,%v19
vlrepg %v7, 16(\PTR_B_REG)
vl %v2, 128(\PTR_A_REG)
vl %v3, 144(\PTR_A_REG)
vl %v4, 160(\PTR_A_REG)
vl %v5, 176(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
vfmadb %v18,%v4,%v7,%v18
vfmadb %v19,%v5,%v7,%v19
vlrepg %v7, 24(\PTR_B_REG)
vl %v2, 192(\PTR_A_REG)
vl %v3, 208(\PTR_A_REG)
vl %v4, 224(\PTR_A_REG)
vl %v5, 240(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
vfmadb %v18,%v4,%v7,%v18
vfmadb %v19,%v5,%v7,%v19
la \PTR_A_REG, 256(\PTR_A_REG)
la \PTR_B_REG, 32(\PTR_B_REG)
.endm
/*STORE C8X1*/
.macro STORE_8x1 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL
vl %v1,0(\CIJ_REG)
vfmadb %v1,%v16,\ALPHA_VECREG,%v1
vst %v1,0(\CIJ_REG)
vl %v2,16(\CIJ_REG)
vfmadb %v2,%v17,\ALPHA_VECREG,%v2
vst %v2,16(\CIJ_REG)
vl %v3,32(\CIJ_REG)
vfmadb %v3,%v18,\ALPHA_VECREG,%v3
vst %v3,32(\CIJ_REG)
vl %v4,48(\CIJ_REG)
vfmadb %v4,%v19,\ALPHA_VECREG,%v4
vst %v4,48(\CIJ_REG)
la \CIJ_REG,64(\CIJ_REG)
.endm
/*STORE TRMM C8X1*/
.macro STORE_TRMM_8x1 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL
vfmdb %v1,%v16,\ALPHA_VECREG
vst %v1,0(\CIJ_REG)
vfmdb %v2,%v17,\ALPHA_VECREG
vst %v2,16(\CIJ_REG)
vfmdb %v3,%v18,\ALPHA_VECREG
vst %v3,32(\CIJ_REG)
vfmdb %v4,%v19,\ALPHA_VECREG
vst %v4,48(\CIJ_REG)
la \CIJ_REG,64(\CIJ_REG)
.endm
/*************************************Kernel4x1***************************************************/
/*Zero C block Vectors*/
.macro ZERO_CVEC_4x1
vzero %v16
vzero %v17
.endm
/*Calculate for 4x1 C blocks*/
.macro CALC_4x1 PTR_A_REG,PTR_B_REG
vlrepg %v7, 0(\PTR_B_REG)
vl %v2, 0(\PTR_A_REG)
vl %v3, 16(\PTR_A_REG)
la \PTR_B_REG, 8(\PTR_B_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
la \PTR_A_REG, 32(\PTR_A_REG)
.endm
/*Calculate for 4x1_4 C blocks*/
.macro CALC_4x1_4 PTR_A_REG,PTR_B_REG
vlrepg %v7, 0(\PTR_B_REG)
vl %v2, 0(\PTR_A_REG)
vl %v3, 16(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
vlrepg %v7, 8(\PTR_B_REG)
vl %v2, 32(\PTR_A_REG)
vl %v3, 48(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
vlrepg %v7, 16(\PTR_B_REG)
vl %v2, 64(\PTR_A_REG)
vl %v3, 80(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
vlrepg %v7, 24(\PTR_B_REG)
vl %v2, 96(\PTR_A_REG)
vl %v3, 112(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vfmadb %v17,%v3,%v7,%v17
la \PTR_B_REG, 32(\PTR_B_REG)
la \PTR_A_REG, 128(\PTR_A_REG)
.endm
/*STORE C4X1*/
.macro STORE_4x1 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL
vl %v1,0(\CIJ_REG)
vfmadb %v1,%v16,\ALPHA_VECREG,%v1
vst %v1,0(\CIJ_REG)
vl %v2,16(\CIJ_REG)
vfmadb %v2,%v17,\ALPHA_VECREG,%v2
vst %v2,16(\CIJ_REG)
la \CIJ_REG,32(\CIJ_REG)
.endm
/*STORE TRMM C4X1*/
.macro STORE_TRMM_4x1 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL
vfmdb %v1,%v16,\ALPHA_VECREG
vst %v1,0(\CIJ_REG)
vfmdb %v2,%v17,\ALPHA_VECREG
vst %v2,16(\CIJ_REG)
la \CIJ_REG,32(\CIJ_REG)
.endm
/*************************************Kernel2x1***************************************************/
/*Zero C block Vectors*/
.macro ZERO_CVEC_2x1
vzero %v16
.endm
/*Calculate for 2x1 C blocks*/
.macro CALC_2x1 PTR_A_REG,PTR_B_REG
vlrepg %v7, 0(\PTR_B_REG)
vl %v2, 0(\PTR_A_REG)
la \PTR_B_REG, 8(\PTR_B_REG)
vfmadb %v16,%v2,%v7,%v16
la \PTR_A_REG, 16(\PTR_A_REG)
.endm
/*Calculate for 2x1_4 C blocks*/
.macro CALC_2x1_4 PTR_A_REG,PTR_B_REG
vlrepg %v7, 0(\PTR_B_REG)
vl %v2, 0(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vlrepg %v7, 8(\PTR_B_REG)
vl %v2, 16(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vlrepg %v7, 16(\PTR_B_REG)
vl %v2, 32(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
vlrepg %v7, 24(\PTR_B_REG)
vl %v2, 48(\PTR_A_REG)
vfmadb %v16,%v2,%v7,%v16
la \PTR_B_REG, 32(\PTR_B_REG)
la \PTR_A_REG, 64(\PTR_A_REG)
.endm
/*STORE C2X1*/
.macro STORE_2x1 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL
vl %v1,0(\CIJ_REG)
vfmadb %v1,%v16,\ALPHA_VECREG,%v1
vst %v1,0(\CIJ_REG)
la \CIJ_REG,16(\CIJ_REG)
.endm
/*STORE TRMM C2X1*/
.macro STORE_TRMM_2x1 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL
vfmdb %v1,%v16,\ALPHA_VECREG
vst %v1,0(\CIJ_REG)
la \CIJ_REG,16(\CIJ_REG)
.endm
/*************************************Kernel1x1***************************************************/
/*Zero C block Vectors*/
.macro ZERO_CVEC_1x1
LZDR %f1
.endm
/*Calculate for 1x1 C blocks*/
.macro CALC_1x1 PTR_A_REG,PTR_B_REG
ld %f2,0(\PTR_A_REG) /**a*/
la \PTR_A_REG,8(\PTR_A_REG)
madb %f1,%f2,0(\PTR_B_REG)
la \PTR_B_REG,8(\PTR_B_REG)
.endm
/*Calculate for 1x1_4 C blocks*/
.macro CALC_1x1_4 PTR_A_REG,PTR_B_REG
ld %f2,0(\PTR_A_REG) /**a*/
madb %f1,%f2,0(\PTR_B_REG)
ld %f2,8(\PTR_A_REG) /**a*/
madb %f1,%f2,8(\PTR_B_REG)
ld %f2,16(\PTR_A_REG) /**a*/
madb %f1,%f2,16(\PTR_B_REG)
ld %f2,24(\PTR_A_REG) /**a*/
madb %f1,%f2,24(\PTR_B_REG)
la \PTR_A_REG,32(\PTR_A_REG)
la \PTR_B_REG,32(\PTR_B_REG)
.endm
/*STORE C1X1*/
.macro STORE_1x1 ALPHA_FLOAT,CIJ_REG,LDC_BYTE_ORIGINAL
ld %f2,0(CIJ_LOCAL)
madbr %f2,%f1,\ALPHA_FLOAT
std %f2,0(CIJ_LOCAL)
la \CIJ_REG,8(\CIJ_REG)
.endm
/*STORE C1X1*/
.macro STORE_TRMM_1x1 ALPHA_FLOAT,CIJ_REG,LDC_BYTE_ORIGINAL
mdbr %f1,\ALPHA_FLOAT
std %f1,0(CIJ_LOCAL)
la \CIJ_REG,8(\CIJ_REG)
.endm
/****************************TRMM POINTER REFRESH MACROSES*************************/
.macro RefreshPointers PTR_A,PTR_B,OFF_VAL,B_VAL,C_A,C_B
#if (defined(LEFT) && defined(TRANSA)) || (!defined(LEFT) && !defined(TRANSA))
/* ptrbb = bb;*/
lgr \PTR_B,\B_VAL /*refresh BPOINT*/
#else
/* ptrba =ptrba+ off*C_A;
ptrbb = bb + off*C_B;*/
.if \C_B==4
.if \C_A==8
sllg \PTR_B, \OFF_VAL,5
la \PTR_A,0(\PTR_A,\PTR_B) /*ptrba+off*4*/
agr \PTR_A,\PTR_B /*ptrba+off*4**/
la \PTR_B,0(\B_VAL,\PTR_B)
.elseif \C_A==4
sllg \PTR_B, \OFF_VAL,5
agr \PTR_A,\PTR_B /*ptrba+off*4**/
la \PTR_B,0(\B_VAL,\PTR_B) /*refresh BPOINT*/
.elseif \C_A==2
sllg \PTR_B, \OFF_VAL,4
la \PTR_A,0(\PTR_A,\PTR_B) /*ptrba+off*2**/
agr \PTR_B, \PTR_B
la \PTR_B,0(\B_VAL,\PTR_B) /*refresh BPOINT*/
.elseif \C_A==1
sllg \PTR_B, \OFF_VAL,3
agr \PTR_A,\PTR_B /*ptrba+off*4**/
sllg \PTR_B, \OFF_VAL,5
la \PTR_B,0(\B_VAL,\PTR_B) /*refresh BPOINT*/
.endif
.elseif \C_B==2
.if \C_A==8
sllg \PTR_B, \OFF_VAL,6
agr \PTR_A,\PTR_B /*ptrba+off*8**/
sllg \PTR_B, \OFF_VAL,4
la \PTR_B,0(\B_VAL,\PTR_B) /*refresh BPOINT*/
.elseif \C_A==4
sllg \PTR_B, \OFF_VAL,4
la \PTR_A,0(\PTR_A,\PTR_B) /*ptrba+off*2**/
agr \PTR_A,\PTR_B /*ptrba+off*2**/
la \PTR_B,0(\B_VAL,\PTR_B) /*refresh BPOINT*/
.elseif \C_A==2
sllg \PTR_B, \OFF_VAL,4
agr \PTR_A,\PTR_B /*ptrba+off*2**/
la \PTR_B,0(\B_VAL,\PTR_B) /*refresh BPOINT*/
.elseif \C_A==1
sllg \PTR_B, \OFF_VAL,3
la \PTR_A,0(\PTR_A,\PTR_B) /*ptrba+off*1**/
agr \PTR_B,\PTR_B /* off+off**/
la \PTR_B,0(\B_VAL,\PTR_B) /*refresh BPOINT*/
.endif
.elseif \C_B==1
.if \C_A==8
sllg \PTR_B, \OFF_VAL,6
agr \PTR_A,\PTR_B /*ptrba+off*8**/
sllg \PTR_B, \OFF_VAL,3
la \PTR_B,0(\B_VAL,\PTR_B) /*refresh BPOINT*/
.elseif \C_A==4
sllg \PTR_B, \OFF_VAL,5
agr \PTR_A,\PTR_B /*ptrba+off*4**/
sllg \PTR_B, \OFF_VAL,3
la \PTR_B,0(\B_VAL,\PTR_B) /*refresh BPOINT*/
.elseif \C_A==2
sllg \PTR_B, \OFF_VAL,3
la \PTR_A,0(\PTR_A,\PTR_B) /*ptrba+off*1**/
agr \PTR_A,\PTR_B /*ptrba+off*1**/
la \PTR_B,0(\B_VAL,\PTR_B) /*refresh BPOINT*/
.elseif \C_A==1
sllg \PTR_B, \OFF_VAL,3
agr \PTR_A,\PTR_B /*ptrba+off*1**/
la \PTR_B,0(\B_VAL,\PTR_B) /*refresh BPOINT*/
.endif
.endif
#endif
.endm
/**/
.macro RefreshTempBk TEMP_VAL,BK_VAL,OFF_VAL,INCR_A,INCR_B
#if (defined(LEFT) && !defined(TRANSA)) || (!defined(LEFT) && defined(TRANSA))
/* temp = bk-off;*/
sgrk \TEMP_VAL,\BK_VAL,\OFF_VAL
#elif defined(LEFT)
/* temp = off+INCR_A; // number of values in A */
la \TEMP_VAL,\INCR_A(\OFF_VAL)
#else
/* temp = off+INCR_B // number of values in B*/
la \TEMP_VAL,\INCR_B(\OFF_VAL)
#endif
.endm
.macro RefreshPointersAndOFF TEMP_VAL,BK_VAL,OFF_VAL,PTR_B,PTR_A,C_A,C_B
#if ( defined(LEFT) && defined(TRANSA)) || (!defined(LEFT) && !defined(TRANSA))
/*temp = bk - off;*/
sgrk \TEMP_VAL,\BK_VAL,\OFF_VAL
#ifdef LEFT
/*temp -= 8; // number of values in A*/
lay \TEMP_VAL,-\C_A(\TEMP_VAL)
#else
/*temp -= 4; // number of values in B*/
lay \TEMP_VAL,-\C_B(\TEMP_VAL)
#endif
/*ptrba += temp*C_A;
ptrbb += temp*C_B;*/
.if \C_A==8
sllg \TEMP_VAL, \TEMP_VAL,6
.elseif \C_A==4
sllg \TEMP_VAL, \TEMP_VAL,5 /*temp*4*/
.elseif \C_A==2
sllg \TEMP_VAL, \TEMP_VAL,4 /*temp*2*/
.elseif \C_A==1
sllg \TEMP_VAL, \TEMP_VAL,3 /*temp*1*/
.endif
la \PTR_A,0(\PTR_A,\TEMP_VAL) /*ptrba+temp*C_A*/
/*we do not need to refresh ptrbb. so lets ignore it*/
#endif
#ifdef LEFT
/*off += 8; // number of values in A*/
aghi \OFF_VAL,\C_A
#endif
.endm
Reference in New Issue View Git Blame Copy Permalink