/*********************************KERNEL 8x4***********************************************/ /*Zero C block Vectors*/ .macro ZERO_CVEC_8x4 vzero %v16 vzero %v17 vzero %v18 vzero %v19 vzero %v20 vzero %v21 vzero %v22 vzero %v23 vzero %v24 vzero %v25 vzero %v26 vzero %v27 vzero %v28 vzero %v29 vzero %v30 vzero %v31 .endm /*Calculate for 8x4 C blocks*/ .macro CALC_8x4 PTR_A_REG,PTR_B_REG vlrepg %v7, 0(\PTR_B_REG) vlrepg %v1,8(\PTR_B_REG) vl %v2, 0(\PTR_A_REG) vl %v3, 16(\PTR_A_REG) vl %v4, 32(\PTR_A_REG) vl %v5, 48(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 vfmadb %v18,%v4,%v7,%v18 vfmadb %v19,%v5,%v7,%v19 vfmadb %v20,%v2,%v1,%v20 vfmadb %v21,%v3,%v1,%v21 vlrepg %v7,16(\PTR_B_REG) vfmadb %v22,%v4,%v1,%v22 vfmadb %v23,%v5,%v1,%v23 vlrepg %v1,24(\PTR_B_REG) vfmadb %v24,%v2,%v7,%v24 vfmadb %v25,%v3,%v7,%v25 vfmadb %v26,%v4,%v7,%v26 la \PTR_A_REG, 64(\PTR_A_REG) vfmadb %v27,%v5,%v7,%v27 vfmadb %v28,%v2,%v1,%v28 vfmadb %v29,%v3,%v1,%v29 la \PTR_B_REG, 32(\PTR_B_REG) vfmadb %v30,%v4,%v1,%v30 vfmadb %v31,%v5,%v1,%v31 .endm /*Calculate for 8x4_4 C blocks*/ .macro CALC_8x4_4 PTR_A_REG,PTR_B_REG vlrepg %v7, 0(\PTR_B_REG) vlrepg %v1,8(\PTR_B_REG) vl %v2, 0(\PTR_A_REG) vl %v3, 16(\PTR_A_REG) vl %v4, 32(\PTR_A_REG) vl %v5, 48(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 vfmadb %v18,%v4,%v7,%v18 vfmadb %v19,%v5,%v7,%v19 vfmadb %v20,%v2,%v1,%v20 vfmadb %v21,%v3,%v1,%v21 vlrepg %v7,16(\PTR_B_REG) vfmadb %v22,%v4,%v1,%v22 vfmadb %v23,%v5,%v1,%v23 vlrepg %v1,24(\PTR_B_REG) vfmadb %v24,%v2,%v7,%v24 vfmadb %v25,%v3,%v7,%v25 vfmadb %v26,%v4,%v7,%v26 vfmadb %v27,%v5,%v7,%v27 vfmadb %v28,%v2,%v1,%v28 vfmadb %v29,%v3,%v1,%v29 vfmadb %v30,%v4,%v1,%v30 vfmadb %v31,%v5,%v1,%v31 vlrepg %v7, 32(\PTR_B_REG) vlrepg %v1,40(\PTR_B_REG) vl %v2, 64(\PTR_A_REG) vl %v3, 80(\PTR_A_REG) vl %v4, 96(\PTR_A_REG) vl %v5, 112(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 vfmadb %v18,%v4,%v7,%v18 vfmadb %v19,%v5,%v7,%v19 vfmadb %v20,%v2,%v1,%v20 vfmadb %v21,%v3,%v1,%v21 vlrepg %v7,48(\PTR_B_REG) vfmadb %v22,%v4,%v1,%v22 vfmadb %v23,%v5,%v1,%v23 vlrepg %v1,56(\PTR_B_REG) vfmadb %v24,%v2,%v7,%v24 vfmadb %v25,%v3,%v7,%v25 vfmadb %v26,%v4,%v7,%v26 vfmadb %v27,%v5,%v7,%v27 vfmadb %v28,%v2,%v1,%v28 vfmadb %v29,%v3,%v1,%v29 vfmadb %v30,%v4,%v1,%v30 vfmadb %v31,%v5,%v1,%v31 vlrepg %v7, 64(\PTR_B_REG) vlrepg %v1,72(\PTR_B_REG) vl %v2, 128(\PTR_A_REG) vl %v3, 144(\PTR_A_REG) vl %v4, 160(\PTR_A_REG) vl %v5, 176(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 vfmadb %v18,%v4,%v7,%v18 vfmadb %v19,%v5,%v7,%v19 vfmadb %v20,%v2,%v1,%v20 vfmadb %v21,%v3,%v1,%v21 vlrepg %v7,80(\PTR_B_REG) vfmadb %v22,%v4,%v1,%v22 vfmadb %v23,%v5,%v1,%v23 vlrepg %v1,88(\PTR_B_REG) vfmadb %v24,%v2,%v7,%v24 vfmadb %v25,%v3,%v7,%v25 vfmadb %v26,%v4,%v7,%v26 vfmadb %v27,%v5,%v7,%v27 vfmadb %v28,%v2,%v1,%v28 vfmadb %v29,%v3,%v1,%v29 vfmadb %v30,%v4,%v1,%v30 vfmadb %v31,%v5,%v1,%v31 vlrepg %v7, 96(\PTR_B_REG) vlrepg %v1,104(\PTR_B_REG) vl %v2, 192(\PTR_A_REG) vl %v3, 208(\PTR_A_REG) vl %v4, 224(\PTR_A_REG) vl %v5, 240(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 vfmadb %v18,%v4,%v7,%v18 vfmadb %v19,%v5,%v7,%v19 vfmadb %v20,%v2,%v1,%v20 vfmadb %v21,%v3,%v1,%v21 vlrepg %v7,112(\PTR_B_REG) vfmadb %v22,%v4,%v1,%v22 vfmadb %v23,%v5,%v1,%v23 vlrepg %v1,120(\PTR_B_REG) vfmadb %v24,%v2,%v7,%v24 vfmadb %v25,%v3,%v7,%v25 vfmadb %v26,%v4,%v7,%v26 vfmadb %v27,%v5,%v7,%v27 la \PTR_B_REG, 128(\PTR_B_REG) vfmadb %v28,%v2,%v1,%v28 vfmadb %v29,%v3,%v1,%v29 vfmadb %v30,%v4,%v1,%v30 la \PTR_A_REG, 256(\PTR_A_REG) vfmadb %v31,%v5,%v1,%v31 .endm /*STORE C8X4*/ .macro STORE_8x4 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL /*add LDC_BYTE_reg=LDC_BYTE_original<<1 */ la LOCAL_VAR1,0(\LDC_BYTE_ORIGINAL, \LDC_BYTE_ORIGINAL) vl %v1,0(\CIJ_REG) vfmadb %v1,%v16,\ALPHA_VECREG,%v1 vst %v1,0(\CIJ_REG) vl %v2,16(\CIJ_REG) vfmadb %v2,%v17,\ALPHA_VECREG,%v2 vst %v2,16(\CIJ_REG) vl %v3,32(\CIJ_REG) vfmadb %v3,%v18,\ALPHA_VECREG,%v3 vst %v3,32(\CIJ_REG) vl %v4,48(\CIJ_REG) vfmadb %v4,%v19,\ALPHA_VECREG,%v4 vst %v4,48(\CIJ_REG) la LOCAL_VAR2,0(LOCAL_VAR1,\LDC_BYTE_ORIGINAL ) /*add c LDC_BYTE*/ vl %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) vfmadb %v1,%v20,\ALPHA_VECREG,%v1 vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) vl %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL) vfmadb %v2,%v21,\ALPHA_VECREG,%v2 vst %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL) vl %v3,32(\CIJ_REG,\LDC_BYTE_ORIGINAL) vfmadb %v3,%v22,\ALPHA_VECREG,%v3 vst %v3,32(\CIJ_REG,\LDC_BYTE_ORIGINAL) vl %v4,48(\CIJ_REG,\LDC_BYTE_ORIGINAL) vfmadb %v4,%v23,\ALPHA_VECREG,%v4 vst %v4,48(\CIJ_REG,\LDC_BYTE_ORIGINAL) vl %v1,0(\CIJ_REG,LOCAL_VAR1) vfmadb %v1,%v24,\ALPHA_VECREG,%v1 vst %v1,0(\CIJ_REG,LOCAL_VAR1) vl %v2,16(\CIJ_REG,LOCAL_VAR1) vfmadb %v2,%v25,\ALPHA_VECREG,%v2 vst %v2,16(\CIJ_REG,LOCAL_VAR1) vl %v3,32(\CIJ_REG,LOCAL_VAR1) vfmadb %v3,%v26,\ALPHA_VECREG,%v3 vst %v3,32(\CIJ_REG,LOCAL_VAR1) vl %v4,48(\CIJ_REG,LOCAL_VAR1) vfmadb %v4,%v27,\ALPHA_VECREG,%v4 vst %v4,48(\CIJ_REG,LOCAL_VAR1) vl %v1,0(\CIJ_REG,LOCAL_VAR2) vfmadb %v1,%v28,\ALPHA_VECREG,%v1 vst %v1,0(\CIJ_REG,LOCAL_VAR2) vl %v2,16(\CIJ_REG,LOCAL_VAR2) vfmadb %v2,%v29,\ALPHA_VECREG,%v2 vst %v2,16(\CIJ_REG,LOCAL_VAR2) vl %v3,32(\CIJ_REG,LOCAL_VAR2) vfmadb %v3,%v30,\ALPHA_VECREG,%v3 vst %v3,32(\CIJ_REG,LOCAL_VAR2) vl %v4,48(\CIJ_REG,LOCAL_VAR2) vfmadb %v4,%v31,\ALPHA_VECREG,%v4 vst %v4,48(\CIJ_REG,LOCAL_VAR2) la \CIJ_REG,64(\CIJ_REG) .endm /*STORE TRMM C8X4*/ .macro STORE_TRMM_8x4 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL /*add LDC_BYTE_reg=LDC_BYTE_original<<1 */ la LOCAL_VAR1,0(\LDC_BYTE_ORIGINAL, \LDC_BYTE_ORIGINAL) vfmdb %v1,%v16,\ALPHA_VECREG vst %v1,0(\CIJ_REG) vfmdb %v2,%v17,\ALPHA_VECREG vst %v2,16(\CIJ_REG) vfmdb %v3,%v18,\ALPHA_VECREG vst %v3,32(\CIJ_REG) vfmdb %v4,%v19,\ALPHA_VECREG vst %v4,48(\CIJ_REG) la LOCAL_VAR2,0(LOCAL_VAR1,\LDC_BYTE_ORIGINAL ) /*add c LDC_BYTE*/ vfmdb %v1,%v20,\ALPHA_VECREG vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) vfmdb %v2,%v21,\ALPHA_VECREG vst %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL) vfmdb %v3,%v22,\ALPHA_VECREG vst %v3,32(\CIJ_REG,\LDC_BYTE_ORIGINAL) vfmdb %v4,%v23,\ALPHA_VECREG vst %v4,48(\CIJ_REG,\LDC_BYTE_ORIGINAL) vfmdb %v1,%v24,\ALPHA_VECREG vst %v1,0(\CIJ_REG,LOCAL_VAR1) vfmdb %v2,%v25,\ALPHA_VECREG vst %v2,16(\CIJ_REG,LOCAL_VAR1) vfmdb %v3,%v26,\ALPHA_VECREG vst %v3,32(\CIJ_REG,LOCAL_VAR1) vfmdb %v4,%v27,\ALPHA_VECREG vst %v4,48(\CIJ_REG,LOCAL_VAR1) vfmdb %v1,%v28,\ALPHA_VECREG vst %v1,0(\CIJ_REG,LOCAL_VAR2) vfmdb %v2,%v29,\ALPHA_VECREG vst %v2,16(\CIJ_REG,LOCAL_VAR2) vfmdb %v3,%v30,\ALPHA_VECREG vst %v3,32(\CIJ_REG,LOCAL_VAR2) vfmdb %v4,%v31,\ALPHA_VECREG vst %v4,48(\CIJ_REG,LOCAL_VAR2) la \CIJ_REG,64(\CIJ_REG) .endm /**************************************Kernel4x4*************************************************/ /*Zero C block Vectors*/ .macro ZERO_CVEC_4x4 vzero %v16 vzero %v17 vzero %v20 vzero %v21 vzero %v24 vzero %v25 vzero %v28 vzero %v29 .endm /*Calculate for 4x4 C blocks*/ .macro CALC_4x4 PTR_A_REG,PTR_B_REG vlrepg %v7, 0(\PTR_B_REG) vlrepg %v1,8(\PTR_B_REG) vl %v2, 0(\PTR_A_REG) vl %v3, 16(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 vfmadb %v20,%v2,%v1,%v20 vfmadb %v21,%v3,%v1,%v21 vlrepg %v7,16(\PTR_B_REG) vlrepg %v1,24(\PTR_B_REG) vfmadb %v24,%v2,%v7,%v24 vfmadb %v25,%v3,%v7,%v25 la \PTR_A_REG, 32(\PTR_A_REG) vfmadb %v28,%v2,%v1,%v28 vfmadb %v29,%v3,%v1,%v29 la \PTR_B_REG, 32(\PTR_B_REG) .endm .macro CALC_4x4_4 PTR_A_REG,PTR_B_REG vlrepg %v7, 0(\PTR_B_REG) vlrepg %v1,8(\PTR_B_REG) vl %v2, 0(\PTR_A_REG) vl %v3, 16(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 vfmadb %v20,%v2,%v1,%v20 vfmadb %v21,%v3,%v1,%v21 vlrepg %v7,16(\PTR_B_REG) vlrepg %v1,24(\PTR_B_REG) vfmadb %v24,%v2,%v7,%v24 vfmadb %v25,%v3,%v7,%v25 vfmadb %v28,%v2,%v1,%v28 vfmadb %v29,%v3,%v1,%v29 vlrepg %v7, 32(\PTR_B_REG) vlrepg %v1,40(\PTR_B_REG) vl %v2, 32(\PTR_A_REG) vl %v3, 48(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 vfmadb %v20,%v2,%v1,%v20 vfmadb %v21,%v3,%v1,%v21 vlrepg %v7,48(\PTR_B_REG) vlrepg %v1,56(\PTR_B_REG) vfmadb %v24,%v2,%v7,%v24 vfmadb %v25,%v3,%v7,%v25 vfmadb %v28,%v2,%v1,%v28 vfmadb %v29,%v3,%v1,%v29 vlrepg %v7, 64(\PTR_B_REG) vlrepg %v1,72(\PTR_B_REG) vl %v2, 64(\PTR_A_REG) vl %v3, 80(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 vfmadb %v20,%v2,%v1,%v20 vfmadb %v21,%v3,%v1,%v21 vlrepg %v7,80(\PTR_B_REG) vlrepg %v1,88(\PTR_B_REG) vfmadb %v24,%v2,%v7,%v24 vfmadb %v25,%v3,%v7,%v25 vfmadb %v28,%v2,%v1,%v28 vfmadb %v29,%v3,%v1,%v29 vlrepg %v7, 96(\PTR_B_REG) vlrepg %v1,104(\PTR_B_REG) vl %v2, 96(\PTR_A_REG) vl %v3, 112(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 vfmadb %v20,%v2,%v1,%v20 vfmadb %v21,%v3,%v1,%v21 vlrepg %v7,112(\PTR_B_REG) la \PTR_A_REG, 128(\PTR_A_REG) vlrepg %v1,120(\PTR_B_REG) vfmadb %v24,%v2,%v7,%v24 vfmadb %v25,%v3,%v7,%v25 vfmadb %v28,%v2,%v1,%v28 la \PTR_B_REG, 128(\PTR_B_REG) vfmadb %v29,%v3,%v1,%v29 .endm /*STORE C4X4*/ .macro STORE_4x4 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL /*add LDC_BYTE_reg=LDC_BYTE_original<<1 */ la LOCAL_VAR1,0(\LDC_BYTE_ORIGINAL, \LDC_BYTE_ORIGINAL) vl %v1,0(\CIJ_REG) vfmadb %v1,%v16,\ALPHA_VECREG,%v1 vst %v1,0(\CIJ_REG) vl %v2,16(\CIJ_REG) vfmadb %v2,%v17,\ALPHA_VECREG,%v2 vst %v2,16(\CIJ_REG) la LOCAL_VAR2,0(LOCAL_VAR1,\LDC_BYTE_ORIGINAL ) /*add c LDC_BYTE*/ vl %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) vfmadb %v1,%v20,\ALPHA_VECREG,%v1 vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) vl %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL) vfmadb %v2,%v21,\ALPHA_VECREG,%v2 vst %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL) vl %v1,0(\CIJ_REG,LOCAL_VAR1) vfmadb %v1,%v24,\ALPHA_VECREG,%v1 vst %v1,0(\CIJ_REG,LOCAL_VAR1) vl %v2,16(\CIJ_REG,LOCAL_VAR1) vfmadb %v2,%v25,\ALPHA_VECREG,%v2 vst %v2,16(\CIJ_REG,LOCAL_VAR1) vl %v1,0(\CIJ_REG,LOCAL_VAR2) vfmadb %v1,%v28,\ALPHA_VECREG,%v1 vst %v1,0(\CIJ_REG,LOCAL_VAR2) vl %v2,16(\CIJ_REG,LOCAL_VAR2) vfmadb %v2,%v29,\ALPHA_VECREG,%v2 vst %v2,16(\CIJ_REG,LOCAL_VAR2) la \CIJ_REG,32(\CIJ_REG) .endm /*STORE TRMM C4X4*/ .macro STORE_TRMM_4x4 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL /*add LDC_BYTE_reg=LDC_BYTE_original<<1 */ la LOCAL_VAR1,0(\LDC_BYTE_ORIGINAL, \LDC_BYTE_ORIGINAL) vfmdb %v1,%v16,\ALPHA_VECREG vst %v1,0(\CIJ_REG) vfmdb %v2,%v17,\ALPHA_VECREG vst %v2,16(\CIJ_REG) la LOCAL_VAR2,0(LOCAL_VAR1,\LDC_BYTE_ORIGINAL ) vfmdb %v1,%v20,\ALPHA_VECREG vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) vfmdb %v2,%v21,\ALPHA_VECREG vst %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL) vfmdb %v1,%v24,\ALPHA_VECREG vst %v1,0(\CIJ_REG,LOCAL_VAR1) vfmdb %v2,%v25,\ALPHA_VECREG vst %v2,16(\CIJ_REG,LOCAL_VAR1) vfmdb %v1,%v28,\ALPHA_VECREG vst %v1,0(\CIJ_REG,LOCAL_VAR2) vfmdb %v2,%v29,\ALPHA_VECREG vst %v2,16(\CIJ_REG,LOCAL_VAR2) la \CIJ_REG,32(\CIJ_REG) .endm /**************************************Kernel2x4*************************************************/ /*Zero C block Vectors*/ .macro ZERO_CVEC_2x4 vzero %v1 /*a1b1 a1b2 */ vzero %v2 /*a1b3 a1b4 */ vzero %v6 /*a2b1 a2b2 */ vzero %v7 /*a2b3 a2b4 */ .endm /*Calculate for 2x4_4 C blocks.This Time BroadCast A. but Load B multiple*/ .macro CALC_2x4_4 PTR_A_REG,PTR_B_REG vl %v4, 0(\PTR_B_REG) vl %v5,16(\PTR_B_REG) vlrepg %v3, 0(\PTR_A_REG) vlrepg %v16, 8(\PTR_A_REG) vfmadb %v1,%v3,%v4,%v1 vfmadb %v2,%v3,%v5,%v2 vfmadb %v6,%v16,%v4,%v6 vfmadb %v7,%v16,%v5,%v7 vl %v4, 32(\PTR_B_REG) vl %v5,48(\PTR_B_REG) vlrepg %v3, 16(\PTR_A_REG) vlrepg %v16, 24(\PTR_A_REG) vfmadb %v1,%v3,%v4,%v1 vfmadb %v2,%v3,%v5,%v2 vfmadb %v6,%v16,%v4,%v6 vfmadb %v7,%v16,%v5,%v7 vl %v4, 64(\PTR_B_REG) vl %v5,80(\PTR_B_REG) vlrepg %v3, 32(\PTR_A_REG) vlrepg %v16, 40(\PTR_A_REG) vfmadb %v1,%v3,%v4,%v1 vfmadb %v2,%v3,%v5,%v2 vfmadb %v6,%v16,%v4,%v6 vfmadb %v7,%v16,%v5,%v7 vl %v4, 96(\PTR_B_REG) vl %v5,112(\PTR_B_REG) vlrepg %v3, 48(\PTR_A_REG) vlrepg %v16, 56(\PTR_A_REG) vfmadb %v1,%v3,%v4,%v1 vfmadb %v2,%v3,%v5,%v2 la \PTR_B_REG, 128(\PTR_B_REG) vfmadb %v6,%v16,%v4,%v6 vfmadb %v7,%v16,%v5,%v7 la \PTR_A_REG, 64(\PTR_A_REG) .endm /*Calculate for 2x4 C blocks.This Time BroadCast A. but Load B multiple*/ .macro CALC_2x4 PTR_A_REG,PTR_B_REG vl %v4, 0(\PTR_B_REG) vl %v5,16(\PTR_B_REG) vlrepg %v3, 0(\PTR_A_REG) vlrepg %v16, 8(\PTR_A_REG) vfmadb %v1,%v3,%v4,%v1 vfmadb %v2,%v3,%v5,%v2 la \PTR_A_REG, 16(\PTR_A_REG) vfmadb %v6,%v16,%v4,%v6 vfmadb %v7,%v16,%v5,%v7 la \PTR_B_REG, 32(\PTR_B_REG) .endm .macro STORE_2x4 ALPHA_REG,CIJ_REG , LDC_BYTE_ORIGINAL /**/ vfmdb %v1,%v1,\ALPHA_REG vfmdb %v2,%v2,\ALPHA_REG vfmdb %v6,%v6,\ALPHA_REG vfmdb %v7,%v7,\ALPHA_REG vrepg %v4,%v1,1 vrepg %v5,%v6,1 la LOCAL_VAR1,0(\LDC_BYTE_ORIGINAL, \LDC_BYTE_ORIGINAL) adb %f1, 0(\CIJ_REG) std %f1,0(\CIJ_REG) adb %f6, 8(\CIJ_REG) std %f6,8(\CIJ_REG) adb %f4,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) std %f4,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) adb %f5,8(\CIJ_REG,\LDC_BYTE_ORIGINAL) std %f5,8(\CIJ_REG,\LDC_BYTE_ORIGINAL) /*add LDC_BYTE */ la LOCAL_VAR2,0(LOCAL_VAR1,\LDC_BYTE_ORIGINAL ) vrepg %v4,%v2,1 vrepg %v5,%v7,1 adb %f2,0(\CIJ_REG,LOCAL_VAR1) std %f2,0(\CIJ_REG,LOCAL_VAR1) adb %f7,8(\CIJ_REG,LOCAL_VAR1) std %f7,8(\CIJ_REG,LOCAL_VAR1) adb %f4,0(\CIJ_REG,LOCAL_VAR2) std %f4,0(\CIJ_REG,LOCAL_VAR2) adb %f5,8(\CIJ_REG,LOCAL_VAR2) std %f5,8(\CIJ_REG,LOCAL_VAR2) la \CIJ_REG,16(\CIJ_REG) .endm .macro STORE_TRMM_2x4 ALPHA_REG,CIJ_REG , LDC_BYTE_ORIGINAL /**/ vfmdb %v1,%v1,\ALPHA_REG vfmdb %v2,%v2,\ALPHA_REG vfmdb %v6,%v6,\ALPHA_REG vfmdb %v7,%v7,\ALPHA_REG vrepg %v4,%v1,1 vrepg %v5,%v6,1 la LOCAL_VAR1,0(\LDC_BYTE_ORIGINAL, \LDC_BYTE_ORIGINAL) std %f1,0(\CIJ_REG) std %f6,8(\CIJ_REG) std %f4,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) std %f5,8(\CIJ_REG,\LDC_BYTE_ORIGINAL) /*add LDC_BYTE */ la LOCAL_VAR2,0(LOCAL_VAR1,\LDC_BYTE_ORIGINAL ) vrepg %v4,%v2,1 vrepg %v5,%v7,1 std %f2,0(\CIJ_REG,LOCAL_VAR1) std %f7,8(\CIJ_REG,LOCAL_VAR1) std %f4,0(\CIJ_REG,LOCAL_VAR2) std %f5,8(\CIJ_REG,LOCAL_VAR2) la \CIJ_REG,16(\CIJ_REG) .endm /**************************************Kernel1x4*************************************************/ /*Zero C block Vectors*/ .macro ZERO_CVEC_1x4 vzero %v1 vzero %v2 .endm /*Calculate for 1x4 C blocks.This Time BroadCast A. but Load B multiple*/ .macro CALC_1x4 PTR_A_REG,PTR_B_REG vl %v4, 0(\PTR_B_REG) vl %v5,16(\PTR_B_REG) vlrepg %v3, 0(\PTR_A_REG) vfmadb %v1,%v3,%v4,%v1 la \PTR_A_REG, 8(\PTR_A_REG) vfmadb %v2,%v3,%v5,%v2 la \PTR_B_REG, 32(\PTR_B_REG) .endm /*Calculate for 1x4_4 C blocks.This Time BroadCast A. but Load B multiple*/ .macro CALC_1x4_4 PTR_A_REG,PTR_B_REG vl %v4, 0(\PTR_B_REG) vl %v5,16(\PTR_B_REG) vlrepg %v3, 0(\PTR_A_REG) vfmadb %v1,%v3,%v4,%v1 vfmadb %v2,%v3,%v5,%v2 vl %v4, 32(\PTR_B_REG) vl %v5,48(\PTR_B_REG) vlrepg %v3, 8(\PTR_A_REG) vfmadb %v1,%v3,%v4,%v1 vfmadb %v2,%v3,%v5,%v2 vl %v4, 64(\PTR_B_REG) vl %v5,80(\PTR_B_REG) vlrepg %v3, 16(\PTR_A_REG) vfmadb %v1,%v3,%v4,%v1 vfmadb %v2,%v3,%v5,%v2 vl %v4, 96(\PTR_B_REG) vl %v5,112(\PTR_B_REG) vlrepg %v3, 24(\PTR_A_REG) vfmadb %v1,%v3,%v4,%v1 vfmadb %v2,%v3,%v5,%v2 la \PTR_A_REG, 32(\PTR_A_REG) la \PTR_B_REG, 128(\PTR_B_REG) .endm .macro STORE_1x4 ALPHA_REG,CIJ_REG , LDC_BYTE_ORIGINAL /**/ vfmdb %v1,%v1,\ALPHA_REG vfmdb %v2,%v2,\ALPHA_REG vrepg %v4,%v1,1 vrepg %v5,%v2,1 la LOCAL_VAR1,0(\LDC_BYTE_ORIGINAL, \LDC_BYTE_ORIGINAL) adb %f1, 0(\CIJ_REG) std %f1,0(\CIJ_REG) adb %f4,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) std %f4,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) /*add LDC_BYTE */ la LOCAL_VAR2,0(LOCAL_VAR1,\LDC_BYTE_ORIGINAL ) adb %f2,0(\CIJ_REG,LOCAL_VAR1) std %f2,0(\CIJ_REG,LOCAL_VAR1) adb %f5,0(\CIJ_REG,LOCAL_VAR2) std %f5,0(\CIJ_REG,LOCAL_VAR2) la \CIJ_REG,8(\CIJ_REG) .endm .macro STORE_TRMM_1x4 ALPHA_REG,CIJ_REG , LDC_BYTE_ORIGINAL /**/ vfmdb %v1,%v1,\ALPHA_REG vfmdb %v2,%v2,\ALPHA_REG vrepg %v4,%v1,1 vrepg %v5,%v2,1 la LOCAL_VAR1,0(\LDC_BYTE_ORIGINAL, \LDC_BYTE_ORIGINAL) std %f1,0(\CIJ_REG) std %f4,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) /*add LDC_BYTE */ la LOCAL_VAR2,0(LOCAL_VAR1,\LDC_BYTE_ORIGINAL ) std %f2,0(\CIJ_REG,LOCAL_VAR1) std %f5,0(\CIJ_REG,LOCAL_VAR2) la \CIJ_REG,8(\CIJ_REG) .endm /***************************************BN=2 SECTION***************************************/ /*************************************Kernel8x2***************************************************/ /*Zero C block Vectors*/ .macro ZERO_CVEC_8x2 vzero %v16 vzero %v17 vzero %v18 vzero %v19 vzero %v20 vzero %v21 vzero %v22 vzero %v23 .endm /*Calculate for 8x2 C blocks*/ .macro CALC_8x2 PTR_A_REG,PTR_B_REG vlrepg %v7, 0(\PTR_B_REG) vlrepg %v1,8(\PTR_B_REG) vl %v2, 0(\PTR_A_REG) vl %v3, 16(\PTR_A_REG) vl %v4, 32(\PTR_A_REG) vl %v5, 48(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 vfmadb %v18,%v4,%v7,%v18 vfmadb %v19,%v5,%v7,%v19 vfmadb %v20,%v2,%v1,%v20 vfmadb %v21,%v3,%v1,%v21 la \PTR_A_REG, 64(\PTR_A_REG) vfmadb %v22,%v4,%v1,%v22 vfmadb %v23,%v5,%v1,%v23 la \PTR_B_REG, 16(\PTR_B_REG) .endm /*Calculate for 8x2_4 C blocks*/ .macro CALC_8x2_4 PTR_A_REG,PTR_B_REG vlrepg %v7, 0(\PTR_B_REG) vlrepg %v1,8(\PTR_B_REG) vl %v2, 0(\PTR_A_REG) vl %v3, 16(\PTR_A_REG) vl %v4, 32(\PTR_A_REG) vl %v5, 48(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 vfmadb %v18,%v4,%v7,%v18 vfmadb %v19,%v5,%v7,%v19 vfmadb %v20,%v2,%v1,%v20 vfmadb %v21,%v3,%v1,%v21 vfmadb %v22,%v4,%v1,%v22 vfmadb %v23,%v5,%v1,%v23 vlrepg %v7, 16(\PTR_B_REG) vlrepg %v1,24(\PTR_B_REG) vl %v2, 64(\PTR_A_REG) vl %v3, 80(\PTR_A_REG) vl %v4, 96(\PTR_A_REG) vl %v5, 112(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 vfmadb %v18,%v4,%v7,%v18 vfmadb %v19,%v5,%v7,%v19 vfmadb %v20,%v2,%v1,%v20 vfmadb %v21,%v3,%v1,%v21 vfmadb %v22,%v4,%v1,%v22 vfmadb %v23,%v5,%v1,%v23 vlrepg %v7, 32(\PTR_B_REG) vlrepg %v1,40(\PTR_B_REG) vl %v2, 128(\PTR_A_REG) vl %v3, 144(\PTR_A_REG) vl %v4, 160(\PTR_A_REG) vl %v5, 176(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 vfmadb %v18,%v4,%v7,%v18 vfmadb %v19,%v5,%v7,%v19 vfmadb %v20,%v2,%v1,%v20 vfmadb %v21,%v3,%v1,%v21 vfmadb %v22,%v4,%v1,%v22 vfmadb %v23,%v5,%v1,%v23 vlrepg %v7, 48(\PTR_B_REG) vlrepg %v1,56(\PTR_B_REG) vl %v2, 192(\PTR_A_REG) vl %v3, 208(\PTR_A_REG) vl %v4, 224(\PTR_A_REG) vl %v5, 240(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 vfmadb %v18,%v4,%v7,%v18 vfmadb %v19,%v5,%v7,%v19 la \PTR_B_REG, 64(\PTR_B_REG) vfmadb %v20,%v2,%v1,%v20 vfmadb %v21,%v3,%v1,%v21 vfmadb %v22,%v4,%v1,%v22 vfmadb %v23,%v5,%v1,%v23 la \PTR_A_REG, 256(\PTR_A_REG) .endm /*STORE C8X2*/ .macro STORE_8x2 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL vl %v1,0(\CIJ_REG) vfmadb %v1,%v16,\ALPHA_VECREG,%v1 vst %v1,0(\CIJ_REG) vl %v2,16(\CIJ_REG) vfmadb %v2,%v17,\ALPHA_VECREG,%v2 vst %v2,16(\CIJ_REG) vl %v3,32(\CIJ_REG) vfmadb %v3,%v18,\ALPHA_VECREG,%v3 vst %v3,32(\CIJ_REG) vl %v4,48(\CIJ_REG) vfmadb %v4,%v19,\ALPHA_VECREG,%v4 vst %v4,48(\CIJ_REG) vl %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) vfmadb %v1,%v20,\ALPHA_VECREG,%v1 vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) vl %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL) vfmadb %v2,%v21,\ALPHA_VECREG,%v2 vst %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL) vl %v3,32(\CIJ_REG,\LDC_BYTE_ORIGINAL) vfmadb %v3,%v22,\ALPHA_VECREG,%v3 vst %v3,32(\CIJ_REG,\LDC_BYTE_ORIGINAL) vl %v4,48(\CIJ_REG,\LDC_BYTE_ORIGINAL) vfmadb %v4,%v23,\ALPHA_VECREG,%v4 vst %v4,48(\CIJ_REG,\LDC_BYTE_ORIGINAL) la \CIJ_REG,64(\CIJ_REG) .endm /*STORE TRMM C8X2*/ .macro STORE_TRMM_8x2 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL vfmdb %v1,%v16,\ALPHA_VECREG vst %v1,0(\CIJ_REG) vfmdb %v2,%v17,\ALPHA_VECREG vst %v2,16(\CIJ_REG) vfmdb %v3,%v18,\ALPHA_VECREG vst %v3,32(\CIJ_REG) vfmdb %v4,%v19,\ALPHA_VECREG vst %v4,48(\CIJ_REG) vfmdb %v1,%v20,\ALPHA_VECREG vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) vfmdb %v2,%v21,\ALPHA_VECREG vst %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL) vfmdb %v3,%v22,\ALPHA_VECREG vst %v3,32(\CIJ_REG,\LDC_BYTE_ORIGINAL) vfmdb %v4,%v23,\ALPHA_VECREG vst %v4,48(\CIJ_REG,\LDC_BYTE_ORIGINAL) la \CIJ_REG,64(\CIJ_REG) .endm /*************************************Kernel4x2***************************************************/ /*Zero C block Vectors*/ .macro ZERO_CVEC_4x2 vzero %v16 vzero %v17 vzero %v20 vzero %v21 .endm /*Calculate for 4x2 C blocks*/ .macro CALC_4x2 PTR_A_REG,PTR_B_REG vlrepg %v7, 0(\PTR_B_REG) vlrepg %v1,8(\PTR_B_REG) vl %v2, 0(\PTR_A_REG) vl %v3, 16(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 la \PTR_A_REG, 32(\PTR_A_REG) vfmadb %v20,%v2,%v1,%v20 vfmadb %v21,%v3,%v1,%v21 la \PTR_B_REG, 16(\PTR_B_REG) .endm /*Calculate for 4x2_4 C blocks*/ .macro CALC_4x2_4 PTR_A_REG,PTR_B_REG vlrepg %v7, 0(\PTR_B_REG) vlrepg %v1,8(\PTR_B_REG) vl %v2, 0(\PTR_A_REG) vl %v3, 16(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 vfmadb %v20,%v2,%v1,%v20 vfmadb %v21,%v3,%v1,%v21 vlrepg %v7, 16(\PTR_B_REG) vlrepg %v1,24(\PTR_B_REG) vl %v2, 32(\PTR_A_REG) vl %v3, 48(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 vfmadb %v20,%v2,%v1,%v20 vfmadb %v21,%v3,%v1,%v21 vlrepg %v7, 32(\PTR_B_REG) vlrepg %v1,40(\PTR_B_REG) vl %v2, 64(\PTR_A_REG) vl %v3, 80(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 vfmadb %v20,%v2,%v1,%v20 vfmadb %v21,%v3,%v1,%v21 vlrepg %v7, 48(\PTR_B_REG) vlrepg %v1,56(\PTR_B_REG) vl %v2, 96(\PTR_A_REG) vl %v3, 112(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 la \PTR_B_REG, 64(\PTR_B_REG) vfmadb %v20,%v2,%v1,%v20 vfmadb %v21,%v3,%v1,%v21 la \PTR_A_REG, 128(\PTR_A_REG) .endm /*STORE C4x2*/ .macro STORE_4x2 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL vl %v1,0(\CIJ_REG) vfmadb %v1,%v16,\ALPHA_VECREG,%v1 vst %v1,0(\CIJ_REG) vl %v2,16(\CIJ_REG) vfmadb %v2,%v17,\ALPHA_VECREG,%v2 vst %v2,16(\CIJ_REG) vl %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) vfmadb %v1,%v20,\ALPHA_VECREG,%v1 vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) vl %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL) vfmadb %v2,%v21,\ALPHA_VECREG,%v2 vst %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL) la \CIJ_REG,32(\CIJ_REG) .endm /*STORE TRMM C4x2*/ .macro STORE_TRMM_4x2 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL vfmdb %v1,%v16,\ALPHA_VECREG vst %v1,0(\CIJ_REG) vfmdb %v2,%v17,\ALPHA_VECREG vst %v2,16(\CIJ_REG) vfmdb %v1,%v20,\ALPHA_VECREG vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) vfmdb %v2,%v21,\ALPHA_VECREG vst %v2,16(\CIJ_REG,\LDC_BYTE_ORIGINAL) la \CIJ_REG,32(\CIJ_REG) .endm /*************************************Kernel2x2***************************************************/ /*Zero C block Vectors*/ .macro ZERO_CVEC_2x2 vzero %v16 vzero %v20 .endm /*Calculate for 2x2 C blocks*/ .macro CALC_2x2 PTR_A_REG,PTR_B_REG vlrepg %v7, 0(\PTR_B_REG) vlrepg %v1,8(\PTR_B_REG) vl %v2, 0(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 la \PTR_A_REG, 16(\PTR_A_REG) vfmadb %v20,%v2,%v1,%v20 la \PTR_B_REG, 16(\PTR_B_REG) .endm /*Calculate for 2x2_4 C blocks*/ .macro CALC_2x2_4 PTR_A_REG,PTR_B_REG vlrepg %v7, 0(\PTR_B_REG) vlrepg %v1,8(\PTR_B_REG) vl %v2, 0(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v20,%v2,%v1,%v20 vlrepg %v7, 16(\PTR_B_REG) vlrepg %v1,24(\PTR_B_REG) vl %v2, 16(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v20,%v2,%v1,%v20 vlrepg %v7, 32(\PTR_B_REG) vlrepg %v1,40(\PTR_B_REG) vl %v2, 32(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v20,%v2,%v1,%v20 vlrepg %v7, 48(\PTR_B_REG) vlrepg %v1,56(\PTR_B_REG) vl %v2, 48(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v20,%v2,%v1,%v20 la \PTR_B_REG, 64(\PTR_B_REG) la \PTR_A_REG, 64(\PTR_A_REG) .endm /*STORE C2x2*/ .macro STORE_2x2 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL vl %v1,0(\CIJ_REG) vfmadb %v1,%v16,\ALPHA_VECREG,%v1 vst %v1,0(\CIJ_REG) vl %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) vfmadb %v1,%v20,\ALPHA_VECREG,%v1 vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) la \CIJ_REG,16(\CIJ_REG) .endm /*STORE TRMM C2x2*/ .macro STORE_TRMM_2x2 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL vfmdb %v1,%v16,\ALPHA_VECREG vst %v1,0(\CIJ_REG) vfmdb %v1,%v20,\ALPHA_VECREG vst %v1,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) la \CIJ_REG,16(\CIJ_REG) .endm /**************************************Kernel1x2*************************************************/ /*Zero C block Vectors*/ .macro ZERO_CVEC_1x2 vzero %v1 .endm /*Calculate for 1x2 C blocks.This Time BroadCast A. but Load B multiple*/ .macro CALC_1x2 PTR_A_REG,PTR_B_REG vl %v4, 0(\PTR_B_REG) vlrepg %v3, 0(\PTR_A_REG) la \PTR_B_REG, 16(\PTR_B_REG) vfmadb %v1,%v3,%v4,%v1 la \PTR_A_REG, 8(\PTR_A_REG) .endm .macro CALC_1x2_4 PTR_A_REG,PTR_B_REG vl %v4, 0(\PTR_B_REG) vlrepg %v3, 0(\PTR_A_REG) vfmadb %v1,%v3,%v4,%v1 vl %v4, 16(\PTR_B_REG) vlrepg %v3, 8(\PTR_A_REG) vfmadb %v1,%v3,%v4,%v1 vl %v4, 32(\PTR_B_REG) vlrepg %v3, 16(\PTR_A_REG) vfmadb %v1,%v3,%v4,%v1 vl %v4, 48(\PTR_B_REG) vlrepg %v3, 24(\PTR_A_REG) vfmadb %v1,%v3,%v4,%v1 la \PTR_B_REG, 64(\PTR_B_REG) la \PTR_A_REG, 32(\PTR_A_REG) .endm .macro STORE_1x2 ALPHA_REG,CIJ_REG , LDC_BYTE_ORIGINAL /**/ vfmdb %v1,%v1,\ALPHA_REG vrepg %v4,%v1,1 adb %f1, 0(\CIJ_REG) std %f1,0(\CIJ_REG) adb %f4,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) std %f4,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) la \CIJ_REG,8(\CIJ_REG) .endm .macro STORE_TRMM_1x2 ALPHA_REG,CIJ_REG , LDC_BYTE_ORIGINAL /**/ vfmdb %v1,%v1,\ALPHA_REG vrepg %v4,%v1,1 std %f1,0(\CIJ_REG) std %f4,0(\CIJ_REG,\LDC_BYTE_ORIGINAL) la \CIJ_REG,8(\CIJ_REG) .endm /**************************************BN=1*******************************************************/ /*************************************Kernel8x1***************************************************/ /*Zero C block Vectors*/ .macro ZERO_CVEC_8x1 vzero %v16 vzero %v17 vzero %v18 vzero %v19 .endm /*Calculate for 8x1 C blocks*/ .macro CALC_8x1 PTR_A_REG,PTR_B_REG vlrepg %v7, 0(\PTR_B_REG) vl %v2, 0(\PTR_A_REG) vl %v3, 16(\PTR_A_REG) vl %v4, 32(\PTR_A_REG) vl %v5, 48(\PTR_A_REG) la \PTR_B_REG, 8(\PTR_B_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 vfmadb %v18,%v4,%v7,%v18 la \PTR_A_REG, 64(\PTR_A_REG) vfmadb %v19,%v5,%v7,%v19 .endm /*Calculate for 8x1_4 C blocks*/ .macro CALC_8x1_4 PTR_A_REG,PTR_B_REG vlrepg %v7, 0(\PTR_B_REG) vl %v2, 0(\PTR_A_REG) vl %v3, 16(\PTR_A_REG) vl %v4, 32(\PTR_A_REG) vl %v5, 48(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 vfmadb %v18,%v4,%v7,%v18 vfmadb %v19,%v5,%v7,%v19 vlrepg %v7, 8(\PTR_B_REG) vl %v2, 64(\PTR_A_REG) vl %v3, 80(\PTR_A_REG) vl %v4, 96(\PTR_A_REG) vl %v5, 112(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 vfmadb %v18,%v4,%v7,%v18 vfmadb %v19,%v5,%v7,%v19 vlrepg %v7, 16(\PTR_B_REG) vl %v2, 128(\PTR_A_REG) vl %v3, 144(\PTR_A_REG) vl %v4, 160(\PTR_A_REG) vl %v5, 176(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 vfmadb %v18,%v4,%v7,%v18 vfmadb %v19,%v5,%v7,%v19 vlrepg %v7, 24(\PTR_B_REG) vl %v2, 192(\PTR_A_REG) vl %v3, 208(\PTR_A_REG) vl %v4, 224(\PTR_A_REG) vl %v5, 240(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 vfmadb %v18,%v4,%v7,%v18 vfmadb %v19,%v5,%v7,%v19 la \PTR_A_REG, 256(\PTR_A_REG) la \PTR_B_REG, 32(\PTR_B_REG) .endm /*STORE C8X1*/ .macro STORE_8x1 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL vl %v1,0(\CIJ_REG) vfmadb %v1,%v16,\ALPHA_VECREG,%v1 vst %v1,0(\CIJ_REG) vl %v2,16(\CIJ_REG) vfmadb %v2,%v17,\ALPHA_VECREG,%v2 vst %v2,16(\CIJ_REG) vl %v3,32(\CIJ_REG) vfmadb %v3,%v18,\ALPHA_VECREG,%v3 vst %v3,32(\CIJ_REG) vl %v4,48(\CIJ_REG) vfmadb %v4,%v19,\ALPHA_VECREG,%v4 vst %v4,48(\CIJ_REG) la \CIJ_REG,64(\CIJ_REG) .endm /*STORE TRMM C8X1*/ .macro STORE_TRMM_8x1 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL vfmdb %v1,%v16,\ALPHA_VECREG vst %v1,0(\CIJ_REG) vfmdb %v2,%v17,\ALPHA_VECREG vst %v2,16(\CIJ_REG) vfmdb %v3,%v18,\ALPHA_VECREG vst %v3,32(\CIJ_REG) vfmdb %v4,%v19,\ALPHA_VECREG vst %v4,48(\CIJ_REG) la \CIJ_REG,64(\CIJ_REG) .endm /*************************************Kernel4x1***************************************************/ /*Zero C block Vectors*/ .macro ZERO_CVEC_4x1 vzero %v16 vzero %v17 .endm /*Calculate for 4x1 C blocks*/ .macro CALC_4x1 PTR_A_REG,PTR_B_REG vlrepg %v7, 0(\PTR_B_REG) vl %v2, 0(\PTR_A_REG) vl %v3, 16(\PTR_A_REG) la \PTR_B_REG, 8(\PTR_B_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 la \PTR_A_REG, 32(\PTR_A_REG) .endm /*Calculate for 4x1_4 C blocks*/ .macro CALC_4x1_4 PTR_A_REG,PTR_B_REG vlrepg %v7, 0(\PTR_B_REG) vl %v2, 0(\PTR_A_REG) vl %v3, 16(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 vlrepg %v7, 8(\PTR_B_REG) vl %v2, 32(\PTR_A_REG) vl %v3, 48(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 vlrepg %v7, 16(\PTR_B_REG) vl %v2, 64(\PTR_A_REG) vl %v3, 80(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 vlrepg %v7, 24(\PTR_B_REG) vl %v2, 96(\PTR_A_REG) vl %v3, 112(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vfmadb %v17,%v3,%v7,%v17 la \PTR_B_REG, 32(\PTR_B_REG) la \PTR_A_REG, 128(\PTR_A_REG) .endm /*STORE C4X1*/ .macro STORE_4x1 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL vl %v1,0(\CIJ_REG) vfmadb %v1,%v16,\ALPHA_VECREG,%v1 vst %v1,0(\CIJ_REG) vl %v2,16(\CIJ_REG) vfmadb %v2,%v17,\ALPHA_VECREG,%v2 vst %v2,16(\CIJ_REG) la \CIJ_REG,32(\CIJ_REG) .endm /*STORE TRMM C4X1*/ .macro STORE_TRMM_4x1 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL vfmdb %v1,%v16,\ALPHA_VECREG vst %v1,0(\CIJ_REG) vfmdb %v2,%v17,\ALPHA_VECREG vst %v2,16(\CIJ_REG) la \CIJ_REG,32(\CIJ_REG) .endm /*************************************Kernel2x1***************************************************/ /*Zero C block Vectors*/ .macro ZERO_CVEC_2x1 vzero %v16 .endm /*Calculate for 2x1 C blocks*/ .macro CALC_2x1 PTR_A_REG,PTR_B_REG vlrepg %v7, 0(\PTR_B_REG) vl %v2, 0(\PTR_A_REG) la \PTR_B_REG, 8(\PTR_B_REG) vfmadb %v16,%v2,%v7,%v16 la \PTR_A_REG, 16(\PTR_A_REG) .endm /*Calculate for 2x1_4 C blocks*/ .macro CALC_2x1_4 PTR_A_REG,PTR_B_REG vlrepg %v7, 0(\PTR_B_REG) vl %v2, 0(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vlrepg %v7, 8(\PTR_B_REG) vl %v2, 16(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vlrepg %v7, 16(\PTR_B_REG) vl %v2, 32(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 vlrepg %v7, 24(\PTR_B_REG) vl %v2, 48(\PTR_A_REG) vfmadb %v16,%v2,%v7,%v16 la \PTR_B_REG, 32(\PTR_B_REG) la \PTR_A_REG, 64(\PTR_A_REG) .endm /*STORE C2X1*/ .macro STORE_2x1 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL vl %v1,0(\CIJ_REG) vfmadb %v1,%v16,\ALPHA_VECREG,%v1 vst %v1,0(\CIJ_REG) la \CIJ_REG,16(\CIJ_REG) .endm /*STORE TRMM C2X1*/ .macro STORE_TRMM_2x1 ALPHA_VECREG,CIJ_REG , LDC_BYTE_ORIGINAL vfmdb %v1,%v16,\ALPHA_VECREG vst %v1,0(\CIJ_REG) la \CIJ_REG,16(\CIJ_REG) .endm /*************************************Kernel1x1***************************************************/ /*Zero C block Vectors*/ .macro ZERO_CVEC_1x1 LZDR %f1 .endm /*Calculate for 1x1 C blocks*/ .macro CALC_1x1 PTR_A_REG,PTR_B_REG ld %f2,0(\PTR_A_REG) /**a*/ la \PTR_A_REG,8(\PTR_A_REG) madb %f1,%f2,0(\PTR_B_REG) la \PTR_B_REG,8(\PTR_B_REG) .endm /*Calculate for 1x1_4 C blocks*/ .macro CALC_1x1_4 PTR_A_REG,PTR_B_REG ld %f2,0(\PTR_A_REG) /**a*/ madb %f1,%f2,0(\PTR_B_REG) ld %f2,8(\PTR_A_REG) /**a*/ madb %f1,%f2,8(\PTR_B_REG) ld %f2,16(\PTR_A_REG) /**a*/ madb %f1,%f2,16(\PTR_B_REG) ld %f2,24(\PTR_A_REG) /**a*/ madb %f1,%f2,24(\PTR_B_REG) la \PTR_A_REG,32(\PTR_A_REG) la \PTR_B_REG,32(\PTR_B_REG) .endm /*STORE C1X1*/ .macro STORE_1x1 ALPHA_FLOAT,CIJ_REG,LDC_BYTE_ORIGINAL ld %f2,0(CIJ_LOCAL) madbr %f2,%f1,\ALPHA_FLOAT std %f2,0(CIJ_LOCAL) la \CIJ_REG,8(\CIJ_REG) .endm /*STORE C1X1*/ .macro STORE_TRMM_1x1 ALPHA_FLOAT,CIJ_REG,LDC_BYTE_ORIGINAL mdbr %f1,\ALPHA_FLOAT std %f1,0(CIJ_LOCAL) la \CIJ_REG,8(\CIJ_REG) .endm /****************************TRMM POINTER REFRESH MACROSES*************************/ .macro RefreshPointers PTR_A,PTR_B,OFF_VAL,B_VAL,C_A,C_B #if (defined(LEFT) && defined(TRANSA)) || (!defined(LEFT) && !defined(TRANSA)) /* ptrbb = bb;*/ lgr \PTR_B,\B_VAL /*refresh BPOINT*/ #else /* ptrba =ptrba+ off*C_A; ptrbb = bb + off*C_B;*/ .if \C_B==4 .if \C_A==8 sllg \PTR_B, \OFF_VAL,5 la \PTR_A,0(\PTR_A,\PTR_B) /*ptrba+off*4*/ agr \PTR_A,\PTR_B /*ptrba+off*4**/ la \PTR_B,0(\B_VAL,\PTR_B) .elseif \C_A==4 sllg \PTR_B, \OFF_VAL,5 agr \PTR_A,\PTR_B /*ptrba+off*4**/ la \PTR_B,0(\B_VAL,\PTR_B) /*refresh BPOINT*/ .elseif \C_A==2 sllg \PTR_B, \OFF_VAL,4 la \PTR_A,0(\PTR_A,\PTR_B) /*ptrba+off*2**/ agr \PTR_B, \PTR_B la \PTR_B,0(\B_VAL,\PTR_B) /*refresh BPOINT*/ .elseif \C_A==1 sllg \PTR_B, \OFF_VAL,3 agr \PTR_A,\PTR_B /*ptrba+off*4**/ sllg \PTR_B, \OFF_VAL,5 la \PTR_B,0(\B_VAL,\PTR_B) /*refresh BPOINT*/ .endif .elseif \C_B==2 .if \C_A==8 sllg \PTR_B, \OFF_VAL,6 agr \PTR_A,\PTR_B /*ptrba+off*8**/ sllg \PTR_B, \OFF_VAL,4 la \PTR_B,0(\B_VAL,\PTR_B) /*refresh BPOINT*/ .elseif \C_A==4 sllg \PTR_B, \OFF_VAL,4 la \PTR_A,0(\PTR_A,\PTR_B) /*ptrba+off*2**/ agr \PTR_A,\PTR_B /*ptrba+off*2**/ la \PTR_B,0(\B_VAL,\PTR_B) /*refresh BPOINT*/ .elseif \C_A==2 sllg \PTR_B, \OFF_VAL,4 agr \PTR_A,\PTR_B /*ptrba+off*2**/ la \PTR_B,0(\B_VAL,\PTR_B) /*refresh BPOINT*/ .elseif \C_A==1 sllg \PTR_B, \OFF_VAL,3 la \PTR_A,0(\PTR_A,\PTR_B) /*ptrba+off*1**/ agr \PTR_B,\PTR_B /* off+off**/ la \PTR_B,0(\B_VAL,\PTR_B) /*refresh BPOINT*/ .endif .elseif \C_B==1 .if \C_A==8 sllg \PTR_B, \OFF_VAL,6 agr \PTR_A,\PTR_B /*ptrba+off*8**/ sllg \PTR_B, \OFF_VAL,3 la \PTR_B,0(\B_VAL,\PTR_B) /*refresh BPOINT*/ .elseif \C_A==4 sllg \PTR_B, \OFF_VAL,5 agr \PTR_A,\PTR_B /*ptrba+off*4**/ sllg \PTR_B, \OFF_VAL,3 la \PTR_B,0(\B_VAL,\PTR_B) /*refresh BPOINT*/ .elseif \C_A==2 sllg \PTR_B, \OFF_VAL,3 la \PTR_A,0(\PTR_A,\PTR_B) /*ptrba+off*1**/ agr \PTR_A,\PTR_B /*ptrba+off*1**/ la \PTR_B,0(\B_VAL,\PTR_B) /*refresh BPOINT*/ .elseif \C_A==1 sllg \PTR_B, \OFF_VAL,3 agr \PTR_A,\PTR_B /*ptrba+off*1**/ la \PTR_B,0(\B_VAL,\PTR_B) /*refresh BPOINT*/ .endif .endif #endif .endm /**/ .macro RefreshTempBk TEMP_VAL,BK_VAL,OFF_VAL,INCR_A,INCR_B #if (defined(LEFT) && !defined(TRANSA)) || (!defined(LEFT) && defined(TRANSA)) /* temp = bk-off;*/ sgrk \TEMP_VAL,\BK_VAL,\OFF_VAL #elif defined(LEFT) /* temp = off+INCR_A; // number of values in A */ la \TEMP_VAL,\INCR_A(\OFF_VAL) #else /* temp = off+INCR_B // number of values in B*/ la \TEMP_VAL,\INCR_B(\OFF_VAL) #endif .endm .macro RefreshPointersAndOFF TEMP_VAL,BK_VAL,OFF_VAL,PTR_B,PTR_A,C_A,C_B #if ( defined(LEFT) && defined(TRANSA)) || (!defined(LEFT) && !defined(TRANSA)) /*temp = bk - off;*/ sgrk \TEMP_VAL,\BK_VAL,\OFF_VAL #ifdef LEFT /*temp -= 8; // number of values in A*/ lay \TEMP_VAL,-\C_A(\TEMP_VAL) #else /*temp -= 4; // number of values in B*/ lay \TEMP_VAL,-\C_B(\TEMP_VAL) #endif /*ptrba += temp*C_A; ptrbb += temp*C_B;*/ .if \C_A==8 sllg \TEMP_VAL, \TEMP_VAL,6 .elseif \C_A==4 sllg \TEMP_VAL, \TEMP_VAL,5 /*temp*4*/ .elseif \C_A==2 sllg \TEMP_VAL, \TEMP_VAL,4 /*temp*2*/ .elseif \C_A==1 sllg \TEMP_VAL, \TEMP_VAL,3 /*temp*1*/ .endif la \PTR_A,0(\PTR_A,\TEMP_VAL) /*ptrba+temp*C_A*/ /*we do not need to refresh ptrbb. so lets ignore it*/ #endif #ifdef LEFT /*off += 8; // number of values in A*/ aghi \OFF_VAL,\C_A #endif .endm