A,B应该都限制为实矩阵吧.
用A'表示A的转置.
首先,注意到当B为对称阵,有(BA)' = A'B' = A'B.
BA为对称阵当且仅当A'B为对称阵,即只需求对称阵B,使A'B为对称阵.
若A'有实特征值λ,则存在非零实列向量X满足A'X = λX.
取矩阵C使其各列均为X,可知r(C) = 1,并满足A'C = λC.
取B = CC',可以证明r(B) = r(C) = 1,故B为非零矩阵.
又易见B为对称阵,且A'B = A'CC' = λCC' = λB仍为对称阵.
即找到了满足要求的B.
若A'没有实特征值,由其特征多项式为实系数多项式,其特征值为成对的虚根.
设a+bi为A'的一个特征值(a,b为实数),X+Yi为属于a+bi的一个特征向量(X,Y为实向量).
有A'(X+Yi) = (a+bi)(X+Yi) = (aX-bY)+(aY+bX)i,即得A'X = aX-bY,A'Y = aY+bX.
取矩阵C分别以X和-Y为前两列,其它各均列为0.
可知r(C) ≥ 1,并满足A'C = CD,
其中D是以[a,b;b,-a]为左上角2阶分块,其它位置均为0的矩阵 (易见D是对称阵).
取B = CC',可以证明r(B) = r(C) ≥ 1,故B为非零矩阵.
又易见B为对称阵,且A'B = A'CC' = CDC'仍为对称阵.
即找到了满足要求的B.
(其实这个构造对实特征值也适用,只是相对复杂一点).
如果限制B为正定(对称)阵,则不一定存在.
因为当B为正定阵,存在正定阵F使B = F².
若BA为实对称阵,则F^(-1)BAF^(-1) = FAF^(-1)也为实对称阵.
即得A相似于实对称阵,于是A必可对角化,且仅有实特征值.
所以对于不可对角化或不只有实特征值的矩阵,不存在正定阵B满足要求.
反之,若A可对角化,且仅有实特征值.
存在实可逆矩阵T使得G = TAT^(-1)为实对角阵,于是T'TA = T'GT为实对称阵.
B = T'T即为满足要求的正定阵.