摘要：为了缩小矩形正交幅度调制(QAM)方式和香农极限的差距,探究高斯信道下的星座整形性能,设计一种应用于卫星间激光通信的几何整形与概率整形相结合的方案。将星座点的判决范围视为圆形,从图形的紧密排列角度出发提出几何整形的思路,再利用编码映射技术使各个星座点概率分布符合麦克斯韦-玻尔兹曼分布。几何整形与概率整形相结合可以进行非常规星座点数的星座设计。在功率限制的前提下,进行了信息熵为3和星座点数为8~13、信息熵为4和星座点数为16~23的仿真和相干光通信系统实验。在仿真理论中,误码率约为5×10-3时,相比常规8QAM和16QAM,矩形QAM分别取得了约1 dB和1.3 dB的增益。同时还进行了8点和16点的几何整形的仿真和实验,相较于矩形QAM,分别有约0.1 dB和0.22 dB的性能提升。