不用退回。按规定低保户办理退休的当月取消低保，不需要退回退休前的低保金。所以不用退回。
根据你描述的情况，如果是一直开着工资拿着低保，那么你这种情况肯定是不符合低保条件的，现在又拿了退休金，那么肯定原来的低保都要给退回去的。
