晋武帝司马炎称帝后，因为羊祜有辅助之功，被任命为中军将军，加官散骑常侍，封为郡公，食邑三千户。但他坚持辞让，于是由原爵晋升为侯，其间设置郎中令，备设九官之职。他对于王佑、贾充、裴秀等前朝有名望的大臣，总是十分谦让，不敢属其上。
后来因为他都督荆州诸军事等功劳，加官到车骑将军，地位与三公相同，但他上表坚决推辞，说：“我入仕才十几年，就占据显要的位置，因此日日夜夜为自己的高位战战兢兢，把荣华当作忧患。我身为外戚，事事都碰到好运，应该警诫受到过分的宠爱。但陛下屡屡降下诏书，给我太多的荣耀，使我怎么能承受？怎么能心安？现在有不少才德之士，如光禄大夫李熹高风亮节，鲁艺洁身寡欲，李胤清廉朴素，都没有获得高位，而我无能无德，地位却超过他们，这怎么能平息天下人的怨愤呢？因此乞望皇上收回成命!”但是皇帝没有同意。
晋武帝咸宁三年，皇帝又封羊祜为南城侯，羊祜坚辞不受。羊祜每次晋升，常常辞让，态度恳切，因此名声远播，朝野人士都对他推崇备至，以至认为应居宰相的高位。晋武帝当时正想兼并东吴，要倚仗羊祜承担平定江南的大任，所以此事被搁置下来。羊祜历职二朝，掌握机要大权，但他本人对于权势却从不钻营。他筹划的良计妙策和议论的稿子，过后都焚毁，所以世人不知道其中的内容。凡是他所推荐而晋升的人，他从不张扬，被推荐者也不知道是羊祜荐举的。