只有两次罢相，没有再被贬过。第一次罢相：1067年，宋神宗即位，王安石受到了皇帝的赏识与重用。王安石在宋神宗的支持下，王安石官至宰相，颁布新法，进行了一些列的变法。1074年，天灾人祸，天下大旱，百姓们无家可归，饥不果腹，守旧派们将这些怪罪于王安石变法，给宋神宗施加压力，还绘制流民旱灾苦图给宋神宗看，一条条罗列新法的过失，上书要求罢免宰相王安石。同年，宋神宗感受到来自四面八方的压力，有大臣的控诉也有太后的哭诉，最终心有怀疑，罢免了王安石的宰相职位，将其贬为知江宁府，吏部尚书。