中宗顺利即位后，有点儿头脑发热，自作主张，不把辅政宰相裴炎放在眼里。中宗想要任命韦皇后的父亲韦玄贞为侍中（门下省长官）。韦玄贞前不久才由七八品的州参军升为州刺史，现在又要升为侍中，升迁实在太快。而且无论从资历看，还是从才能看，韦玄贞都不合适，因此遭到宰相裴炎的强烈反对。他反复劝谏，中宗不听，最后恼怒地说：“我把天下给韦玄贞有何不可，还会吝惜一个侍中的职位吗？”裴炎开始害怕了，就把此事禀告了时为太后的武则天，武则天生气了。不久，武则天在含元殿召集百官，裴炎与羽林将军陈务挺率禁军入宫，宣太后令，废中宗为庐陵王。中宗不服气地问：“我有什么罪？”武则天说：“你要把天下给别人，还说没有罪吗？”。
中宗当皇帝不足两个月，就因为一句戏言被废为庐陵王。不久，他又被发配到房州（今湖北房县）。在去往房州的途中，韦氏在押送的车里痛苦地生下一个小女孩，但曾经的皇后却发现她连一条多余的被毡都找不到。中宗痛苦地脱下身上的衣服，将冻得有点儿发青的女儿裹在里面。因此这个小女婴取名裹儿，即后来的安乐公主。唐中宗他们一行刚到房州又诏令转到均州（今湖北均县）。第二年又被迁回房州。中宗被放外地达15年之久，在这15年里，朝廷发生了翻天覆地的变化，母后武则天登上了皇帝的宝座，建立了周王朝。这期间，扬州徐敬业率兵讨伐武则天。不久，宗室越王李贞、琅邪王李冲等起兵。他们都打出了匡复李唐王室的旗号，支持中宗复位。这使中宗心里更加恐惧，他担心母后会不惜母子之情，派人杀了自己。中宗多年来一直惶惶不安，每听到母后派使者来探视，就惶骇地想要自杀。韦氏在一旁劝导他：“连死都不怕，还有什么好怕的呢？”就这样，中宗艰难地熬着。