他很快适应了平静的生活，每天在房前屋后辛勤劳作。他拂晓即起，穿上工作服，然后处理手头各种任务。繁重的户外劳动逐渐增进了他的健康，所以他很享受这样的生活。但是他的儿子约翰·昆西·亚当斯认为父亲应该写部自传，亚当斯起初未接受这个建议，但终于在1804年被儿子说服，开始执笔写自传。
亚当斯一度渴望重操律师旧业，但又觉得不可能而丢了这个念头。“我的最大遗憾是不能重当律师。做了律师，我就会暂时忘记自己曾经做过美国国会议员、外交部长或总统。可惜我不能说话。”最后一句话指他患前声带疾病，而且，由于牙槽溢脓，他的大部分牙齿都掉了，他又拒绝带当时那种不舒服的假牙，所以说话口齿不清。
他开始把更多的时间花在读书上，他给一位朋友写信说：“我想学汉语和研究各种亚洲问题”。他既阅读新书，又重读经典著作。在白内障损害了他的视力后，他就让孙子孙女和其他亲属为他朗读书籍。尽管他对政治书籍一概不读，却继续对政治怀有兴趣，他成为杰斐逊政府的反对派，认为这个政府肆意糟踏民主政体，批评杰斐逊领导不力、政策不行。当人们议论国家可能要分裂的问题时，他忧心忡忡，并把国家的这些问题归咎于即将做满第二任总统的杰斐逊。