卡特1961年在自家土地建了一座平房，4卧3卫，4000平方英尺，目前房产税估价6万多美元，市值价大约26万美元。这是他拥有的唯一房产，除了在白宫的四年，一直住那里也死在那里，现在没主人了，将成为博物馆。卡特下台后拒绝像其他前总统去担任公司董事和做收费演讲，主要收入靠出书的版税，写了32本书，包括回忆录、国际评论、历史小说、诗歌、信仰、人生哲学，都是自己写的，没有枪手、助手，每天凌晨5点15分起床，喝一杯葡萄汁，然后用一台老式文字处理器写作。