在祠后东侧，这里松柏拥翠，肃穆幽静。柳宗元逝世后，遗骸运回长安，柳州人于是便在柳宗元灵枢停放处，葬下他衣冠作墓来怀念他。

唐元和十四年(公元819年)柳宗元在柳州病逝。后一年，灵柩运回京兆万年县栖风原(今陕西临潼县内)。《柳州县志》说:"宗元原厝于古州治，其櫬虽扶归，而封土尚存。”这封土就是现在的柳宗元衣冠墓。原毛石砌墓是清代重建的，墓碑题"唐刺史文惠侯柳公宗元之墓”，有对联"文能寿世，惠以养民"。文革时墓被毁平。

1974年修复，郭沫若题碑:"唐代柳宗元衣冠墓”。