狄公祠位于距縣城8公里黃嶺鄉(xiāng)姚家村西頭。此處原為唐舊縣街北門衙獄。據(jù)縣志載，唐武后天授二年九月梁公狄仁杰拜地官侍郎，同鳳各鸞間章平章事，明年，改長壽元年正月被來俊臣所誣貶為彭澤令。七月至縣，值歲大旱，民罹饑謹(jǐn)，即抗疏乞免民租，雖皇上免租，但前任縣令在縣牢關(guān)押了三百多名無辜抗租農(nóng)民，狄仁杰辯悉冤情后，在年末全部放回家中過年，約期返獄，到期僅二名死囚遲到，一為隔江大風(fēng)所阻，二為老母去世，狄公以恩德及人，均免死罪，將全部罪犯開釋，眾囚感恩無所報答，每人懷土一兜曰：“以土謝恩，土生萬物，狄公乃再生父母”，將土堆放獄側(cè)遂成小丘，后人稱為“縱囚墩”。后人在“縱囚墩”上建狄公祠。