Không to lớn đồ sộ như ngôi nhà của Công tử Bạc Liêu, Phủ thờ họ Cao Triều có kiến trúc cổ kính tôn nghiêm, là công trình hiếm có về chạm khắc gỗ. Tương truyền, ông Cao Minh Thạnh đã mua gỗ quý bằng cây súc từ Campuchia kết bè theo đường sông về Bạc Liêu, thuê thợ giỏi chạm khắc từ Huế và Trung Quốc vào làm việc hơn 3 năm mới hoàn chỉnh.