Khởi đầu sự nghiệp kinh doanh của mình từ những năm 1958, lão đại gia đã trải qua nhiều thăng trầm trong sự nghiệp, thậm chí có lúc Lê Ân đã phải ăn cơm tù.
Không chỉ nổi danh trong giới kinh doanh, Lê Ân còn được nhiều người biết đến khi ông được điện ảnh Sài Gòn mời tham gia 2 bộ phim "Chàng ngốc gặp hên" và "Tứ quái Sài Gòn".
Cuộc đời nhiều thăng trầm và nếm trải không ít cay đắng trong đó đường tình duyên của Lê Ân cũng không mấy thuận lợi. Trải qua 6 đời vợ trong đó không ít lần ông phải ra tòa vì dính tới kiện tụng đòi nợ với vợ cũ.
Đơn cử vào năm 1984 vợ thứ 2 của Lê Ân nộp đơn ra tòa đòi ly hôn sau khi ông ôm vàng với hột xoàn vượt biên và bị bắt tại vùng biển Bình Đại (Bến Tre). Trong phiên tòa này Lê Ân đã không chứng minh được tài sản là của mình nên ông thành người trắng tay.
Đại gia Lê Ân và cô vợ trẻ Mai thị Mai
Sau thất bại trong cuộc hôn nhân thứ 2, Lê Ân vẫn ấp ủ ước mơ ra nước ngoài lập nghiệp nên ông cưới người vợ thứ 3 là một cô gái mang 2 dòng máu Việt - Mỹ. Thế nhưng khi người vợ này bồng con ra nước ngoài đã quên mất lời hứa bảo lãnh chồng, một lần nữa Lê Ân lại thất bại.
Thất bại nhiều trong hôn nhân nhưng đại gia Lê Ân từng tự tin nói: ông 'dư sức cưới vợ 18 tuổi, chỉ mất 10 phút' và năm 2011 ông cưới cô vợ thứ 6 là một nữ sinh 19 tuổi tên Mai Thị Mai là thực tập sinh tại Làng du lịch Chí Linh (TP. Vũng Tàu). Nhận xét về tài kinh doanh của người vợ thứ 6 Lê Ân từng nói, Mai có chuyên môn về du lịch, trực tiếp tuyển bạn bè cùng lớp vào làm việc tại Làng du lịch Chí Linh nên chuyện kinh doanh ở đây bắt đầu có lãi, không phải bù lỗ 400-500 triệu đồng mỗi năm như những năm trước. Ở tuổi 75, lão đại gia Lê Ân đang sống hạnh phúc với người vợ trẻ.