Dù trong thời kỳ khó khăn và cấm cách, Giám mục Lê Hữu Cung vẫn đào tạo chủng sinh cách âm thầm và truyền chức 11 tân linh mục vào ngày 6 tháng 6 năm 1976. Ông cũng có hai linh mục làm nghĩa tử, gồm linh mục Giuse Nguyễn Đức Dung và Đa Minh Trần Ngọc Tuất.<Ref name=gp1/>
CóViết ngườitrong sách ''Các vị Giám mục một thời đã qua'', Lê Ngọc Bích nhận xét Lê Hữu Cung là giám mục sống nghèo khó. Khi vị tân chức từ giã giáo xứ Phú Nhai về tòa Giám mục, tài sản mang theo là mấy bộ quần áo và một cỗ quan tài gỗ thường. Cỗ quan tài là sự chuẩn bị hành trang, vì vị tân giám mục đã già yếu và bệnh hoạn. Vị linh mục quản lý thấy vậy liền sắm cho tân Giám mục Cung một cỗ quan tài khác gỗ tốt, sơn son thiếp vàng. Có người nói, ông biết được nên buồn lòng và xin mọi người ăn chay đền tội vì việc mua quan tài này. Những gì do anh em, giáo dân hiện sống ở nước ngoài gửi biếu, ông phân phát hết cho người nghèo, chỉ giữ lại 6 cây nến,... Theo thường lệ, mỗi Chúa nhật, ông chủ tế thánh lễ tại nhà thờ chính tòa Bùi Chu lúc 10 giờ. Sau Thánh lễ ra về, ông thường cho người nghèo hết tiền trong túi. Vì vậy, vào khoảng thời gian này mỗi tuần, người nghèo nối đuôi từ nhà thờ đến cổng Tòa Giám mục, chờ ông cho tiền, lâu thành thói quen làm những người được cho và người cho đều hoan hỉ, tạo niềm an ủi cho nhau.<ref name=sach>Nhân vật Công giáo Việt Nam (tập 4): Các vị Giám mục một thời đã qua đời (1933-1985).</ref>
Ông qua đời ngày [[12 tháng 3]] năm [[1987]] tại Tòa Giám mục Giáo phận Bùi Chu, hưởng thọ 89 tuổi, 57 năm linh mục trong đó 12 năm ở cương vị giám mục. Thi hài ông được an táng tại nhà thờ chính tòa Giáo phận Bùi Chu.
