Trước sức ép mãnh liệt của dư luận và áp lực quân sự của quân Giải phóng, ngày [[21 tháng 4]] Tổng thống [[Nguyễn Văn Thiệu]] phải từ chức. Không lâu sau đó, nhận thấy tình hình là vô vọng, Tướng Cao Văn Viên cũng từ nhiệm vào ngày [[27 tháng 4]] và xin giải ngũ khi chưa(đã có quyết định chính thức của tân Tổng thống [[Trần Văn Hương]]). Ông giao lại cho Trung tướng [[Đồng Văn Khuyên]] xử lý Thườngthường vụ [[Bộ Tổng tham mưu Quân lực Việt Nam Cộng hòa|Tổng Tham mưu trưởng]] và ngày [[28 tháng 4]] đem theo gia đình cùng với gia đình cựu Tổng thống Thiệu lên máy bay di tản đến [[Đài Loan]]. Sau đó được sang [[Hoa Kỳ]] định cư. Sau khi phu nhân qua đời và không lâu sau đó người con trai duy nhất cũng chết yểu, ông sống bình lặng tại [[Quận Arlington, Virginia|Arlington]], Tiểu bang [[Virginia]]. Thời gian cuối đời ông sống ở viện dưỡng lão.
Ngày [[22 tháng 1]] năm [[2008]], ông từ trần taitại nơi định cư., Hưởnghưởng thọ 87 tuổi.
