Sau đại thắng tại Manzikert và đánh chiếm được một vùng lãnh thổ rộng lợnlớn ở phía Tây, Alp Arslan chuyển đổi mục tiêu của mình, và nhắm vào [[Khách Lạt hãn quốc]] ở Turkestan, cội nguồn của gia đình ông. Ông đưa đại quân đến bờ sông Oxus. Để có thể vượt sông một cách an toàn, ông cần phải đánh chiếm một vài pháo đài bên bờ sông. Một trong những pháo đài được tướng người Khwarezm là Yussuf al-Kharezmi giữ. Phải mất nhiều ngày liền, Yussuf mới đầu hàng và bị áp giải đến trước mặt Sultan và bị Sultan hạ lệnh tử hình. Trong lúc tuyệt vọng, Yussuf vội rút con dao găm trong người và xông vào Sultan. Tự tin mình là một xạ thủ bách phát bách trúng vang danh thiên hạ, Alp Arslan hạ lệnh cho cận vệ không được động thủ. Ông dương cung nhắm vào Yussuf nhưng vô tình bị trượt chân còn mũi tên bị bắn chệch sang một bên và bị con dao găm của tên thích khách đâm vào ngực. Alp Arslan bị thương nặng và qua đời 4 ngày sau đó, vào ngày 25 tháng 11 năm 1072 khi mới 43 tuổi. Trước khi lâm chung, ông nói với con trai Malik Shah rằng ông chết là do chính sự kiêu ngạo của ông. Thi hài của ông được đưa tới Merv và được chôn cất bên cạnh mộ của cha ông Chaghri Beg.
