Xã Ngọc Sơn trước đây vốn thuộc huyện [[Tứ Kỳ]], được thành lập từ năm 1945 trên cơ sở sáp nhập 3 xã cũ là Ngọc Lặc (có các thôn Vạn Hộ, Minh Kha), Phạm Xá, Mỹ Xá (tên nôm là Bùi, vốn có tên là Nguyễn Xá, đầu triều Nguyễn 1802 vì kiêng quốc tính nên đổi thành Mỹ Xá).
Năm 2008, điều chỉnh 63,92 ha diện tích tự nhiên và 1.000 nhân khẩu của thôn Ngọc Lặc, xã Ngọc Sơn được điều chỉnh về phường Hải Tân thuộc thành phố Hải Dương quản lý<ref>{{Chú thích web|url=https://thuvienphapluat.vn/van-ban/Bat-dong-san/Nghi-dinh-30-2008-ND-CP-dieu-chinh-dia-gioi-Nam-Sach-Gia-Loc-Tu-Ky-Cam-Giang-mo-rong-Hai-Duong-thanh-lap-Tu-Minh-Viet-Hoa-mo-rong-Hai-Tan-64475.aspx|title=Nghị định 30/2008/NĐ-CP về việc điều chỉnh địa giới hành chính các huyện: Nam Sách, Gia Lộc, Tứ Kỳ, Cẩm Giàng để mở rộng thành phố Hải Dương; thành lập phường Tứ Minh, phường Việt Hòa và mở rộng địa giới hành chính phường Hải Tân thành phố Hải Dương, tỉnh Hải Dương|last=|first=|date=|website=|archive-url=|archive-date=|dead-url=|access-date=}}</ref>. Sau khi điều chỉnh địa giới hành chính, xã Ngọc Sơn còn lại 483,32 ha diện tích tự nhiên và 6.475 nhân khẩu.
Ngày [[16 tháng 10]] năm [[2019]], Ủy ban Thường vụ Quốc hội đã thông qua Nghị quyết số 788/NQ-UBTVQH14 về việc sắp xếp các đơn vị hành chính cấp huyện, cấp xã thuộc tỉnh Hải Dương. Theo đó, chuyển toàn bộ diện tích và dân số của xã Ngọc Sơn về thành phố Hải Dương quản lý.<ref name ="Nghị quyết 788"/>
