Xã Ngọc Sơn trước đây vốn thuộc huyện [[Tứ Kỳ]], được thành lập từ năm 1945 trên cơ sở sáp nhập 3 xã cũ là Ngọc Lặc (có các thôn Vạn Hộ, Minh Kha), Phạm Xá, Mỹ Xá (tên nôm là Bùi, vốn có tên là Nguyễn Xá, đầu triều Nguyễn 1802 vì kiêng quốc tính nên đổi thành Mỹ Xá).
Năm 2008, Chính phủ ban hành Nghị quyết số 30/2008/NĐ-CP về việc điều chỉnh mở rộng địa giới hành chính thành phố Hải Dương<ref>{{Chú thích web|url=httpshttp://thuvienphapluatvanban.chinhphu.vn/van-banportal/Bat-dong-sanpage/Nghi-dinh-30-2008-ND-CP-dieu-chinh-dia-gioi-Nam-Sach-Gia-Loc-Tu-Ky-Cam-Giang-mo-rong-Hai-Duong-thanh-lap-Tu-Minh-Viet-Hoa-mo-rong-Hai-Tan-64475.aspxportal/chinhphu/hethongvanban?class_id=1&_page=8&mode=detail&document_id=62779|title=Nghị định 30/2008/NĐ-CP về việc điều chỉnh địa giới hành chính các huyện: Nam Sách, Gia Lộc, Tứ Kỳ, Cẩm Giàng để mở rộng thành phố Hải Dương; thành lập phường Tứ Minh, phường Việt Hòa và mở rộng địa giới hành chính phường Hải Tân thành phố Hải Dương, tỉnh Hải Dương|tác giả=|last=|first=|date=|website=|archive-url=|archive-date=|dead-url=|access-date=}}</ref>. Theo đó, điều chỉnh 63,92 ha diện tích tự nhiên và 1.000 nhân khẩu của thôn Ngọc Lặc, xã Ngọc Sơn về phường Hải Tân thuộc thành phố Hải Dương quản lý.
Sau khi điều chỉnh địa giới hành chính, xã Ngọc Sơn còn lại 483,32 ha diện tích tự nhiên và 6.475 nhân khẩu.
