Cha của Vũ Tam Tư là [[Vũ Nguyên Khánh]], em trai của nữ hoàng đế [[VũVõ Tắc Thiên]]. Cha Vũ Nguyên Khánh cùng Vũ Tắc Thiên có tên là [[Vũ Sĩ Hoạch]], song Vũ Nguyên Khánh và người em trai khác [[Vũ Nguyên Sảng]] là do vợ cả sinh ra, còn VũVõ Tắc Thiên là con của Dương thị, vợ lẽ của Sĩ Hoạch. Vào năm [[655]], khi VũVõ thị được sắc phong hoàng hậu, thì gia đình họ Vũ cũng ngay lập tức được hiển quý, Vũ Nguyên Khánh được phong chức Tông chính thiếu khanh. Tuy nhiên hoàng hậu lại không bằng lòng khi thấy anh em Vũ Nguyên Khánh cùng hai người khác trong họ là [[Vũ Hoài Vận]], [[Vũ Duy Lương]] tỏ ra khinh miệt mẹ mình là Dương thị, nên năm [[666]] bà giáng Nguyên Khánh làm Thứ sử Long châu<ref>Miên Dương, Tứ Xuyên, Trung Quốc hiện nay</ref>. Không lâu sau, vì quá lo sợ Vũ hoàng hậu sẽ không tha cho mình dễ dàng, nên Vũ Nguyên Khánh sinh bệnh rồi qua đời. Khi đó có lẽ Vũ Tam Tư cũng cùng cha đến Long châu.
