Trương Mậu xuất hiện lần đầu trong sử sách năm là vào năm 308 khi cha ông, [[Trương Quỹ]] (張軌), Tây Bình Trang công và thứ sử Lương Châu (涼州, nay là trung bộ và đông bộ [[Cam Túc]]), bị đột quỵ và không thể nói được, do đó Trương Mậu đã đóng vai trò như một thứ sử khi phụ thân bị bệnh. Khi Trương Việt (張越, không có quan hệ họ hàng) và Tào Khiếp (曹怯) lợi dụng vệcviệc Trương Quỹ bị bệnh để thay thế vị trí, gia tộc họ Trương đã phản đối và thuyết phục Nam Dương vương [[Tư Mã Mô]] (司馬模) rằng Trương Quỹ vẫn nên là thứ sử. Tại thời điểm này, con trai cả của Trương Quỹ, cũng là huynh trưởng của Trương Mậu, [[Trương Thực]] (張寔), người trước đó ở tại [[Trường An]], đã trở về Lương Châu rồi đánh bại và giết chết Tào Khiếp, tái khẳng định quyền cai quản của họ Trương trên toàn châu.
Dưới thời Trương Thực làm thứ sử, Trương Mậu là một controng những tướng tin cẩn của ông ta. Năm 320, [[pháp sư]] Lưu Hoằng (劉弘), người lan truyền tin đồn rằng các vị thần muốn ông [Lưu Hoằng]ta làm người cai quản Lương Châu, đã thuyết phục hai cận vệ của Trương Thực là Diêm Thiệp (閻涉) và Triệu Ngang (趙卬) ám sát Trương Thực. Trương Mậu lệnh bắt và hành hình Lưu Hoằng. Do con trai của Lưu Thực là [[Trương Tuấn (Tiền Lương)|Trương Tuấn]] còn quá nhỏ tuổi (13), các thuộc hạ của Trương Thực đã thỉnh cầu Trương Mậu nhận chức thứ sử và Tây Bình công và ông đã chấp thuận. Ông cũng đã ban hành lệnh ân xá chung cho người dân trong châu, và hành động này là lý do chính trong việc các sử gia thường coi thời cai trị của ông là dấu mốc đánh dấu sự độc lập của Tiền Lương.
