张衡出身于名门望族。其祖父张堪自小志高力行，被人称为圣童，曾把家传余财数百万让给他的侄子。光武帝登基后张堪受荐拜官。曾被任为蜀郡太守随大司马吴汉讨伐割据蜀郡的公孙述，立有大功。其后又领兵抗击匈奴有功，拜为渔阳(今北京附近)太守。曾以数千骑兵击破匈奴来犯的一万骑兵。此后在他的任期内匈奴再也没有敢来侵扰。他又教人民耕种，开稻田八千顷，人民由此致富。所以，有民谣歌颂他说：“张君为政，乐不可支。”张堪为官清廉。伐蜀时他是首先攻入成都的，但他对公孙述留下的堆积如山的珍宝毫无所取。蜀郡号称天府，但张堪在奉调离蜀郡太守任时乘的是一辆破车，携带的只有一卷布被囊。
张衡像他的祖父一样，自小刻苦向学，很有文采。16岁以后曾离开家乡到外地游学。他先到了当时的学术文化中心三辅(今陕西西安一带)。这一地区壮丽的山河和宏伟的秦汉古都遗址给他提供了丰富的文学创作素材。以后又到了东汉首都洛阳。在那儿，他进过当时的最高学府——太学，结识了一位青年学者崔瑗，与他结为挚友。崔瑗是当时的经学家、天文学家贾逵的学生，也精通天文、历法、数学等学问。和帝永元十二年(公元100年)张衡应南阳太守鲍德之请，作了他的主簿，掌管文书工作。8年后鲍德调任京师，张衡即辞官居家。在南阳期间他致力于探讨天文、阴阳、历算等学问，并反复研究西汉扬雄著的《太玄经》。他在这些方面的名声引起了汉安帝的注意。永初五年(公元111年)张衡被征召进京，拜为郎中。
元初元年(公元114年)迁尚书郎。次年，迁太史令。以后曾调任他职，但5年后复为太史令。总计前后任此职达14年之久，张衡许多重大的科学研究工作都是在这一阶段里完成的。顺帝阳嘉二年(公元133年)升为侍中。但不久受到宦官排挤中伤，于永和元年(公元136年)调到京外，任河间王刘政的相。刘政是个骄横奢侈、不守中央法典的人，地方许多豪强与他共为不法。张衡到任后严整法纪，打击豪强，使得上下肃然。3年后，他向顺帝上表请求退休，但朝廷却征拜他为尚书。此事颇有蹊跷，因尚书的官职远低于侍中或相，他是否应征，史载不彰。就在这一年(永和四年，即公元139年)他即告逝世。
据传说，东汉时期伟大的科学家、文学家张衡曾到过当时的随县，随州旧有张衡的读书台。张衡是南阳西鄂(今河南南阳)人，与随县同郡且相距不远，到过随州不无可能。
他曾针对谶纬风行于世的现实，勇敢地给东汉皇帝上疏，认为“国谶（chèn）虚妄，非圣人之法。”并说：“……此皆欺世罔俗……宜收藏国谶。一禁绝之。”