据史书记载，他10岁时就“能五经贯六艺”，过目成诵。他兴趣很广泛，常常涉猎自然科学方面的读物，而且写得一手好辞赋。
一天，张衡从一本诗集里读到四句诗，描述了北斗星在各个季节傍晚时的变化：“斗柄指东，天下皆春；斗柄指南，天下皆夏；斗柄指西，天下皆秋；斗柄指北，天下皆冬。”他觉得这太有意思了。天上的繁星闪烁，有的像箕，有的像斗，有的像狗，又有的像熊，它们的运行义各有怎样的规律呢？这简直是太美妙了。于是张衡根据诗的内容又参考别的书籍画成了天象图，每夜只要是没有云彩，他就默默地对着天象图仔细观察着夜空。广漠的星空有多少难解之谜呀，他观察着、记录着、思考着，他的脑袋里装满了各式各样的问题，充满了五颜六色的幻想。后来，他终于确认那四句诗里描述得不够准确，事实上斗柄早春指东北，暮春却指东南。
少年时代对日月星辰的观察，激发了张衡努力探索天文奥秘的决心。后来他两度出任中央政府专管天文的太史令，在这方面取得了辉煌的成就。据《辞海》所记：他首次正确解释月食是由月球进入地影而产生；观测和记录了中原地区能看到的2500颗星星，并且绘制了我国第一幅较完备的星图；他创制了世界上第一台候风地动仪；创造了指南车、自动记里鼓车和能飞行数里的木鸟。
渴求知识的张衡总是感到自己知识的不足，不满17岁时，他辞别父母独身一人到外地访师求学。在古都长安，他游览了当地的名胜古迹，考察了周围的山川形势、物产风俗和世态人情。在当时的京都洛阳，他结识了不少有学问的朋友，其中有一个叫崔瑗，精通天文、数学、历法，还是很有名气的书法家。张衡登门向他求教。正是由于他这种虚心好学的精神使得他在各方面获益匪浅。除了在天文学方面有杰出成就外，在地震学的研究上也是举世瞩目的，他创制的候风地动仪比欧洲相类似的仪器问世早1700多年。他还是东汉六大画家之一，他写的《二京赋》“精思博会，十年乃成”，为人们所津津乐道。
