这句成语见于《史记·魏其武安侯列传》：“武安已罢朝，出止车门，召韩御史大夫载，怒曰：‘与长孺共一老秃翁，何为首鼠两端？’”
西汉武帝时，王太后有个同母异父的弟弟叫田蚡。他靠着王太后的势力做了丞相，掌握大权。田蚡是个卑鄙阴险、骄横自私的人物，因为有王太后这座靠山，加之汉武帝当时还年轻，所以他胡作非为，骄横奢侈，营私舞弊，随意诬陷自己所不快的人。田蚡向窦婴要城南田，窦婴不给，又听说灌夫也替窦婴抱不平，由此跟灌夫和窦婴结了怨（窦婴和灌夫都是在平定七国之乱中立了功的大臣）。又因为灌夫掌握着田蚡贪污受贿的事，所以田蚡欲将他和窦婴置之死地。
有一次，田蚡结婚，王太后为了扩大自己的势力，便下了诏书，吩咐诸侯、宗室、大臣们都到丞相府去祝贺。窦婴和灌夫也去了。酒席上，灌夫因向客人敬酒遭到冷遇，气得破口大骂起来。为此，田蚡拘捕了灌夫。此事闹到了武帝那里，武帝便召集大臣们来研究。窦婴坚决反对对灌夫治罪，有的大臣则赞成治罪，有的惧伯田蚡的威势，采取模棱两可的态度。御史大夫韩安国说：“灌夫在平定七国之乱时，立了大功，虽说酒后闹事，但没有死罪。可丞相说他不对，也有道理，究竟如何处置，请皇上定吧！”
罢朝以后，在皇宫门外，田蚡招呼韩安国坐他的车子，而且很生气地说：“我和你一起对付（窦婴）这个秃老头子，你为何迟疑不决（首鼠两端）？”
后来，田蚡想法害死了窦婴和灌夫。不久，他自己因内心恐惧惊吓而死。
“首鼠两端”，是进一步，退一步，又要顾这头，又要顾那头的意思。《埤雅·释虫》中说：老鼠性多疑，走出洞外时，总是左顾右盼，畏首畏尾，故称“首鼠两端”，人们常用这句成语形容迟疑不定或动摇不定。
