在婚恋问题上，徐向前曾长期心灰意冷。其实一直有不少红军女官兵喜欢徐向前，而且他手下还曾经有一个“妇女独立团”，一千多个活泼健壮的姑娘，可徐帅就是始终提不起情绪。听说有的干部没事去妇女团瞎转悠，他对妇女团政委张琴秋(陈昌浩夫人)大发雷霆说：“你那团是战斗队，不是老婆预备队。妇女团应作个规定，不准谈情说爱，不准男同志去团里乱串，不准结婚，不准……”结果妇女团都说徐总是个“怪人”，是“封建脑瓜”，“看见妇女就苦着个脸”。
直到1940年，徐总到山东工作时，才经劝说与女干部王婧结了婚，生有一女，取名徐鲁溪。三年后徐王二人因感情不合分了手。徐向前从山东调回延安，先是落马负伤，后是身染疾病，变得更加落落寡欢。直到1946年的“五四”青年节，经一些“老大姐”说合，45岁的陕甘宁晋绥联防副司令兼参谋长徐向前，与36岁的延安保育院院长黄杰喜结良缘。
婚礼的仪式很另类，先是打扑克——当时延安最高级的游戏，接着杀了一只鸭子大吃一顿，然后就共入洞房了。黄杰，湖北江陵人，也是资深老革命，跟著名女烈士赵一曼是同学。共同的革命理想使徐向前和黄杰成为肝胆相照的终生夫妻。他们生了两个孩子：徐小岩和徐小涛。徐帅很喜欢孩子，有时候给他们拉胡琴
