爱上曼的时候，杨还是一个小男孩子。每天放学，他坐在传达室里等候父亲下班，这时，他常常会看到曼穿一身洁白的衣裙从门口走过，她美得像天仙。有时，她会走到传达室取信，那嫣然一笑常常令杨忘记了周围的一切。杨就是在这个时候发誓要学声乐的，因为他听说曼在音乐学院读书。那时，曼的父亲是这个大院里的学术权威，而杨的父亲只是这个院里的传达。
10年后，杨真的考上了音乐学院，那时候曼已是这个学院的老师，然而她的境况却很不好。她那威严的父亲此时在牛棚里，而她那英俊的丈夫却正和她闹离婚。她一个人带着两个女儿住在学院的一间小屋里，孤独、伤感、寂寂无声。
然而在杨眼中她依然那么美丽，她修长的双手在钢琴上翻飞的时候，杨便常常忘了发声。他久久地久久地凝视着她，关注着她的悲哀和伤感，痛恨着那个伤害她的男人。有一天，杨在学院的路上看到曼的丈夫揽着一个女学生走过，他忍不住上前向那张英俊的面孔狠狠地挥了一拳。
曼终于下定决心离了婚。曼离婚的那一天杨便决心要照顾她们母女三人一辈子。曼起初十分抗拒杨，因为她已经对男人失望。然而杨的执著却令她感动，杨为让她吃上一口肉半夜3时去排队，杨为了让她在冬天有热水温手练琴而每半个小时去一次水房。终于有一天当曼的小女儿夜半发高烧被杨抱着送进医院里，曼扑在杨的怀中失声痛哭。
最先在学校引起轩然大波的是杨的母亲，她听说儿子迷上了一个大他15岁的离婚女人，感到受了奇耻大辱。她冲进学院，先把曼堵在琴房骂了一通，再冲进校长室告状，认定这个右派的女儿勾引了她纯洁的儿子。杨母的吵闹使曼把自己关在房里三天不敢出门。
杨与家庭决裂，搬到了曼的小屋，却遭到了曼的两个女儿的坚决抵制。特别是大女儿已经10岁了，懂得许多人情世故，只要杨一回来，她就愤怒地叫：“流氓、流氓，滚出去!”
曼在学院无法呆下去，一个女老师，勾引男学生会被当作丑闻，那个年代足以致人以死地。曼带着两个女儿离开了那座生她养她的都市，调到了一个边远的小城，在一个音乐师专当教师。
杨尾随而来，在曼的附近租了一间小屋住下，他因为不上课而被学院开除。杨的母亲追踪而至，她甚至跪在杨的面前让杨跟她回去，杨不从，于是她又找到曼工作的学校。学校领导一次次找曼谈话，此时，曼的母亲来了，她带来了曼的父亲去世的消息。母亲对曼说，如果她再与杨好下去的话，全家都将以她为耻。
曼终于决定与杨分手，然而杨却在小城找了一份工作以示他要与曼结合的决心。这时候杨已经26岁，完全到了可以结婚的年纪。他向曼求婚，然而曼的母亲和女儿却表明，如果曼与杨结婚，她们将永不见她，无可奈何之中，曼接受了母亲的穿针引线，见了一个50岁的离婚干部老何。三个月后，她悄悄地和老何领了结婚证，一声不响地调到了老何工作的小城，到一所小学教音乐。
曼的不辞而别令杨疯狂，他吞下大把安眠药，却被母亲送进医院救了回来。他不知怎么打听到曼工作的单位，曼却无论如何不肯再见他。终于有一天，杨喝得大醉冲进曼的学校，老何带着公安人员赶来，把他关进了派出所。
两个星期后，杨跟着母亲回到了他最初结识曼的城市，在一间小工厂当了木工，把所有的工资都用来买酒。曾经帮助他考上音乐学院的歌喉在酒精的浸泡下暗哑无声。他不再唱歌，连话也不想说。
杨的母亲夜夜流泪，她为儿子介绍了一个又一个女朋友，她流着泪一次又一次对儿子说：“我是为了你一生的幸福着想啊，有哪个母亲不是为了儿子好呢?”
杨是在36岁那年才和一个没有户口的环卫女工结婚的，结婚后却一直不肯要孩子。杨妻在杨母面前哭诉，杨母只要一开口劝杨，杨就说：“你还要我怎么样，我已经为你们牺牲了我自己，我不能再搭上个孩子。”
杨常常在深夜喝得大醉，模模糊糊地问自己，“为什么我不可以选择自己的幸福?”
而此刻，远在小城的曼默默地变成了一个苍老的女人。结婚后她才发现，老何原来是个性功能障碍者。曼无声地忍受了这一切，好在老何对她和女儿都不错，日子也就一天天过下来。
许多年之后，杨妻在有了城市户口后提出离婚，杨一口应允。此时，杨母已经去世，杨将自己的房子给了妻子，一个人搬了出来。
曼已经离他很远很远，他不知道她的一切。只有在许多个夜深人静的时候，他才会想起那个穿着连衣裙垂着大辫子的美丽少女。
