弘治十二年, 唐寅与都穆进京参加第二年春天礼部会考, 与他们同船赴京赶考的还有江阴巨富徐经,徐才子仗着家中有钱，暗中贿赂了主考官的家僮，事先得到试题。事情败露，唐寅也受牵连下狱。
是年京城会试主考官是程敏政和李东阳。
两人都是饱学之士，试题出得十分冷僻，使很多应试者答不上来。
其中惟有两张试卷，不仅答题贴切，且文辞优雅，使程敏政高兴得脱口而出：“这两张卷子定是唐寅和徐经的。”
这句话被在场人听见并传了出来。
唐寅和徐经到京城后多次拜访过程敏政，特别在他被钦定为主考官之后唐寅还请他为自己的一本诗集作序,这已在别人心中产生怀疑。这次又听程敏政在考场这样说，就给平时忌恨他的人抓到了把柄。
一帮人纷纷启奏明孝宗，均称程敏政受贿泄题，若不严加追查，将有失天下读书人之心。
孝宗皇帝信以为真，十分恼怒，立即下旨不准程敏政阅卷，凡由程敏政阅过的卷子均由李东阳复阅，将程敏政、唐寅和徐经押入大理寺狱，派专人审理。
徐经入狱后经不起严刑拷打，招认他用一块金子买通程敏政的亲随，窃取试题泄露给唐寅。后刑部、吏部会审，徐经又推翻自己供词，说那是屈打成招。
明孝宗听得很是火大，当即下旨“平冤”，程敏政出狱后，愤懑不平发痈而卒。
唐伯虎出狱后，被谪往浙江为小吏。
唐伯虎耻不就任，人生的际遇就此改变。
这是一场说不清道不明白的科举案，但有一点可以肯定，唐伯虎的命运就此改变，《明史·程敏政传》云：“或言敏政之狱，傅瀚欲夺其位，令昶奏之，事秘莫能明也。”但毫无疑问，这一事件对唐寅来说是极其严重的。
从此唐寅绝意仕途。归家后纵酒浇愁，游历名山大川，决心以诗文书画终其一生。
与功名来说，老天爷唐伯虎可谓是极其不公平，但上天从来不缺好生之德，如老子所说，“祸兮福之所倚，福兮祸之所伏，孰知其极？其无正。正复为奇，善复为妖。人之迷，其日固久！是以圣人方而不割，廉而不刿，直而不肆，光而不耀。老天爷给了唐伯虎科举的失意，同样给了他人生最好的红颜知己，这个女子就是沈九娘。
沈九娘是弘治年间苏州名妓，长相端庄文雅，琴棋书画样样精通，才艺过人，与苏州大有名气，唐伯虎自那场惊世的“科场作弊案”之后，在外“流浪”了两年才落魄而归。
他的妻子何氏非但没有半句好言安慰，反倒收拾包裹回娘家去了。
只留下两句话：“若待夫妻重相聚，除非金榜题名时。”
便借此与他离异，嫁给一位显官作了续弦夫人。
双重打击下让唐伯虎开始借酒消愁，而在这个时候，落魄的他幸运的遇到了沈九娘。
两人相遇说不上多么的轰轰烈烈，只不过是两颗疲惫不堪的心在红尘翻浪之中彼此碰倒了一起，彼此看到了其中某一种慰藉，至此便紧紧拥抱在了一起。
沈九娘却早已耳闻唐伯虎之名，同样自命风流的唐伯虎同样知道这个红尘女子的大名，在好友的撮合下，这一年的九月他去看望九娘，见九娘收拾一把团扇，就在上面题诗：
秋来执扇合收藏，何事佳人重感伤?
请把世情详细看，大都谁不逐炎凉。“
诗里透着多年的怨恨与不满，这样的诗词写给一个刚刚才见面的女子，或多或少有些不合适，但唐伯虎就这样写了，还这样说了，人生有时就是这样奇怪，缘分的相遇未必需要多么惊天动地的场面，一句话，一首歌，一首词儿，甚至一个眼神也许就能引起心灵的共鸣。
这一个平淡的场面为了唐伯虎迎来了人生最美好的光阴，九娘很敬重这位才子，为了使唐伯虎有个绘画的良好环境，她把妆阁收拾得十分整齐，唐伯虎作画时，九娘总是给他洗砚，调色，铺纸，唐伯虎有了这个好伴侣，画艺愈见精到。
他画的美人，大都是从九娘身上体会到的风姿神采。
九娘见唐伯虎不把她当作官妓看待，就益发敬重他了。天长日久，两人产生了爱情，在好友的祝允明的安排下，由即将离任的苏州知府王鏊主持了唐伯虎与沈九娘的婚礼。
那一年，唐伯虎三十六岁，沈九娘三十一岁。
于是，唐伯虎和沈九娘搬离了原住的苏州阊门内皋桥西首吴趋坊，花光了所有积蓄，还借了一部分外债，买了苏州桃花坞的一座闲置的宅子叫桃花庵。
桃花坞位于苏州城北，宋时曾是枢密章粢的别墅，后废为蔬圃，虽已破败，但仍有土山、池沼，风景不俗，且环境十分幽静。园子于两年后终于完成，唐伯虎鉴于院子桃花太多取名“桃花庵”别业，唐伯虎自号“桃花庵主”。
那一年，他三十八岁。
自此，他潜心作画，常邀请沈周、祝允明、文征明等来此饮酒赋诗，挥毫作画，尽欢而散。
这是唐伯虎落魄的人生当中，最难得好时光，这一年他们还有了自己的女儿桃笙，不善于经营生活的唐伯虎难得彻底放开了，生活的重担都有九娘一手操办，她照看女儿桃笙，操持家务。
唐伯虎大部分时间就是画画。
而他们所有的经济来源，都是唐伯虎卖画所得。
由于唐伯虎少年成名，买他画的人络绎不绝，日子还算过得去。
唐伯虎还为沈九娘作诗：“镜里形骸春去老，灯前夫妻月同圆。万场快乐千场醉，世上闲人地上仙。”
与往日的落魄，愤怒世俗的诗词相比，这首诗难得表现了他内心的欢喜，若是日子就这般过下去，唐伯虎的一生或许只能算科举上的不得意，远远算不上落魄的一生。
但老天爷觉得他还不够凄苦，两年后，苏州洪灾，唐伯虎的卖画生涯自然艰难了，有时连柴米钱也无着落。
一家人的生活，全靠沈九娘苦心撑持。
正德七年的寒冬，也就是唐伯虎与沈九娘结婚第七个年头，沈九娘终因操劳过度病倒，不久离世，年仅三十八岁。
临终前，她紧紧握着唐伯虎的手，道：“承你不弃，娶我为妻，本想尽我心力持好家务，让你专心于诗画。但我无福、无寿，又无能，我快死了，望你保重。”
听了这番话，四十三岁的唐伯虎禁不住泪如雨下。
“ 相思两地望迢迢，清泪临门落布袍”、“明日河桥重回首，月明千里故人遥。”沈九娘的离世，无疑再一次给了唐伯虎巨大的打击，我相信这一次他是绝望了，后来的日子里，唐伯虎一个人带着刚刚五岁的女儿桃笙过着艰难的生活。
桃笙是唐伯虎和爱妻沈九娘唯一的女儿，她的名字取自唐伯虎在苏州自建的住所桃花坞，著名的《桃花庵歌》描写的就是那里的逍遥景致，“桃花坞里桃花庵，桃花庵下桃花仙。桃花仙人种桃树，又摘桃花换酒钱……”
沈九娘死后，唐伯虎再也没有继娶妻室，晚年皈依佛法，号称六如居士。“六如”取自《金刚经》中的著名的“六如偈”：“一切有为法，如梦幻泡影，如露亦如电，应作如是观。”自治一方印章“逃禅仙吏”。
人生的大喜大悲、大起大落，宛如一场梦境让这位年少成名的大才子分不出真假，从南昌回家后因常年多病，不能经常作画，加上又不会持家，生活艰难，甚至常靠向好友祝枝山、文征明俩人借钱度日。其间有著名书法家王宠常来接济，并娶了唐寅唯一的女儿为儿媳，成了唐寅晚年最快乐的一件事。
明嘉靖二年，五十四他健康状况更差，这年秋天，应好友邀请去东山王家．但见苏东坡真迹一词中有二句：“百年强半，来日苦无多”，正好触动他的心境，他一阵悲伤，告别回家后，从此卧病不起，不久结束了他凄凉的一生。
死后葬在桃花坞北，卒前取绢一幅，书绝命诗七绝一首，掷笔而逝。其诗云：“一日兼他两日狂，已过三万六千场；他年新识如相问，只当漂流在异乡。”人生如过客，寄生飘零。往日的自傲、自欺、自负，都消隐一空，吟咏之中，胸襟开朗，笑傲江湖，大概这是唐伯虎临终前的感悟。
诗写得很豁达，可谓临终不乱。但其中的心酸苦楚，又有几人知晓呢？”
唐伯虎死后家境萧条之际，竟无钱安葬，由其亲友王宠、祝允明、文征明等凑钱安排后事，祝允明写了千余字的墓志铭，由王宠手书，刻在石碑上，如今人们诵读唐伯虎诗词，字画，何曾想过当年这个落魄的文人当年的凄苦与悲伤？
