古人认为许多浅而急的河流不能用舟船而只能用皮筏过渡，是因为水嬴弱而不能载舟，因此把这样的河流称之为弱水。所以在如《山海经》《十洲记》等古书中记载了许多并非同一河流而相同名称的弱水。山海经载的昆仑之北有水其力不能胜芥故名弱水说的就是这个意思。有些称谓流传到现在还在用，比如甘肃省现在的地图上还有一条弱水河。弱水也用来特指位于西北的婆夷河或黑水河，当然也只限于特定的地理学著作。
后来的古文学中逐渐用弱水来泛指险而遥远的河流。比较有名的是苏轼的《金山妙高台》中有句：蓬莱不可到，弱水三万里。可以说这是弱水第一次与具体的数字连用。宋人张孝祥的《水龙吟--望九华山》中也有一句：‘缥缈珠幢愚卫，望蓬莱、初无弱水’。其他的诗词中就很少见弱水的句子了，倒是后来的小说中用的比较多一些。
《西游记》第二十二回唐三藏收沙僧时有诗描述流沙河的险要：八百流沙界，三千弱水深，鹅毛飘不起，芦花定底沉。这是第一次正式的弱水三千的提法。鲁迅先生在他的《集外集拾遗补编。中国地质略论》说道：虽弱水四绕，孤立独成，犹将如何如何……
关于弱水，《红楼梦》第二十五回中也有提到：那道人又是怎生模样：一足高来一足低，浑身带水又拖泥。相逢若问家何处，却在蓬莱弱水西。这里也是指遥远的意思。
再后来，不少男女之间表达衷肠就用弱水三千只取一瓢的套话。近代诗人苏曼殊的《碎簪记》，里面有段对白：余曰：然则二美并爱之矣。**(打不出来)复叹曰：君思‘弱水三千’之意，当知吾心。又问：然君意属谁先？余曰：淑芳。
到了现在，弱水三千的提法很多。许多武侠小说里经常提到，如，每次男英雄遇一大群美少女时，都会对她们说：弱水三千，我只取一瓢饮。其实呢，则不然！
