据史料记载，最早的肥皂配方起源于西亚的美索不达米亚。大约在公元前3000年的时候，人们便将1仿油和5份碱性植物灰混合制成清洁剂。在欧洲，关于肥皂起源的传说很多。一说古罗马的高卢人，每遇节日便将羊油脂和山毛样树灰溶液搅成稠状，涂在头发上，梳成各种发型。一次，节日突遇大雨，发型淋坏了，人们却意外发现头发变干净了。又传说，罗马人在祭神时，烧烤的牛羊油滴落在草木灰里，形成了“油脂球”。妇女们洗衣时发现，沾了“油脂球”的衣服更易洗干净。这都说明人们用动物脂肪与草木灰（碱）原料制皂已有几千年历史。
考古学家在意大利的庞贝古城遗址中发现了制肥皂的作坊。说明罗马人早在公元2世纪已经开始了原始的肥皂生产。中国人也很早就知道利用草木灰和天然碱洗涤衣服。人们还把猪胰腺、猪油与天然碱混合，制成块，称“胰子”。
早期的肥皂是奢侈品，直至 1791年法国化学家卢布兰用电解食盐方法廉价制取火碱成功，从此结束了从草木灰中制取碱的古老方法。1823年德国化学家契弗尔发现脂肪酸的结构和特性，肥皂即是脂肪酸的一种。19世纪末，制皂工业由手工作坊最终转化为工业化生产。
肥皂之所以能去污，是因为它有特殊的分子结构，分子的一端有亲水性，另一端则有亲油脂性。在水与油污的界面上，肥皂使油脂乳化，让油脂溶于肥皂水中；在水与空气的界面上，肥皂围住空气的分子形成肥皂泡沫。原先不溶于水的污垢，因肥皂的作用，无法再依附在衣物表面，而港平肥皂泡沫中，最后被整个清洗掉。
