据李时珍《本草纲目》中记载：乌米饭“乃仙家服食之法，而今之释家多于四月八日造之，以供佛耳。”《燕都游览志》载：“四月八日，梵寺食乌饭。”这些记载清楚表明，此时，除民间食用外，乌米饭已列为佛家食品，其食用时间也被限定在四月八日。
民间传说，盘古开天地不久，凡间种的丝瓜藤儿一直长到天宫，人们便常常攀藤上天游玩。玉皇大帝得知后大怒，一边命托塔天王用剑斩断丝瓜藤，把天宫升到九霄云外，一边又命天牛星取来百草籽，撒到人间。结果人间变成一片草的世界，庄稼凋零，百姓受尽了疾苦，哭声连天。天牛星闻声感到十分内疚，在四月初八那天，它背起天犁降临人间，一边大口大口地吞吃杂草，一边拖着天犁翻耕。从此，大地又长出了庄稼，这事惊动了五皇大帝，就处罚天牛星永远留在人间，过吃草耕地的生活。浙江宁海的人们为了感谢天牛，就把它下凡的那天定为天牛日。每逢此日，人们让天牛好好休息，并且给它做一顿乌米饭。同时，人们也吃乌米饭，表示与天牛同甘共苦！
在浙江遂昌、松阳一带，人们传说吃乌米饭为的是纪念一次反抗苛捐杂税的斗争。传说从前有个皇帝，不顾百姓死活，派出一批大臣去各地收敛钱粮。当时有个在朝为官的松阳人，得知四月八日大臣要到遂昌、松阳一带收钱粮，就派了亲信事先赶往家乡，告诉家乡人连夜做乌米饭，用以迷惑大臣。四月初八这天，收钱粮的大臣到了遂昌，但见百姓啼饥号寒，口称连年灾荒，无米下锅，要求免交钱粮。那大臣便挨家挨户察看，见锅里都是用树叶子煮成的黑糊糊的饭，才确信无疑。他回到朝廷，禀报皇帝，暂且免去了遂昌、松阳一带的钱粮。为纪念这次反抗苛捐杂税的胜利，当地百姓就留下了每年四月初八吃乌米饭的习俗。
除了四月八有吃乌米饭的习俗外，江南农村在立夏之日亦吃乌米饭。
战国时，庞涓忌才妒贤，用惨忍的手段削去孙膑的膝盖骨，使他不能行走。以后，为了骗得孙氏兵书，庞涓又假装关怀，用好茶好饭供孙膑食用。这件事的前前后后，被伺候孙膑的老狱卒知道了，他暗中告诉了孙膑，孙膑才如梦初醒，认识了庞涓的阴险狠毒。为了挫败庞涓的阴谋，又能保全自己的性命，孙膑故意装疯卖傻，哭笑无常，把写好的兵书焚烧殆尽。庞涓心中存疑，令人把他拖进猪圈。谁知，不多一会儿，孙膑便枕着猪槽呼呼睡着了。从此，孙膑不吃不喝，整天疯疯癫癫。老狱卒见他一天天消瘦下去，十分担忧。老狱卒的老伴知道了这件事，献计道：“用乌树叶子浸拌糯米，煮成饭后捏成小团子，跟猪粪的颜色一样，既可瞒过庞涓，又可救孙膑性命。”老狱卒照办了。就这样，庞涓放松了对孙膑的监视。不多久，齐国田忌派人救走了孙膑。后来孙膑终于报仇雪恨，射杀了庞涓。孙膑第一次吃乌米饭，正直农历立夏节，为了纪念这位杰出的大军事家，立夏吃乌米饭的风俗便从此形成了。
