在封建社会，几乎每个县城的中心要道，都建有一座四牌楼，既作建筑标志，也关系到城市风水，以驱灾纳福，毓秀钟灵。唯有合肥人通称的四牌楼，却别具特色。
据清嘉庆《合肥县志》载：此楼为奎星楼，又称魁楼。所谓奎星（魁星）是主宰文章兴衰的神，其像右手高举一枝斗笔，左脚跷起，形似鬼判。据说那斗笔点到谁的头上，谁就要中状元。这不仅令读书人对其顶礼膜拜，连平民百姓也向其焚香叩求。由于合肥自隋唐开科取士以来，没有出过状元，全县上下都感到脸上无光。到了明代初叶，相传有位风水大师来到合肥，手拿罗盘四处察看，结论是：必须将附祀于文昌宫内的奎星楼，迁至前大街中心偏东（即今天青云楼、解放电影院和邮政大楼之间），这样一笔独竖，文气冲天，可以代出状元。结果按照风水大师的规划，奎星楼迅即迁址建成，系两层砖木结构的小阁，下层辟有四门，通往行人、车轿；上层供奉奎星神像。因合肥人读奎为“亏”，所以便有一句歇后语：“四牌楼菩萨——亏心”。
清咸丰三年（１８５４年），太平军攻占合肥，奎星楼被毁。光绪年间按原样修复。其间经过明、清两代，合肥仍未文气冲天，出过一名状元。１９２６年冬，其西南侧有家范姓油条店，在清晨炸早点时，不慎油锅起火，将奎星楼及周边房屋烧成灰烬。事后，范姓家族纷纷捐款，准备集资重修。不料第二年四月，直鲁军总司令张宗昌率兵１０万，由寿县、定远南下袭击合肥，企图援助奉军，反攻南京。十八日抵达合肥西北部，遭到守军国民革命军独立第五师师长马祥斌部的抵抗。直鲁军一度攻到城外三里街、坝上街、东门大桥附近。适逢冯玉祥部的北伐先遣司令王金韬路过合肥，率部奋勇助战，将敌击退。直鲁军围城二十八昼夜，张宗昌曾亲临指挥，并动用飞机轰炸，重炮攻击，白俄部队冲锋，均未攻破合肥城池。后在国民革命军第七、第十军的增援下，直鲁军于五月十六日溃退。
合肥解围后，马祥斌奉命追击直鲁军残部，在阜阳诈降中计被俘，解至济南，遭张宗昌杀害。王金韬在移防徐州时，被卫士谋害。合肥各界因感激二人的守城之功，便捐款１万余银元，加上范姓数千元捐款，于１９２８年春在奎星楼原址上修建一座钢筋水泥的“马、王二公祠”，楼呈四方形，高三层，底层为通道；中层供马、王二公牌位，以及“保境卫民”匾额、楹联和记功碑；三楼仅有奎星塑像一尊，大概是科举已废，神前香火冷落，但老百姓仍称其为四牌楼。
