看具体情况来判定：
其一、如果该单位的员工明知是单位非法吸收的公众存款，仍然故意领取工资的，则要退工资；
其二、如果不符合上述情况的，则不退工资。
《刑法》第一百七十六条规定，非法吸收公众存款或者变相吸收公众存款，扰乱金融秩序的，处三年以下有期徒刑或者拘役，并处或者单处二万元以上二十万元以下罚金；数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处五万元以上五十万元以下罚金。 单位犯前款罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任人员，依照前款的规定处罚。
延伸阅读：
对于非吸业务员如何辩护？
非吸业务员上千万缓刑可能吗
非吸案业务员被审查起诉可以撤销起诉吗？
