黎元洪清末在湖北时，一直位于张彪之下。张彪是张之洞的心腹，娶了张之洞心爱的婢女，人称“丫姑爷”。但张彪嫉贤妒能，加之当时报纸也赞扬黎元洪而贬低张彪，张彪对黎元洪十分反感，常在张之洞面前进谗言，诋毁黎元洪。
在进谗言的同时，张彪还以上级的位势，百般羞辱黎元洪，想让黎元洪不能忍受耻辱而离开军队。张彪的手法非常恶劣，曾经在军中将黎元洪罚跪，并当着士卒的面，将黎元洪的帽子扔在地上。黎元洪忍受着百般欺辱，却不动声色，脸上毫无怒容。时间久了，张彪对他也无可奈何。
然而，黎元洪也并非甘为人下者。他貌似忠厚而实有权术，他明知张彪欺侮自己，却不与之争锋，而是“平敛锋芒，海涵自负，绝不自显头角，以开异己者攻诽之隙”。
张之洞任命张彪为镇统制官，但军事编制和部署训练却要黎元洪协助张彪。张彪不懂军事，黎元洪呕心沥血，为之训练。成军之日，张之洞前往检查。见颇有条理，就当面称赞黎元洪，黎元洪却称谢说：“凡此皆张统制之部署，某不过执鞭随其后耳，何功之有？”
张彪听了黎元洪这话，心中十分感激，二人关系逐渐融洽。
1907年9月，张之洞任军机大臣，东三省将军赵尔巽补授湖广总督。
赵尔巽看不起张彪，要以黎元洪取代张彪，黎元洪坚辞不肯。同时，黎元洪又面见张彪，告之此事，建议他致电张之洞，让张之洞为其设法。张彪一听，心中大惊，立即让其夫人进京活动，央得张之洞来函，保全了他的职位。张彪对黎元洪十分感激，张之洞亦认为黎元洪颇有信义。
张之洞极看重黎元洪的“笃厚”，尝谓：“黎元洪恭谨，可任大事。”
实际上，黎元洪考虑得比较远，虽然张之洞已离开了湖北，但在北京当军机大臣，仍可影响到湖广总督的态度。如果黎元洪在张之洞离鄂之后，即取其宠将职位以自代，则不但有忘恩负义的嫌疑，甚至会影响自己的前途。
更为重要的是，黎元洪通过“忍”以及帮助张彪，使张彪改变了对自己的态度。这样，等于在湖北又有了一个助手，有利于增强自己的实力，在关键时刻能够帮自己的忙。
1908年3月，陈夔龙继赵尔巽为湖广总督，他贪赃枉法，声名狼藉。1911年10月上旬，瑞澄出任湖广总督，他对黎元洪极不信任，但此时黎元洪与张彪关系早已改善，因此并未影响到黎元洪的官职。
当时，湖北新军中像黎元洪这样的人并不多，因而被张之洞视为不可多得的人才，一再提拔重用。
黎元洪善于把握张之洞的心理，张之洞当时因甲午海战失败，为图变通陈法，请洋人任军中教官，吸收青年军官，有图强之心。黎元洪从日本考察回来，就建议多派学生和军官出国留学。张之洞采纳了他的建议，常派学生去东洋、西洋留学。同时，黎元洪在军中提倡学文化，规定文章做得好的可免除挑土之类的勤务。为了鼓励士兵学文化，他还亲自去听课。黎元洪的这些做法，使其带的部队有一种全新的气象。
黎元洪从正规军事学堂毕业，不同于张彪武进士出身。因而，对于训练军队，黎元洪都指挥得当，所发命令，言简意赅。在湖北督练新军的过程中，张之洞常把教练洋操的事务交与黎元洪筹划，这也是黎元洪获得升迁的一个重要原因。
1906年10月20日和1908年11月18日至19日，清政府两次举行秋操。分编南军、北军。南军由湖北第八镇和河南第十九混成协参加。湖北参加秋操的队伍均由黎元洪实际指挥。第一次秋操，射击技术获得最优秀奖。鄂军受到阅操大臣袁世凯、铁良的赞扬。第二次秋操，南军三战三胜，黎元洪受到观操的外国武官的称赞，并获清廷赏戴花翎。
