张楼位于安徽泗县东北部，是淮北根据地连接东西的必经要道，战略地位十分重要。
1938年秋，日军侵占泗城后，张楼大恶霸地主张海生投靠日军，被委任为伪淮海省“剿匪”第6总队司令兼自卫团长。张海生依仗日军支持，强拉民伕，在张楼挖圩壕、修炮楼、建据点，并以此为依托，经常袭扰我泗睢、泗宿县抗日根据地，先后捕杀我八路军、新四军干部战士、民兵、群众等百余人。周围数十里的人民群众无不对之切齿痛恨，盼望我军早日拔除这一抗日根据地内最大的汉奸据点。
在抗日战争期间，八路军陇海南进支队、苏鲁豫支队共同曾于1940年4月发起攻打张楼的战斗;新四军第4师9旅25团也曾于1941年再次攻打张楼，两次对其攻击均因条件不成熟和附近日军出兵增援未获成功。随着抗日形势的好转，为打破敌我长期僵持局面，畅通淮北根据地东西往来之路，新四军决定于1944年6月再次对张楼据点张海生部发动攻击。
张楼分前后张楼。前后张楼两个圩子及7个外围据点共驻有伪军2000余人，且装备精良。新四军4师首长决定由9旅26团先攻克后张楼，待后张楼攻克后，再乘胜攻克前张楼。后张楼由大汉奸张海生率部400余人驻守，该据点工事坚固，围墙高4米，墙外沟宽水深，沿围墙筑有20多个地堡，据点四角各有一个高大坚固的碉堡。外壕沟宽约10米，壕内埋有竹签、三角钉等物。团里决定1营为主攻营，3营为副攻营，1营分配我所在的1连为突击连。
战斗发起前，我连在沙盘上进行了演练，旅长韦国清亲自指导我们连沙盘作业。6月17日黄昏前，团部用炮火轰击敌据点内东北角的大炮楼。在炮火的掩护下，我连兵分两路向据点内敌人发起了猛烈冲锋，各突击队按指定的任务，奋不顾身地跳下围壕，竖起梯子，爬上了围墙，猛掷手榴弹，大约15分钟即突入圩内，并迅速占领两个地堡及附近阵地，打开了突破口。接着连队的二梯队也迅速投入了战斗，连续打退了敌人的多次反冲锋。
经过激烈战斗，我连又很快占领了据点内的一片佃户房。由于敌人大部已退守据点之大瓦房院内继续顽抗，并用各种火器向我突入圩内的战士猛烈扫射，部队无法前进。为了尽快消灭敌人，我军(9旅)及时调来一门自己制造的平射迫击炮，用这门炮把敌人大瓦房院东北角的炮楼打开了一个洞，战士们随即勇猛冲入，以刺刀、手榴弹与敌人拼杀。此时，大瓦房院内之敌已慌作一团，曾几次企图突围。我连立即命令部队要全歼院内的敌人，并一鼓作气逐屋作战，全歼了院内的敌人。此次战斗共俘虏伪军大队长以下269人，打死64人，缴获重机枪一挺，轻机枪4挺，掷弹筒7具，步枪362只。随着我团攻占后张楼，前张楼守敌发生动摇逃跑，被我4师11旅歼灭。当日上午泗县城日伪军400余人在飞机掩护下，企图接应前张楼之敌突围，又被我9旅25团歼灭。
张楼大捷后，新四军陈毅军长特来电祝贺，电文称：“经一昼夜激战，将前后张楼之敌全歼，全赖你们指挥有方，全体指战员用命，发扬了英勇顽强的战斗作风，殊堪嘉奖……”
