1871年，沙俄强占伊犁。1878年，清廷任命吏部侍郎崇厚为出使俄国头等钦差大臣，赴沙俄圣彼得堡谈判收复伊犁事宜。
崇厚抵达圣彼得堡后，俄国人假意好生招待，以试探他的底细。最后在沙俄胁迫和欺骗下，他擅自与沙俄代理外交大臣吉尔斯签订了《里瓦几亚条约》十八条（另有《瑷珲专条》《兵费及恤款专条》《陆路通商章程》十七条）。
条约送回国内后，舆论大哗，国人皆曰崇厚可杀。沙俄名义上把伊犁归还中国，实则窃取更多的利益。清政府也觉得此约“流弊甚大”，拒绝批准，并将崇厚革职拿问，要处以死刑。正好当时左宗棠刚刚平定新疆阿古柏之乱，大臣们纷纷主张对沙俄采取强硬措施。
沙俄听到清政府拒绝批准条约的消息后，在我国东北和西北边境集结了大量兵力，并派遣舰队在中国海面示威，以发动战争相威胁，进行外交恫吓，妄图逼迫中国就范。
清政府几经斟酌，决定先用外交手段，于是，改派当时已经出使英法的曾纪泽前往俄国，负责伊犁改约谈判事宜。
出发前，曾纪泽根据形势定下的战略是：在边界问题上寸步不让，在贸易问题上讨价还价，在赔款问题上可以商量。
曾纪泽到达俄国的时候，俄国已经派遣使臣布策前来催促条约签字。曾纪泽得知后便要求俄国外交部令布策折回，对伊犁问题重新谈判。在曾纪泽的坚持下，俄国代理外部大臣吉尔斯、副大臣热梅尼和布策参与了谈判。
俄国代理外部大臣吉尔斯见了曾纪泽后，虽然开始觉得有点心虚，但又不想丧失诈骗而来的成果，便拿出一副强硬的态度，说：“你们的全权大臣既然签约了，就没什么好商量了。”
曾纪泽针锋相对道：“崇厚所答应的，大都超过了朝旨的授权，不能不加以更改。”
俄国人说：“你们朝廷要将使臣定罪处死，废除已经谈判好的条约，这样做有悖国际公法，你们中国人不讲道理，我们没法和你们再谈判。”
曾纪泽说：“中国的使臣违背朝旨，定失职之罪，和外国没什么关系，你们无权干涉。何况，现在考虑到贵国的颜面，已经将崇厚释放了。”
俄国人没话可说，便转移话题，说：“你们中国现在正在备兵备战，明摆着想破坏和平。”
曾纪泽说：“我们备兵并非是因为你们而起，主要是防卫边疆乱党余孽，并无不可。”
俄国人说：“既然你们已经备战，那我们也要派兵备战，这是你们所挑起的，你们要承担全部责任。”
曾纪泽说：“你们要这样说的话，我们也可以反过来说你们想破坏和平。两国要想和睦相处的话，本就不应该提备战之事。”
俄国人立刻觉得自己失言，便悻悻然地说曾纪泽不是“全权大臣”，不够谈判的资格。
曾纪泽说：“我现在是大清帝国委派的驻俄大使，完全有议约之权。”（曾纪泽当时是兼任出使英、法、俄三国大臣，相当于驻三国的大使。）
俄国人见曾纪泽不好对付，只好答应重新谈判。
为了给谈判增加筹码，清政府派左宗棠亲率大军离开肃州（今酒泉市），出嘉峪关，向哈密挺进。为了表明收复伊犁的决心，老帅左宗棠出征前命人备好棺木，“抬棺出征”，以鼓舞士气。左宗棠大军到达新疆哈密后，准备部署三路进兵收复伊犁：一路由金顺进驻精河从正面佯攻；一路由张曜从阿克苏越过天山进击伊犁南部；一路由刘锦棠经乌什越冰岭直赴伊犁西面的后路。
刚刚在土耳其吃了亏的俄国人思前想后，不得不降低要求，以谈判解决问题。在这种情况下，经过反复的辩论和艰苦的谈判，1881年2月，曾纪泽与沙俄代理外交大臣吉尔斯和布策签订了《中俄伊犁条约》和《改定陆路通商章程》。
这个条约和《里瓦几亚条约》相比，除赔款增加了四百万卢布外，在领土、界务和商务方面，中国都争回了部分主权。在这个过程中，沙俄还是蚕食了塔城东北和伊犁、喀什噶尔以西约七万多平方公里有争议的领土。
伊犁的改约谈判，算是晚清外交史上的一次小胜，当然，这和左宗棠的军事后盾有很大关系，正因为清军不惜与俄国兵戎相见，才为外交赢得了主动，不然，任你口吐莲花，舌辩群雄，恐怕也无济于事。
