当中国准备反击匈奴汗国的时候，想起了匈奴汗国的一个仇敌--月氏王国。月氏本来立国在河西走廊，首都设在张掖(甘肃张掖)，月氏王国是一个大国。但在公元前二世纪三十年代，被匈奴汗国击溃，国王的头骨被老上单于(冒顿单于的儿子)当作尿壶。全国向西逃亡，一直逃到中亚咸海以南、阿富汗以北地区定居，定都蓝市城(阿富汗瓦齐拉巴德市)。
中国盼望跟月氏王国结盟，对匈奴形成东西夹攻。以中国人的想法，月氏王国对匈奴有杀父灭国的深仇大恨，一旦听到有报仇复国的机会，一定会非常感激。中央政府征求使臣，张骞应征，跟他有同样勇气的还有一百余人。
月氏王国距中国首都长安，航空直线距离三千五百公里，当时中国国界只到金城(甘肃兰州)，过此向西仍是匈奴汗国的版图和势力范围。金城向西过河西走廊就是历史上有名的西域，西域有无边的沙漠和沙碛，暴风时起，风沙天翻地覆。又有寸草不生的咸水(罗布泊)，举目荒凉，往往走上一个月也见不到人。当时没有正式道路，在此旅行的人只有沿着前人死在途中的枯骨，摸索前进。
公元前一三八年，张骞跟他的使节团从首都长安出发，向他们毫无所知充满死亡的西北沙漠深入。一开始他们就遇到厄运:进入河西走廊后不久，即被匈奴汗国捉住，当发现他们是前往月氏王国时，军臣单于恼怒的说：“这是什么话，月氏王国在我之西，中国怎敢越过匈奴，跟他们来往。如果我派使节去南越王国(广东广州)，中国准许通过吗?”下令禁止离境，但尊敬他们是英雄人物，于是给每人找一位匈奴小姐作为妻子,企图置留使节团。这样一直过了十年，到了公元前一二九年，张骞跟他的伙伴抓住了一个机会，抛弃妻子，向西逃走。并成功逃到大宛王国(乌孜别克卡散赛城)，大宛人把使节团送到康居王国(哈萨克突厥斯坦)，康居人再把使节团送到月氏王国。然而，月氏人现在十分富裕，比在河西走廊故地要舒适多了。现任国王是死王的孙儿，对祖父的感情隔了一层，所以，国中没有人想到报仇复国的事。张骞在月氏王国住了一年多，失望而归。在归途中，再次被匈奴巡逻兵捉住，又被禁止离境。公元前一二六年，他再度抛弃妻子，从匈奴逃走，他的妻子、儿子听到消息，也奔走来追随他，可是追兵已至，张骞只抢到一个儿子，妻子跟另外一个幼子，被追兵隔断，永远诀别。张骞出使时一百余人，十二年后回到长安，只剩下两个人：张骞和他的仆从甘父。
张骞这次出使没有达成原来盼望的政治目的，但他为中国人发现了一片比当时中国还要广大的新的世界。他的贡献，只有以后哥伦布发现新大陆可以相比。张骞在月氏王国游说时，曾到过大夏王国(阿富汗东北部)，发现有四川成都出产的布匹和四川邛崃山出产的竹子。大夏人告诉他：“是从身毒王国(印度)买来的。”张骞推测：商品可以通过身毒王国，那么，人马当然也可以。也就是说，不必再冒被匈奴捕捉扣留的危险，改从蜀郡出发，到达西域，当更为安全。这一设想得到皇帝刘彻的支持，从而引起中国对“西南夷”的开拓。
公元前一二一年，匈奴汗国的浑邪王投降中国，河西走廊成为中国领土，中国从此跟西域直接接触。张骞再提出跟乌孙王国(吉尔吉斯伊什提克)结盟的建议。乌孙王国原在河西走廊西部，跟月氏王国为邻，后来被月氏驱逐，西迁到中亚巴尔喀什湖东南，是一个横跨伊犁河的大国。张骞认为，乌孙比月氏更能威胁匈奴，得到乌孙王国的友谊，就等于砍断了匈奴汗国的右臂。公元前一一六年，张骞第二次出使西域，这次他平安到达乌孙王国。邀请乌孙迁回故地，可是乌孙王国的反应非常冷淡，第一，它不知道中国的大小强弱，不能凭使节团的一面之词，作这么重大的决定。第二，它同时恐惧匈奴汗国的报复。张骞停留了一年，又失望而归。不过这次他做了两件事情：一是他把他的部属分别派赴康居王国、月氏王国、大夏王国、安息王国(伊朗)、身毒王国(印度)、于阗王国(新疆和田)，宣扬中国的声威。一是他动身回国时，邀请乌孙王国派遣使节与他同行，到中国访问。
张骞回国后的明年(前一一四年)逝世，但他派赴各国的使节，伴同各国的使节团和商团，陆续抵达长安。从此交往频繁，中国与西域诸国关系，日增密切。尤其是乌孙王国，当它的使节发现中国竟然是如此的庞然大物而又富强无比时，不禁肃然起敬。虽然仍不愿东迁，而且那时中国已在河西走廊设立了四个郡，也不再希望他们东迁。但它决定向中国臣服。匈奴汗国当然不高兴，扬言要采取军事行动。乌孙王昆莫紧张起来，向中国求婚，希望用中国的婚姻关系阻吓匈奴的侵略。公元前一○五年，一位美丽的中国公主刘细君嫁给乌孙国王昆莫(后来改嫁昆莫的孙儿岑娶)。匈奴汗国听到消息，急急忙忙也送了一位美丽的匈奴公主给乌孙王国，打算抵消中国公主的影响力，但匈奴汗国在西域的声势，已明显受到挑战。
