但在留居匈奴的十年期间，西域的形势已发生了变化。月氏的敌国乌孙，在匈奴支持和唆使下西攻月氏。月氏人被迫又从伊犁河流域，继续西迁，进入咸海附近的妫水地区，征服大夏，在新的土地上另建家园。张骞大概了解到这一情况。他们经车师后没有向西北伊犁河流域进发，而是折向西南，进入焉耆，再溯塔里木河西行，过库车、疏勒等地，翻越葱岭，直达大宛（今乌兹别克斯坦费尔干纳盆地）。路上经过了数十日的跋涉。
这是一次极为艰苦的行军。大戈壁滩上，飞沙走石，热浪滚滚；葱岭高如屋脊，冰雪皑皑，寒风刺骨。沿途人烟稀少，水源奇缺。加之匆匆出逃，物资准备又不足。张骞一行风餐露宿，备尝艰辛。干粮吃尽了，就靠善射的堂邑父射杀禽兽聊以充饥。不少随从或因饥渴倒毙途中，或葬身黄沙、冰窟，献出了生命。
张骞到大宛后，向大宛国王说明了自己出使月氏的使命和沿途种种遭遇，希望大宛能派人相送，并表示今后如能返回汉朝，一定奏明汉皇，送他很多财物，重重酬谢。大宛王本来早就风闻东方汉朝的富庶，很想与汉朝通使往来，但苦于匈奴的阻碍未能实现。汉使的意外到来使他非常高兴。张骞的一席话更使他动心。于是满口答应了张骞的要求，热情款待后，派了向导和译员，将张骞等人送到康居（今苏联乌兹别克和塔吉克境内）。康居王又遣人将他们送至大月氏。
不料，这时的大月氏人由于新的国土十分肥沃，物产串富，并且距匈奴和乌孙很远，外敌寇扰的危险已大大减少，改变了态度。当张骞向他们提出建议时，他们已无意向匈奴复仇了。加之他们又以为汉朝离月氏太远，如果联合攻击匈奴，遇到危险恐难以相助。张骞等人在月氏逗留了一年多，但始终未能说服月氏人与汉朝联盟，夹击匈奴。元朔元年（公元前128年），张骞一行动身返国。
归途中，张骞为避开匈奴控制区改变了行军路线。计划通过青海羌人地区，以免匈奴人的阻留。于是重越葱岭后，他们不走来时沿塔里木盆地北部的“北道”，而改行沿塔里木盆地南部，循昆仑山北麓的“南道”。从莎车，经于阗（今和田）、鄯善（今若羌），进入羌人地区。但出乎意料，羌人也已沦为匈奴的附庸，张骞等人再次被匈奴骑兵所俘，又扣留了一年多。
元朔三年（公元前126年）初，军臣单于死了，其弟左谷蠡王伊稚斜自立为单于，进攻军臣单于的太子于单。于单失败逃汉。张骞便趁匈奴内乱之机，带着自己的匈奴族妻子和堂邑父，逃回长安。以上便是张骞第一次出使西域的过程。从武帝建元二年（公元前139年）出发，至元朔三年（公元前126年）归汉，共历十三年。出发时是一百多人，回来时仅剩下张骞和堂邑父二人。所付出的代价是何等高昂！
张骞这次远征，仅就预定出使西域的任务而论，是没有成功的，因为他未能达到同大月氏建立联盟，以夹攻匈奴的目的。如从其产生的实际影响和所起的历史作用而言，则无疑是很大的成功。自春秋以来，戎狄杂居泾渭之北。至秦始皇北却戎狄，筑长城之后，中原的局势是安定了，但其西界不过临洮，玉门之外的广阔的西域，尚为中国政治文化势力所未及。张骞第一次通使西域，使中国的影响直达葱岭东西。自此，不仅现今中国新疆一带同内地的联系日益加强，而且中国同中亚、西亚，以至南欧的直接交往也建立和密切起来。后人正是沿着张骞的足迹，走出了誉满全球的“丝绸之路”。张骞的功劳，是应充分肯定的。
张骞第一次出使西域，既是一次极为艰险的外交旅行，同时也是一次卓有成效的科学考察。在这次行程中张骞第一次对广阔的西域进行了实地的调查研究工作。他不仅亲自访问了位处新疆的各小国和中亚的大宛、康居、大月氏和大夏诸国，而且从这些地方又初步了解到乌孙（巴尔喀什湖以南和伊犁河流域）、奄蔡（里海、咸海以北）、安息（即波斯，今伊朗）、条支（又称大食，今伊拉克一带）、身毒（又名天竺，即印度）等国的许多情况。回长安后，张骞将其见闻，向汉武帝作了详细报告，对葱岭东西、中亚、西亚，以至安息、印度诸国的位置、特产、人口、城市、兵力等，都作了说明。这个报告的基本内容为司马迁在《史记·大宛传》中保存下来。这是中国和世界上对于这些地区第一次最翔实可靠的记载，至今仍是世界上研究上述地区和国家的古地理和历史的最珍贵的资料，具有重要的价值。
二年后，张骞复劝武帝联合乌孙（今伊犁河流域），武帝命张骞为中郎将，率三百人，马六百匹，牛羊金帛万数，浩浩荡荡第二次出使西域。此时匈奴势力已被逐出河西走廊，道路畅通。他到达乌孙后，请乌孙东返故地。乌孙王年老，不能做主，大臣都惧怕匈奴，又认为汉朝太远，不想移徙。张骞派遣副使分别赴大宛、康居、大月氏、安息、身毒、于阗、扜弥（今新疆于田克里雅河东）等国展开外交活动，足迹遍及中亚、西南亚各地，最远的使者到达地中海沿岸的罗马帝国和北非。元鼎二年（公元前115），乌孙王配备了翻译和向导，护送张骞回国，同行的还有数十名乌孙使者，这是西域人第一次到中原。乌孙王送给汉武帝数十匹好马，深得武帝欢心。武帝任命张骞为大行，负责接待各国使者和宾客。第二年，张骞去世。他所派遣的使者以后也陆续带了各国使者来到长安，汉和西域诸国建立了友好关系。而汉朝的使者不断往来于西域诸国，一年多则十几次，少则五六次，都用“博望侯”张骞的名义，以取信于各国。乌孙国见汉朝军威远播，财力雄厚，遂重视与汉朝关系，要求和亲。武帝以江都王刘建之女细君公主远嫁乌孙王昆莫；细君死后，武帝又把解忧公主嫁给乌孙王岑陬，两国长期通婚友好。除此之外，两地的交流还带来了许多物产的传播。相传葡萄、苜蓿、石榴、胡桃、胡麻等物皆为张骞从西域传入中原，这一说法或许不尽然，但张骞对开辟丝绸之路卓有贡献，则至今为人称道。