这是一次极为艰苦的行军。大戈壁滩上，飞沙走石，热浪滚滚；葱岭高如屋脊，冰雪皑皑，寒风刺骨。沿途人烟稀少，水源奇缺。加之匆匆出逃，物资准备又不足。张骞一行，风餐露宿，备尝艰辛。干粮吃尽了，就靠善射的堂邑父射杀禽兽聊以充饥。不少随从或因饥渴倒毙途中，或葬身黄沙、冰窟，献出了生命。

张骞到大宛后，向大宛国王说明了自己出使月氏的使命和沿途种种遭遇，希望大宛能派人相送，并表示今后如能返回汉朝，一定奏明汉皇，送他很多财物，重重酬谢。大宛王本来早就风闻东方汉朝的富庶，很想与汉朝通使往来，但苦于匈奴的中梗阻碍，未能实现。汉使的意外到来，使他非常高兴。张骞的一席话，更使他动心。于是满口答应了张骞的要求，热情款待后，派了向导和译员，将张骞等人送到康居王又遣人将他们送至大月氏。

不料，这时大月氏人，由于新的国土十分肥沃，物产串富，并且距匈奴和乌孙很远，外敌寇扰的危险已大大减少，改变了态度。当张骞向他们提出建议时，他们已无意向匈奴复仇了。加之，他们又以为汉朝离月氏太远，如果联合攻击匈奴，遇到危险恐难以相助。张骞等人在月氏逗留了一年多，但始终未能说服月氏人与汉朝联盟，夹击匈奴。在此期间，张骞曾越过妫水南下，抵达大夏的蓝氏城（今阿富汗的汗瓦齐拉巴德）。元朔元年（前128年），动身返国。

归途中，张骞为避开匈奴控制区，改变了行军路线。计划通过青海羌人地区，以免匈奴人的阻留。于是重越葱岭后，他们不走来时沿塔里木盆地北部的“北道”，而改行沿塔里木盆地南部，循昆仑山北麓的“南道”。从莎车，经于阗（今和田）、鄯善（今若羌），进入羌人地区。但出乎意料，羌人也已沦为匈奴的附庸，张骞等人再次被匈奴骑兵所俘，又扣留了一年多。

元朔三年（前126年）初，军臣单于死了，其弟左谷蠡王伊稚斜自立为单于，进攻军臣单于的太子于单。于单失败逃汉。张骞便趁匈奴内乱之机，带着自己的匈奴族妻子和堂邑父，逃回长安。这是张骞第一次出使西域。从武帝建元二年（前139年）出发，至元朔三年（前126年）归汉，共历十三年。出发时是一百多人，回来时仅剩下张骞和堂邑父二人。所付出的代价是何等高昂！

张骞这次远征，仅就预定出使西域的任务而论，是没有完成。因为他未能达到同大月氏建立联盟，以夹攻匈奴的目的。如从其产生的实际影响和所起的历史作用而言，无疑是很大的成功。自春秋以来，戎狄杂居泾渭之北。至秦始皇北却戎狄，筑长城，以护中原，但其西界不过临洮，玉门之外的广阔的西域，尚为中国政治文化势力所未及。张骞第一次通使西域，使中国的影响直达葱岭东西。自此，不仅现今中国新疆一带同内地的联系日益加强，而且中国同中亚、西亚，以至南欧的直接交往也建立和密切起来。后人正是沿着张骞的足迹，走出了誉满全球的“丝绸之路”。

张骞的“凿空”之功，是应充分肯定的。

张骞第一次出使西域，既是一次极为艰险的外交旅行，同时也是一次卓有成效的科学考察。张骞第一次对广阔的西域进行了实地的调查研究工作。他不仅亲自访问了位处新疆的各小国和中亚的大宛、康居、大月氏和大夏诸国，而且从这些地方又初步了解到乌孙（巴尔喀什湖以南和伊犁河流域）、奄蔡（里海、咸海以北）、安息（即波斯，今伊朗）、条支（又称大食，今伊拉克一带）、身毒（又名天竺，即印度）等国的许多情况。回长安后，张骞将其见闻，向汉武帝作了详细报告，对葱岭东西、中亚、西亚，以至安息、印度诸国的位置、特产、人口、城市、兵力等，都作了说明。这个报告的基本内容为司马迁在《史记·大宛传》中保存下来。这是中国和世界上对于这些地区第一次最翔实可靠的记载。至今仍是世界上研究上述地区和国家的古地理和历史的最珍贵的资料。

汉武帝对张骞这次出使西域的成果，非常满意，特封张骞为太中大夫，授堂邑父为“奉使君”，以表彰他们的功绩。

开发西南张骞第一次出使西域所获得的关于中原外部世界的丰富知识，在以后西汉王朝的政治、军事、外交活动和对匈奴战争中，发挥了积极的作用，并产生了深远的影响。

在此以前，汉代的君臣还根本不知道，在中国的西南方有一个身毒国的存在。张骞在大夏时，忽然看到了四川的土产，邛竹杖和蜀布。他感到十分诧异，追问它们的来源。大夏人告诉他，是大夏的商人从身毒买来的。而身毒国位于大夏的东南方。回国后，张骞向汉武帝报告了这一情况。并推断，大夏位居中国的西南，距长安一万二千里，身毒在大夏东南数千里，从身毒到长安的距离不会比大夏到长安的距离远。而四川在长安西南，身毒有蜀的产物，这证明身毒离蜀不会太远。据此，张骞向汉武帝建议，遣使南下，从蜀往西南行，另辟一条直通身毒和中亚诸国的路线，以避开通过羌人和匈奴地区的危险。张骞的推断，从大的方位来看是正确的，但距离远近的估计则与实际情况不合。当然，在近二千年前张骞达到这样的认识水平，是难能可贵的。汉武帝基于沟通同大宛、康居、月氏、印度和安息的直接交往，扩大自己的政治影响，彻底孤立匈奴的目的，欣然采纳了张骞的建议，并命张骞去犍为郡（今四川宜宾）亲自主持其事。

自远古以来，中国西南部，包括现在四川西南，青海南部、西藏东部，云南和贵州等地，为众多的少数民族所聚居，统称为“西南夷”。战国末年楚将军庄乔入滇立国，但不久即重新阻隔。汉武帝初年，曾先后遣唐蒙、司马相如“开发”“西南夷”，置犍为郡，并使邛都。（今西昌一带）、榨（今汉源一带）、冉琥（今茂县）诸部内附。后因全力对付匈奴，停止了对西南的经营。中国西南各少数民族同中原王朝基本上仍处于隔绝状态。通道西南当时是十分艰难的。

元狩元年（前122年），张骞派出四支探索队伍，分别从四川的成都和宜宾出发，向青海南部、西藏东部和云南境内前进。最后的目的地都是身毒。四路使者各行约一、二千里，分别受阻于氐、榨（四川西南）和禹、昆明（云南大理一带）少数民族地区，未能继续前进，先后返回。

张骞所领导的由西南探辟新路线的活动，虽没有取得预期的结果，但对西南的开发是有很大贡献的。张骞派出的使者，已深入到当年庄乔所建的滇国。滇国又名滇越，因遇有战事将士们坐在大象上作战，故又叫“乘象国”。

使臣们了解到，在此以前，蜀的商人已经常带着货物去滇越贸易。同时还知道住在昆明一带的少数民族“无君长”，“善寇盗”。正是由于昆明人的坚决阻挠，使得汉朝的使臣不得不停止前进。在此以前，西南各地的少数民族，对汉朝的情况几乎都不了解。难怪汉使者会见滇王时，滇王竟然好奇地问：“汉朝同我们滇国比较，是哪一国大呢？”使者到夜郎时，夜郎侯同样也提出了这个问题。这就成为后世“夜郎自大”典故的由来。通过汉使者的解释和介绍，他们才了解到汉朝的强大。汉王朝从此也更注意加强同滇国、夜郎及其它部落的联系。至元鼎元年（前111年），汉王朝正式设置胖柯、越侥、沈黎、汶山、武都等五郡，以后又置益州、交趾等郡，基本上完成了对西南地区的开拓。

抗击匈奴在张骞通使西域返回长安后，汉朝抗击匈奴侵扰的战争，已进入了一个新的阶段。探险西南的前一年，张骞曾直接参加了对匈奴的战争。元朔六年（前123年）二月和四月，大将军卫青，两次出兵进攻匈奴。汉武帝命张骞以校尉，从大将军出击漠北。当时，汉朝军队行进于千里塞外，在茫茫黄沙和无际草原中，给养相当困难。张骞发挥他熟悉匈奴军队特点，具有沙漠行军经验和丰富地理知识的优势，为汉朝军队作向导，指点行军路线和扎营布阵的方案。由于他“知水草处，军得以不乏”，保证了战争的胜利。事后论功行赏，汉武帝封张骞为“博望侯”，封地即今河南省方城县博望镇。颜师古在《汉书》注中认为，“博望”是“取其能广博瞻望。”这是汉武帝对张骞博闻多见，才广识远的恰当肯定。

元狩二年（前121年），张骞又奉命与“飞将军”李广，率军出右北平（今河北东北部地区），进击匈奴。李广率四千骑作先头部队，张骞将万骑殿后。结果李广孤军冒进，陷入匈奴左贤王四万骑兵的重围。李广率领部下苦战一昼夜，张骞兼程赶到，匈奴始解围而去。此战虽杀伤众多敌人，但李广所率士兵大部分牺牲，张骞的部队亦因过分疲劳，未能追击。朝廷论罪，李广功过两抵，张骞却以“后期”罪贬为平民。从此，张骞离开了军队生活。但张骞所开始的事业并未结束。不久，他又第二次踏上了通使西域的征途。