四年冬十月，皇上行幸雍。祠五畤。开通回中之道，遂北出萧关。经过独鹿鸣泽，从代地还幸河东。春三月，祠后土。赦汾阴，夏阳，中都死罪以下囚犯。
夏，大旱。
匈奴自卫青，霍去病北出大漠以来很少再来寇边。远徙北方休养士马，习练骑射，并多次派使者出使大汉。好辞甘言，请求和亲。汉便派北地人王乌等前去窥探匈奴虚实。王乌遵从匈奴风俗，去节入其穹庐，单于特别喜欢，假以甘言，许诺为他遣太子入汉为质。汉使杨信出使匈奴，杨信不肯从其风俗，单于说：“我曾与以前的使者相约，大汉倘若遣公主携丝绸财物食品前来和亲如此匈奴将不再扰边，如今却违反约定，想要我太子为质是不可能了。”
杨信既归，汉又使王乌前往。而单于又用甜言蜜语迷惑王乌。想以此多骗得大汉的财物。骗王乌说：“我想要入汉见天子，当面相约拜为兄弟。”王乌归报汉，汉在长安为匈奴修筑府邸。
匈奴说:：“大汉若不使其贵重之人前来出使，我是不会以真心和他相谈的。”匈奴使其贵人前往大汉出使，有病，汉竭尽全力希望治好他，不料他竟病死。汉使路充国佩二千石印绶，因送其丧，厚葬值数千金。并告诉匈奴说，路充国就是大汉的贵人。匈奴单于却就认定是大汉杀死了他的贵人，竟扣住路充国为质，不使归汉。再使王乌进言，单于不为所动，只用空话稳住王乌。却再无意入汉了。及其太子自大汉被遣归，便经常派奇兵侵扰汉的边鄙了。皇上于是拜郭昌为拔胡将军，配合浞野侯屯兵朔方以东备胡寇，
五年冬，皇上去南方巡狩，至于盛唐。在九嶷山遥祭虞舜。然后登天柱山。自寻阳乘船浮江，亲执弓射获江蛟。舳舻千里，自枞阳而出，遂北至琅琊海边，所过之处，都要礼祠其名山大川，次年春三月，还至泰山，增封。甲子，始于明堂祭祀上帝并以高祖配享。因朝会诸侯王列侯。
夏四月，大赦天下，所幸郡县，无需上交今年租赋。
长平列侯卫青薨。皇上为他起陵墓，像庐山之形。
皇上既攘却胡越，开地斥境，于是设置边地朔方，交阯二州，及翼幽并兖徐青杨荆豫益凉等州，共计十三部州，每州皆置刺史。皇上有感于过去的能臣及文武百官，老的老死的死，人才出现了短缺，就下诏说：“自古以来，有非常之功，必待非常之人。良马只有奔腾才能致千里，才士只有有异于凡俗的卓识才能成就大业。因此泛驾之马，卓异之士，也只有有赏识他的人驾驭它才行。其令州郡考察吏民，发现有茂才异等可为将相及出使绝国者，速速上报。”
六年冬，皇上行幸回中。次年春兴建首山宫。三月，行幸河东。祠后土，赦免汾阴殊死以下罪囚，
汉既通西南夷，开五郡，分别为犍为郡，越嶲郡。沈黎郡，汶山郡，益州郡。希望通过这些地方相接，能够直通大夏。每年都遣十余辈使节，通过这些新置的郡地，前往大夏。但往往这里的人会在昆明附近将这些使节劫杀，吞其财物。于是天子赦免京师那些亡命之徒的罪过，令他们从军。遣拔胡将军郭昌为将前去平叛，斩首数十万。以后再遣使前去，最终竟不得通。只好作罢。
秋，大旱有蝗灾。
乌孙使者见大汉广大，归报其国。其国就更加看重与大汉的交往。另外他旁边的大宛，月氏等国都服事汉。匈奴听说乌孙与大汉通使，怒，将要攻打他。乌孙于是害怕，派使者表示将要娶汉公主，与天子结为昆弟。天子与群臣计议后答应了。乌孙以马千匹来聘汉公主。汉以江都王刘建之女细君为公主，往乌孙和亲，赠送甚盛。乌孙王昆莫以她为右夫人。匈奴亦遣女给昆莫为妻，昆莫以为左夫人。
公主自治宫室居住，岁时一再与昆莫相会，置酒饮食。昆莫年老，又言语不通，公主悲愁思归。天子闻讯后心生怜惜，不时遣使者赠送帷帐锦繍，并加以存问。
昆莫自以年老，想让他的孙子岑娶娶公主。公主不听，将情状汇报可从其国俗与乌孙共灭胡寇。岑娶遂以公主为妻。昆莫死，岑娶代立为昆弥。
当是之时，汉使西逾葱岭抵达安息。安息发使朝汉，其旁诸小国皆使使随汉使入见天子。天子大为高兴。西国使者自此来来去去，渐成常态。天子每次巡狩海上，常常带这些使者随行。沿途故意大行赏赐，以示汉国国库充足，富饶。
大宛左右多葡萄可以为酒。多苜蓿，天朝的马喜欢吃，汉使者就采其果实拿回来，天子将其种在离宫别观旁。
西国使者虽来来往往，然其地近匈奴，常畏惧匈奴使者，待之强于汉使。是岁，匈奴乌维单于死，其子乌师卢立，年少，号称儿单于。自此以后，单于益往西迁移，匈奴势力转弱。