杨过在谷中待了数月，又杀了一些新长成的菩斯曲蛇，揉制了许多蛇胆药丸，服食之后，功力更进一步，膂力也是大增。如今就是用起重剑，也能舞动数百下了。不过他性子浮滑，轻灵有余，沉稳不足，加之这几个月软剑剑法进展极大，已然练成了泰山剑式，幻剑诀也更进一步，自然不待见黑黝黝又沉重的重剑了，平日里使用，也是软剑居多。
不知不觉间，杨过已经在神雕谷中待了几个月，心中也有些烦了。加之他这一段时间功力进展过快，劲力控制已不像之前那么灵便，知道自己需要沉淀一阵子，才能再求进步。想了一下，也就携了软剑，就此出谷而去。至于那黝黑又沉重的重剑，自然被他重新埋起来了。如今他的轻功是一大优势，自然不能带个八十一斤的累赘，拖累速度。
出了山谷，杨过整理了一下形貌，思索接下来的去路。他本想去襄阳城帮助群雄守城，但想到自己师父被人讥笑，心里又有些不想见到郭芙等人，便在襄阳城外周游一番，想着过些日子再到襄阳城暗中帮助，等到黄蓉生下孩子后再南下寻找师父。他听方志兴提过此事，自然放在欣赏。
这日，杨过正行走间，突然听到远处传来一阵“救命”的声音，似乎颇为熟悉，急忙奔了过去。但见四个绿袍人分站南、西、西北、北四个方位，拉开一张绿色的大渔网，成弧形围住一个绿衣女子，向她兜头罩落。五人服色奇古，并非当时装束，三个男人均是中年，各戴高冠，站在西北方的则是个少女，腰间一根绿色绸带随风飘舞。
杨过远远看到，还未认清被围着的绿衣女子是谁。便见到那四人提着渔网东绕西转，将她绑了个结结实实，又点了哑穴，不让那人喊叫。一个男子将他负在肩头。余下三人持剑在旁相护，向东飞奔而去。
“奇怪，声音怎么这么熟悉？”杨过见到五人装束，本以为这些人是一伙儿的，但想到那女子的声音。却又感觉有些熟悉，心中暗自疑惑。此时他无所事事，又心中有惑，便即跟着这些人，向前提气追去。
杨过轻功颇快，过了数里，已然接近了这群人。他这几个月多食蛇胆，目力极佳，奔行间偶然看到那女子的形貌，顿时心中大惊：“怎么会是陆姑娘？她不是在嘉兴吗？怎么和这些人在一起？还被人掳了？我非救他不可。”想到此处。他脚下加力，向前急追而去。
不过这时那四人已经到了一条溪边，扛着陆无双上船，两人扳桨，溯溪上行。杨过离那还比较远，眼看追击不及，大叫道：“呔！光天化日之下，为何掳掠她人，你们快放开那女子！”说着身形加快，沿岸追赶。追了里许，见溪中有艘小舟，当即入舟。他此时膂力不小，又生于南方熟悉划船。立时扳桨而划，顷刻间追近数丈。但溪流曲折，转了几个弯，忽然不见了前舟影踪。
杨过心急之下，猛然从舟中跃起，登上山崖。霎时间犹如猿猴般爬上十余丈，四下眺望，见绿衫人所乘小舟已划入西首一条极窄的溪水之中。溪水入口处有一大丛树木遮住，若非登高俯视，真不知这深谷之中居然别有洞天。他回头重新跃入舟中，倒转船头，划向来路，从那树丛中划了进去。
溪洞山石离水面不过三尺，须得横卧舱中，小舟始能划入。划了一阵，但见两边山峰壁立，抬头望天，只余一线。山青水碧，景色极尽清幽，四下里寂无声息，隐隐透着凶险。又划出三四里，溪心忽有九块大石迎面耸立，犹如屏风一般，挡住了来船去路。大石之间稍有缝隙，可容溪水流过。
见此，杨过也只得弃了小舟，跃入溪中，游水而去。幸好他取了一套方志兴留在神雕谷中的皮甲，不至于害怕溪中有什么古怪。过了一会儿，小溪已到尽头，他登上溪岸，沿小径向深谷中行去，奔行间运起内功，烘干身上衣物。
山径只有一条，倒不会行错，但山径越行越高，也越崎岖，天色渐黑，仍不见那四个绿衫人影踪。正感焦躁，忽见远处有几堆火光，心想：“这荒山穷谷之中，有火光自有人家，除了那几个绿衣人之外，常人也决不会住在如此险峻之地。”发足向前奔去，心知身入险地，各自戒备。他此时武功大进，自忖天下除了几位绝顶高手外，无人能挡，是以虽存戒心，却无惧意，直接向里闯去。
行不多时，到了山峰顶上一处平旷之地，只见一个极大的火堆熊熊而燃，再走近数十丈，火光下已看得明白，火堆之后有座石屋。杨过心知此地诡异，并不鲁莽行事，只是装作拜访的客人，在那里不断叫门。
石屋门缓缓打开，出来四人，三男一女，正是日间擒拿陆无双的绿衫人。四人躬身行礼，右首一人道：“贵客远来，未克相迎，实感歉仄。”杨过道：“好说，好说。”那人道：“贵客请进。”
杨过进得石屋，只见屋内空荡荡地，除几张桌椅外一无陈设。四个绿衫男女跟着入内，坐在主位。当先一人道：“不敢请问贵客高姓大名。”
杨过道：“在下姓杨名过，擅入宝地，多有打扰。”
第一个绿衫人道：“敝处荒僻得紧，从无外人到访，今日贵客降临，幸何如之。却不知贵客有何贵干？”
杨过道：“我在外面见四位擒拿了一位女子，好奇心起，是以过来瞧瞧。贵处景色幽雅，令人大开眼界，委实不虚此行。”
第一个绿衫人道：“那是谷中叛