后来他与戚继光的关系，当然肯定是与平倭有关。
嘉靖三十四年，倭寇屡犯东南沿海一带，烧杀抢掠，无恶不作。朝廷下诏调时任山东都指挥佥事的戚继光任浙江都司佥书，次年升任参将，镇守宁(波)、绍(兴)、台(州)三郡，备倭浙江。此时，谷中虚已任浙江按察使，两位山东老乡于是便有了共事的机会。
谷中虚不同于某些文官，他自认文官负责粮饷和军备理所应当，而军务则该以武臣为主，非万不得已不该干涉。
由于公务之便，谷中虚多次至戚继光军营探望，并与戚继光就一些军事部署、剿除方略等事促膝探讨。其时，谷中虚对江浙一带风土民情更为熟悉，当戚继光为兵力不足之事伤透脑筋之时，谷中虚精辟地指出义乌等地民风彪悍，或能组成一支强力的军队。
嘉靖三十八年，戚继光在谷中虚的鼎力支持下，从浙江金华、义乌等地招募民众近四千人，采用营、官、哨、队四级编制方法编成新型军队。队是基本战斗单位，队员按年龄、体能分别配备不同的兵器，作战时，全队队员各用其所长，配合作战，攻守兼备，进退灵活，这种战斗队形能分能合，人称“鸳鸯阵”。经过戚继光的严格训练，这只新军队伍很快成为军事劲旅，人称“戚家军”。
所以这么算起来，谷中虚几乎也可以算是这只军队的构建者之一，而戚继光也对当初谷中虚的支持颇为感激。
当然，这里面有一个的身影很重要，就是谭纶。当时的谭纶，地位一直略高于谷中虚，因此，谷中虚历来被看做是谭纶一派，不过事实上他们只能算盟友。
隆庆元年，谷中虚被任命为浙江巡抚。浙江省宁波镇海，塘控扼海门、屏障东浙，地理位置更是险要。谷中虚称之为“斯浙东之保障、盖犹之西陵虎牢也……”，后人又誉为“东南屏翰无双地，万里海疆第一关”。故谷中虚在此严兵驻守，构筑坚垒，以抗倭寇。
为防止倭寇侵犯镇海，谷中虚事先摸清倭寇活动规律，严格训练兵士，整顿防守，并亲自赶赴海疆，整饬武器装备，创设外洋水兵，增派战舰巡逻海域，使倭寇无隙可乘，沿海民众赖以安居，谷中虚在此事上实有大功。
谷中虚在浙江年久，且作为浙江巡抚三年考满，这次正巧调任湖广，因此高务实之前悄悄给高拱出了个主意，让张居正出面，请谭纶代为转告谷中虚，希望谷中虚上疏推荐刘显去贵州——嗯，这个关系看起来有点乱，但大明的体系和派系关系就是这么复杂。让高拱和张居正直接举荐刘显，完全没有
…。。