本来没打算让部下们追随，一心复仇的他，不想因为自己的失误拖累这么多的部下了。他向常磐备下令，凡是已经在本地成家了的，都不要再追随他了。不少后来加入的足轻的确有些动摇，他们祖祖辈辈都是骏河人，加入常磐备前也在骏河生活了十几二十年，所有的亲戚朋友都在这里，真的要一走了之，说什么都是舍不得的。在雨秋平的坚持下，大多数后加入的部下还是非常遗憾地和雨秋平告别。但是雨秋平授予他们的红叶，却被他们小心翼翼地保留着了。
然而，那知立城232个奴隶中幸存的178人，无一例外，都要求跟着雨秋平一起走。他们的家人本来就送去了三河知立城，不在骏河，无牵无挂。之前松平家更是派来使者，告诉雨秋平虽然知立城的领地被赐给了松平家，但是雨秋平部下的家眷绝对不会受到威胁。这些部下当年还是奴隶的时候，全家上下都受了雨秋平的大恩，雨秋平对他们的关心更是让这些老实人永生难忘。雨秋平带领着他们南征北战，获得了一场又一场的胜利，更是他们心中无可替代的存在，他们不愿意在雨秋平落难陷入低谷之时离开，而愿意陪着雨秋平一起走上流放之路。在部下的强烈坚持下，雨秋平只得答应带着他们一起离开。而领地内的那些由残疾士兵担任的法官和以蓝翔花掘为首的工匠们，也大多数愿意和雨秋平一起离开。而查理和天野景德，不用多说，自然也选择了跟随。
出乎雨秋平意料的是，濑名氏义、真田昌幸和本多忠胜也决定追随雨秋平——后者本以为他们可能会离去的。
“家严把我们家的传家肋差给你了，那可值不少钱啊！不跟着你岂不是亏大了。”濑名氏义强忍着哭腔低声道。随后，他扭过头去，有些不好意思地快速吐出了一句话：“家严为了红叶，宁可一死。我相信家严的判断，所以来跟着你，看看你到底有为什么值得家严为你做那么多。”
“按理说，作为人质，在下应该留在骏府。”真田昌幸笑着解释道，“不过，在下已经和馆主殿下商量好了，他派另一个人来当人质，取代在下的位置。而在下，则负责盯着殿下你，”真田昌幸笑道，“馆主殿下说，你绝非池中之物。”
“那锅之助呢？”雨秋平看向本多忠胜叹了口气，“现在松平家获得了更大的独立地位，正在寻求过去的家臣重新集结。你也正是回去的好机会啊。”
“殿下的好意，在下心领了。”本多忠胜虽然还是个少年，经过这两年的历练，脸庞却已经有了棱角，“只是殿下这两年来待在下不薄，在下不愿在殿下落难
…。。