。
十几岁就担任黑川金山的开采奉行役。并在南信浓金鸡金山担任主要奉行人，随着武田家扩张骏远三领地，又转为骏河金山的奉行役，随后履职的方向从骏河转到远江担任引马城町奉行，又转到三河国担任德川家配下家臣的取次役。
这几个大跨越给他极大的增益，同时也让他稀里糊涂的就和德川家臣纠缠在一起，其中他与大久保忠世、大久保忠佐兄弟二人的关系格外密切，并在大久保忠世的劝诱下迎娶其女作为正室夫人，这种暗地里的背叛行为还没来得及被发现，就得知武田家遭受重创导致骏远三失去控制，他也顺势潜入大久保家里躲藏起来，此刻大久保兄弟几个降服，他也只得出来露面。
“大蔵长安如今改名叫大久保长安，岳父是大久保忠世，义兄弟是大久保忠邻……”源义时有种想笑又笑不出来的感觉，转来转去大蔵长安还是和大久保家结缘，想了一会儿说道：“虽然是个贪官，但是能力还是不错的，异位相处也不会有他独揽大权的机会，就让他去做奉行好了。”
而后源义时下令将三河国旧领西条城推平，在并在附近种植一千株红叶树，还有一千株樱花树，这是为了纪念他早逝的母亲中院爱姬，她最爱京都枫叶红时的美丽景色，在京都春日赏樱，秋日赏枫是最美妙的享受，当然也少不了她生前最喜爱的各色花卉，
在旧城的原址上修建一座红叶神社，供奉的主祭神是他的父亲吉良义尧和母亲中院爱姬，父亲与母亲的早逝是他的一大遗憾，唯有用这满园樱花和红枫来缅怀逝去的亲人，希望这对夫妇在天国能过的更舒心。
此外在红叶神社的对面还修造一座西条神社，供奉的主祭神有他的两个兄长吉良义乡，吉良义安，叔祖吉良义富、叔叔吉良义明，副祭神则是大河内信贞、山冈尧元以及死在西条城内的小姓侍女等若干死难者，每一个人的名号、出身、年岁甚至生平皆记录在案，让这些为吉良家而死的人们在天国里也能享受一份香火祝福，这大概是对忠节者唯一有用处的褒奖吧。
处理过这一切已经到了六月初，此时正是暴雨连绵洪水泛滥的时节，阵前的军务以及老家江户城转来的一大堆政务需要他一一理顺，闲暇中还要过问嫡子的修业学习情况，源义时满路起来总是来去匆匆，父子俩最近鲜有能说上话的时候，他需要抽出时间和自己的嫡子谈心。
父子俩又一次对坐相谈，这种一问一答相对平等的模式很受他的喜爱，只见足利义泰问道：“孩儿曾数次听闻父亲大人说过，当今天下的英杰人物
…。。