9月4日清晨，天还没有完全亮，松永久秀却已经等待不及，对着二之丸展开猛攻。同时，他还派出了使者，请求三好义贤也出兵进攻——就算三好军还是要划水，至少帮他牵制住雨秋平的部分兵力。
三好义贤明白，如果松永久秀不能在今天中午之前拿下观音寺城，这一次的作战就失败了。因此，他也没有再袖手旁观，而是亲率军队猛攻二之丸的西门。
在这样的局势下，二之丸的城墙坚持到了辰时七刻就宣告沦陷。不过，织田家在雨秋平的指挥下依旧没有任何慌乱，彼此互相掩护，退入了二之丸和本丸之间的阵地。
不过这一次，由于整个二之丸的城墙都已经沦陷，而二之丸和本丸之间的空间又谈不上宽敞，三好军和松永军可以站在城墙上，居高临下地用弓箭压制织田军在凸出部高层建筑内的远程兵。在弓箭的掩护下，三好家和松永家的进展神速，仅用时一个时辰就夺下了二之丸和本丸之间的街区。
此时，雨秋平终于不再退却——再往后就是天守阁了。织田家的上万大军坚守在本丸上，把狭小的本丸守得密不透风。三好家和松永家轮番冲击，却也难以攻克，时间已经接近午时。
“实休啊实休，聪明反被聪明误了吧。”眼看攻克已经没有希望，松永久秀则亲自策马找到了三好义贤。虽然脸上依旧挂着慈祥的笑容，语气中也听不出些许怒意，但是三好义贤明白，松永久秀已经愤怒到了极点：“实休以为就算自己保留实力毫不作为，老朽也能打下这观音寺城。可惜啊，就差这个本丸，这次行动无功而返，实休可是满意了？”
“弹正，你这话就错了。”三好义贤看了眼松永久秀，自己忽然冷笑了一笑道：“就算我出手，今天我们也是打不下这观音寺城的。”
“哦？”松永久秀闻言皱了皱眉头，脸上的笑容却更浓了，“不知实休，此言何意啊。”
“弹正没看出来么？这雨秋红叶尚有余力。”三好义贤用十分警惕的神色望了眼天守阁上的枫鸟旗，“他本来可以不用那么快的放弃外围的阵地，可是为了保护士兵的性命，却一退再退。直到退到不能再退的阵地时，他就会拼死坚守。他的目的就是拖延两天，只要两天到了本丸没丢就可以了。你看起来，好像一天半的时间，已经打下了三之丸和二之丸。但其实那些都是他不愿意承受太大的伤亡而让给你的。如果他不愿意让，像坚守本丸一样坚守三之丸和二之丸，我们现在离本丸还远着呢。”
“就算我昨日就全力猛攻，也是打不下来。
…。。