隋军为了攻城差不多准备了三日左右，七月十二日，张文远命各部开始向赛音山城的东南关卡发起攻击。
守卫东南关卡的是同罗朵儿麾下第一大将同罗室娄，他手中有右白旗主力八领近五千人马，而他本人与隋军也是老朋友了。
隋军先是投石机对关卡轰击，接着用弓弩对城头压制。等到对方势头稍弱，步兵开始驾着云梯、冲车，向城头攻去。
攻城的都是附从的胡兵，镇屯军、怀义军、昭义军士兵轮番对城头进行攻击。
其实城中还是有投石机的，但同罗室娄知道自己的投石器无论是数量还是质量都不如对方，于是暗藏城中，等到隋军靠近，才突然轰击。
靠近城头的几具云梯立刻被轰塌，隋军伤亡惨重。
张文远见此，立刻命人对城头再次轰击，甚至往城中投石车出现的地方轰击。只是关卡过于险峻，不少投石器藏在两侧山体之上，位于隋军的攻击死角。
隋军见此，只得与对方来起了对轰大战，但并没有多大的效果。
攻城一日，隋军伤亡上百人，但连城墙都没有靠近，这一仗麻烦了。