甚至是一丝愤怒。他相信如果不是母亲是公主，父亲甚至有杀了他的心。
原本几个姨娘就仗着父亲的宠爱，处处的挑战母亲作为正室的权威。如今父亲病重，知道爵位轮不到她们所出的儿子头上，便卯足了劲在争家产。不仅闹得阖府满城风雨，甚至便是整个家族都不得安生。而面对几位姨娘越来越过分的挑衅，母亲却从来都没有说过什么。
几个姨娘之中，最受父亲宠爱的赵姨娘，也是自己大弟弟的亲生母亲，是最为过分的。话里话外总是在讽刺母亲，还说什么若不多分给她们这一支家产。她就将所有的事情宣扬出去，到时候就看天家能不能丢起那个脸。他不止一次询问母亲原因，可等待他的永远都是沉默。
正是受不了，家中的乌烟瘴气，更受不了母亲的一味委曲求全。他才几次进宫找最疼爱自己的外公，希望能够给自己一个从军机会。文官他知道自己做不了，身为公主的儿子，自己即没有资格参加科举，也没有资格参加举人选官。要想离开那个家，便只有进入军营一条路。
老爷子被他磨得受不了了，才最终将他安排到骁骑营，做了一名八品武官。这次黄琼有言在先，愿意去陇右从军的御林军武官，一律晋升一级，再加上立了一些功劳。在论功行赏时，被升为七品武官。其实他不知道，当时黄琼想要压他一级来的，最后还是贺元锋说的情。
贺元锋原话，统军者有功必赏、有过必罚，这是为将之道。不能因为他是公主的儿子，便区别对待。全军武官都晋升一级的情况之下，唯独落下他一个，这对于高怀远来说并不公平。他并非是冒功，或是跟着大家随大流混的功劳，而是真刀真枪打出来的，该晋升还是要给的。