原来，蒋氏在怀着许瑶的时候，许洛山从一开始的不理不问，到某天突然态度转好，向蒋氏当面跪地认错，蒋氏以为是他浪子回头，谁知许洛山却说他想通了。

他说他已经用银子打发了其余的几个回了老家，目前他只在府外养了一个，只是因为她快要生产了，不忍心孩子出生没有父亲，许洛山向蒋氏发誓自己不会给她任何名分，让蒋氏能容一容她。

蒋氏禁不住他的软磨硬泡，又想到的确他也没纳过妾，一直只有她一房，想来明面上也算是遵守了承诺，便答应了，打算既往不咎，之后和许洛山好好过日子，白首偕老。

而许洛山也变得异常的勤快，甚至亲自给蒋氏熬药。

而蒋氏是直到生产许瑶的那天，才知道，这一切，只不过是许洛山为了除去她而做的障眼法，她在生产许瑶的时候是失血过多，但是不至于丧命，许洛山是买通了产婆，让她喂蒋氏喝下自己给她调制的药，并要挟产婆隐瞒蒋氏去世的真相——她是被许洛山活活下药毒死的！

蒋家在知道所有真相以后，愤怒到了极点，一家人整整齐齐地冲向许府要许洛山陪命，而许洛山却不知道是从哪里预先得到了蒋家在查他的消息，竟然为了自保，提前向皇帝参了一本，说蒋家私自屯兵有造反嫌疑。

于是朝廷里面不满蒋家权势滔天的官员纷纷附和，硬生生让皇帝急召蒋家几兄弟回宫接受盘查。

其实皇帝才是最后赢家，借了许洛山这个刀子，来收回在蒋家几兄弟身上的兵权。

最后在一番阳谋之后，蒋家几兄弟的兵权全部被皇帝收回。并且还要以谋乱罪全家满门抄斩。

蒋家大哥在生死危机的时候，临危不乱，当着皇帝的面，说起了他和皇帝从一无所有一起打江山的时候，自己啃树皮，也要拿要饭要到的馒头给皇帝吃，让他不要放弃，好好活下去，他一定会走到高位的往事。

在最后一刻，唤起了皇帝的内疚之心。

于是找了几个替罪羊替他们斩首，私底下放走了蒋家一家人，并要求他们彻底离开京城，不可以再回来，出现在众人眼里。

蒋家大哥在离开京城的一刻，用了皇帝上位以前送给他的褂子，用血在上面写下：”许洛山是蒋家一手扶持起来，上位后弑蒋家小妹，陷蒋家全族于不义，证据确凿。君若是明君，自当不会留这般人在身边成为祸害。“并重金收买了宫中当差的，最终送到了皇帝手上。

当落败的蒋家人一离开京城，皇帝便立刻找了个理由，免去了许洛山工部尚书一位置，将他降到京城最小的官职，于是风光无限的许家便从那时起落败了。

起初还和许家几兄妹玩的世家贵族，后来见许家落败，纷纷远离了许家三兄弟。

许三小姐许瑶最晚出生，一出生便没有亲生母亲，而且父亲也没有再娶，便是由两个兄长和父亲带大。

但许洛山对许瑶却非常呵护，从小找了名师培养她琴棋书画，进世家子弟才能进的私塾，就算后来许家再不如前，收入也不够支撑她请名师的费用，许洛山便变卖了家里许多值钱的物件，硬是砸钱将她培养成了世家小姐的样子。

只不过可能从小没有母性榜样，再加上从小到大经历过京城世家的冷嘲热讽不计其数。许瑶性格变得泼辣耿直，甚至有点愤世嫉俗，尤其憎恶京城那些显赫的世家子弟，认为他们都是巧取豪夺的垃圾。