逐渐萎缩，在朝中的地位和权势也大不如前。
然百足之虫死而不僵，琅琊王氏虽然不再有当年王与马共天下时的风光，但其族内子弟却依旧身居大晋各处要职。且族中人才辈出，俊杰无数。其中出了王羲之这样的书中之圣，大晋名士。如今在朝中任尚书仆射的王彪之，都是琅琊王氏家族之中的佼佼者。
且琅琊王氏身为北方侨姓大族，曾经的士族领袖，和各大世家联姻通婚，关系紧密，盘根错节，根系庞大。即便是在如今的大晋，琅琊王氏的分量也非寻常高门士族所能相比。虽非鼎盛之时的风光，却也是绝不能轻视的顶级豪门。
王牧之便是出身于琅琊王氏这样豪族之中。只不过，他的出身其实有些难以启齿，起码对他自己来说是如此。
王牧之的父亲王胡之和王羲之是从兄弟的关系，血缘关系甚至只隔了两代而已。但是王胡之在琅琊王氏之中并无太高建树。和从兄王羲之相比，王胡之除了酒量比他强之外，可谓一无是处。
王胡之有疾，生活作风很不严谨。酒醉之后喜欢胡搞女人，而王牧之便是他胡搞之后的产物。他干起这些事来一点也不忌口，老嫩美丑都不在乎。某日王胡之酒醉之后，去厨下找水喝，恰好看到一个厨下烧火的丫鬟。王胡之兴之所至，便在厨下柴禾堆里将这烧火丫头给办了。结果没想到的是，这烧火丫头居然怀孕了，十月怀胎后生下了王牧之。
所以，就王牧之的个人而言，这显然是困扰他的一个人生的污点。大晋朝对于出身是很敏感的，这一点毋庸置疑。王牧之起初并不被承认身份，五岁以前都跟着母亲在厨下养着，被当成奴仆一般。
好在五岁之后，王胡之良心发现，承认了王牧之私生子的身份，过继给了一名妾室收养。而且琅琊王氏家族内部为了延续家族的强盛，自有一套规矩。对于家族内部子弟并不太计较出身。得益于家族内部的开明，即便是烧火丫头的儿子这件事，也没有让王牧之的前途受到太大的影响。
王牧之入家塾之后，表现优异，甚至得到了当年尚未去世的王导的赞许。
琅琊王氏子弟成人之后，都会陆续中正入仕，王牧之也在十多年前便入仕为官。对琅琊王氏而言，中正入仕不是什么难事，只不过，琅琊王氏如今确实已经不如以前那般鼎盛，在官职上也不能挑挑拣拣了。
王牧之兜兜转转，做了一圈县令郡丞之类的官职，但一直没有更好的机会。
琅琊王氏之后，郗氏庾氏陆续掌权，自然也不会让琅琊王氏子弟有太多的好处。在家族利益上，他们显然都是要为自己的家族考虑的。
但风水轮流转，局势风云变化。在崛起的桓氏家族的压力之下，郗氏庾氏相继失去实权。桓氏的崛起已经逐渐影响到了所有的豪门大族。桓温的野心已经昭然若揭，这也逼得各大豪族纷纷联手自保以抗桓氏。
在各个方面，双方明争暗斗，各自用力。特别是在朝廷官职的任命上，北方大族联合起来，各自协调，以求占据更多更高的官职，以抗桓氏的扩张。
他们秉承的原则是，只要能占据官职之位，便不计较官职的优劣好坏。占据住位置，不让桓氏子弟占据更多的官职位置扩大他们的实力才是共识。在这种情形下，隶属于扬州所辖，名义上在桓温治下的历阳郡郡守的官职，反而落到了王牧之头上。