母は名越流北条氏の出身で、家氏の誕生時には父・泰氏の正室であったが、のちに泰氏が北条得宗家から新たに正室を迎えたことで家氏は廃嫡となる。その後は幕府内で有力御家人となり、また足利宗家を相続した弟の頼氏が早くに死去したこともあり、一門の重鎮となる。
これらの経緯から、子孫の斯波氏は足利一門諸家の中でも本家に並ぶ家格意識を持ち続けた。