頼通の子の内、嫡男・通房以外の男子は正室・隆姫女王への配慮から全員他家へ養子に出されていたが、通房が急死したため末子の師実が摂関家の後継者に立てられた。
師実は養女の賢子を白河天皇に入内させ、その間に産まれた善仁親王が堀河天皇として即位すると天皇の外祖父として地位を確立する。白河天皇が上皇となり院政を開始した後も、師実の存命中は影響力を持ち続けた。