兄の左大臣・藤原永手が没すると、藤原北家の長として参議から大納言に抜擢される。天応元年（781年）には左大臣に昇進し太政官の首班に立った。
しかし天応2年（782年）、突如左大臣を罷免され、大宰府への赴任が決まる。理由は諸説あり定かではない。息子たちも同時に左遷され、末裔は長らく中流貴族の地位に甘んじることになるが、院政期になって勢力を盛り返し、四条家を始めとした堂上家を輩出した。