藤原武智麻呂の子として聖武天皇に仕える。右大臣として政務を担い、橘諸兄に次ぐ地位にあったが、757年（天平勝宝9年）の橘奈良麻呂の乱で報告を怠った責任を問われ失脚。以後は難波の別荘に隠棲し、政界を離れた。764年（天平宝字8年）、藤原仲麻呂の失脚を機に復権し右大臣に返り咲き、朝廷内で藤原氏の代表格として長く政治に関与した。