平宝字8年（764年）の藤原仲麻呂の乱で孝謙上皇側につき功績を挙げたが、称徳天皇以降は政界で重用されなかった。宝亀3年（772年）に参議となるが、桓武天皇の立太子に反対し、天応元年（781年）に大宰府へ左遷となる。翌天応2年（782年）、娘婿の氷上川継が反乱を起こすと連座して官を解かれ、以後復帰せず延暦9年（790年）に死去。