美福門院に仕え、越前国の国司を皮切りに丹波守、遠江守と歴任。守仁親王の立太子に伴い春宮大進に任ぜられ、後に参議となる。二条天皇即位後、天皇親政派を組織し信西と対立。平治の乱では藤原信頼と共に内裏を占拠し信西を殺害するが、信頼から離反し二条天皇を脱出させる。永暦元年（1160年）、後白河上皇により長門国に流罪となる。仁安元年（1166年）に赦免されるが政界復帰は果たせず、晩年は和歌に親しみ穏やかに過ごした。歌集『粟田口別当入道集』を残す。