鎌倉時代初期の武将で、安芸国沼田荘を支配した鎌倉幕府の御家人。建永元年（1206年）、所領の安芸国沼田荘を嫡男と次男に分割相続させ、幕府に申請し、翌年に源実朝と北条政子から安堵下文を得て承認された。建暦3年（1213年）の和田合戦において、遠平の嫡子が和田義盛に味方して処刑されたため、土肥氏嫡流を継承した。その後、嫡子たちは別家を立て、小早川氏の一門として主家を支える存在となった。