会津藩士の家に生まれ、幼少期に戊辰戦争を逃れて新潟に移住。16歳で西郷頼母の養子となり、霊山神社で育てられる。1882年（明治15年）に上京し、成城学校に入学。天神真楊流柔術を学び、同年、嘉納治五郎に素質を見いだされ講道館へ。1886年（明治19年）、警視庁武術大会で柔術諸派に勝利し、柔道界で名を馳せる。その後、講道館を出奔し、大陸運動に身を投じる。晩年は長崎で新聞編集や柔道指導に従事し、後に広島で療養生活を送る。1922年（大正11年）、尾道で死去。嘉納治五郎から六段を追贈され、柔道界における功績を称えられた。