鎌倉幕府を開いた源頼朝の嫡出の次男として生まれ、兄の頼家が追放されると12歳で征夷大将軍に就く。
政治は初め執権を務める北条氏などが主に執ったが、成長するにつれ関与を深めた。官位の昇進も早く、武士として初めて右大臣（但し太政大臣に平清盛が任ぜられている）に任ぜられるが、その翌年に鶴岡八幡宮で頼家の子公暁に暗殺された。これにより鎌倉幕府の源氏将軍は断絶した。
歌人としても知られ、92首が勅撰和歌集に入集し、小倉百人一首にも選ばれている。家集として『金槐和歌集』がある。小倉百人一首では鎌倉右大臣とされている。