奈良時代の貴族である小野牛養は、霊亀2年（716年）に従五位下に叙爵された。神亀元年（724年）には、出羽国の蝦夷征討のため鎮狄将軍に任命され、持節大将軍の藤原宇合らと共に遠征に参加。翌年、勲五等を受けたと推測される。神亀5年（728年）には正五位下となり、天平元年（729年）には長屋王の変で右中弁として罪状の糾問に参画。その後、従四位下に昇進し、光明皇后の皇后宮大夫に任じられた。天平2年（730年）には平城宮の造営を担当し、天平11年（739年）に没した。