天平勝宝9年（757年）5月に叔父の藤原仲麻呂が権力を掌握し、それまで右大臣として太政官の首班に立っていた父・豊成が政権の外に押し出され気味となると、同年6月に武良自は伯耆守として地方官に転じる。結局、7月に発生した橘奈良麻呂の乱に連座して、豊成は右大臣を罷免されている。天平宝字3年（759年）には、藤原仲麻呂の子の真先・訓儒麻呂（いずれも従四位下）・朝狩（正五位下）が次々と昇進していく中、武良自は昇進が叶わないまま丹後守に転じて引き続き地方官を務めた。