继后三条天皇之后即位的白河天皇为彻底摆脱藤原家族的政治影响，即位14年后让位年仅八岁的堀河天皇，自己成为上皇，并在其居住的宫殿内设立院厅，开始了由上皇“执天下政”的百年“院政时代”。上皇的改革得到中小级贵族的支持，并设置北面武士和武者所等机构，依靠源氏和平氏两大武士集团强化院厅的权力。院厅的职员称为“院司”，由地位不高的天皇侧近亲信担任，院厅下达的文书称为“院厅下文”，上皇的命令称为“院宣”。院政时代共经历了白河上皇、鸟羽上皇和后白河上皇三代，其中上皇到寺院出家称为法皇。为拉拢中央大贵族和武士集团首领，院政时期扩大了“知行国”制度，即将一个国封给特定的贵族或武士，以该国的税收作为其俸禄。但是，院政过度依赖武士的结果为武家干预政治提供了条件，因而到12世纪初，源氏家族担任重要官职的人数超过了藤原家族。
但与此同时，源氏家族因源义亲在出云地方发动叛乱而势力有所下降，以伊势及伊贺（今三重县）为地盘的桓武平氏家族因受到上皇的器重，政治影响力得到迅速增强。平正盛将伊贺国的庄园寄进给白河上皇而进入政界，同时通过镇压源义亲得到重要官职。其子平忠盛因平定濑户内海的海盗而得到鸟羽上皇的器重，赐给可以上殿的资格，从而获得贵族身份。到平忠盛之子平清盛一代，平氏家族的势力达到顶盛。
鸟羽上皇在武士团的支持下，通过控制众多庄园的方式强化了自己的权力，但也因此刺激了围绕皇权进行的激烈争斗。1156年鸟羽上皇去世，崇德上皇与后白河天皇之间发生冲突，各自均与藤原氏、源氏、平氏诸家族的不同人物结成同盟。后白河天皇先发制人，打败对方，将崇德上皇流放到讃岐（今香川县），史称“保元之乱”。1159年，在后白河上皇的近臣之间发生冲突。其原因是，在“保元之乱”中立有大功的源氏武士集团首领源义朝不满受封官位低于平氏武氏集团首领平清盛，转而与藤原信赖合作，在平氏一族离开京城去参拜神社时，趁机拘禁了上皇和天皇，并杀死天皇的亲信。平清盛得知消息后立刻率兵回京，藤原信赖被杀，源义朝被追杀，其家族几乎全遭株连，只有年仅13岁的源赖朝幸免一死，被流放伊豆半岛。因此次政变发生在平治元年，而被称为“平治之乱”。前后两次动乱均有武士集团参加，并以京都为舞台，作为历史上首次出现的大事件，充分显示了武士参与国政的现象。