亨利首先发难，召集德国境内各教区的主教们开了一个宗教会议，宣布废除格里高利的教皇职位。格里高利则针锋相对，在罗马拉特兰诺宫召开全基督教会的会议，宣布驱逐亨利出教，不仅要德国人反对亨利，也要在其他国家掀起反亨利浪潮。
一时间，德国内外反亨利力量声势震天，德国境内大大小小的封建主都兴兵造反，向亨利的王位发起挑战。
亨利面对危局，被迫妥协，1077年1月，他身穿破衣，骑着毛驴，冒着严寒，翻山越岭，千里迢迢前往罗马，向教皇忏悔请罪。
格里高利不予理睬，在亨利到达之前躲到了远离罗马的卡诺莎行宫。亨利没有办法，只好又前往卡诺莎拜见教皇。教皇紧闭城堡大门，不让亨利进来。为了保住自己的皇帝宝座，亨利忍辱跪在城堡门前求饶。
当时大雪纷飞，地冻天寒，身为帝王之尊的亨利屈膝脱帽，整整在雪地上跪了三天三夜，教皇才开门相迎，宽恕了他。