Открытая борьба между папством и императорской властью вспыхнула в результате опубликования декретов Латеранского собора 1075 года. В них предписывалось, что церковные должности, полученные путем симонии, ликвидируются. Папа Григорий обратился к народам, призвав их не повиноваться епископам, которые терпят на должностях священников, пребывающих в браке (concubinatus). Таким образом, собор возбудил верующих против духовенства, использующего симонию и пребывающего в браке. Одновременно папа на соборе 1075 года запретил и светскую инвеституру. Если кто-либо получит из рук какого-либо светского лица епископство или аббатское достоинство, — говорится в решении, — тот ни в коем случае не может быть причислен к епископам, и ему не положено отдавать никаких почестей как епископу и как аббату. Кроме того, мы отнимаем у него милость Святого Петра и запрещаем входить в церковь, пока он, образумившись, не оставит свою должность, заполученную греховным путем тщеславия, честолюбия и неповиновения, что является не чем иным, как грехом идолопоклонства. Если кто-либо из императоров, королей, князей или представителей каких-либо светских (мирских) властей или лиц назначит епископа или осмелится предоставить церковную должность, тот не уйдет от соответствующего наказания . В том, что священник не может принять назначение на церковную должность от мирянина (государя или феодала-сюзерена), Генрих усмотрел опасность для своей собственной власти, ведь таким образом из его рук ускользало право распоряжаться церковными вассальными владениями ион терял влияние на церковную иерархию, на которую ему приходилось опираться в ходе борьбы со светскими феодалами. Вот почему теперь император резко выступил против папы.

Генрих — вопреки своему прежнему обещанию — сам занимался назначением на высшие церковные должности, в том числе и в Италии. Из-за этого папа в 1075 году пригрозил ему отлучением. Однако ультиматум привел к результатам, прямо противоположным ожидаемым: он не только не запугал Генриха и верных ему епископов, которые и так были недовольны из-за целибата, а даже подбил их выступить против притязаний папы. Высшее духовенство было верной опорой Генриха, ибо теперь видело угрозу своей независимости скорее со стороны папы, чем короля. Власть епископа нуждалась в союзе с королем. В то же время союзниками номер один у папы стали светские феодалы, восстававшие против Генриха. Генрих IV и его епископы в январе 1076 года в Вормсе созвали имперский собор, и здесь германские епископы — под руководством достойного противника Гильдебранда Гуго Кандида — отказались принести присягу на верность папе.

В феврале 1076 года Григорий VII на соборе в Латеранской базилике выслушал послов императора. После этого он отстранил от должности порвавших с ним епископов, объявил Генриха отлученным от церкви, лишил его итальянского и германского королевств, а его подданных освободил от присяги и повиновения ему.

Святой Петр, князь апостолов, преклонись ко мне ухом своим, молю выслушать твоего слугу... — таково было начало вердикта Григория, содержащего анафему королю, — во имя чести церкви твоей и в защиту ее, опираясь на могущество твое и авторитет, я запрещаю королю Генриху, сыну императора Генриха, который с неслыханным высокомерием напал на церковь твою, править Германией и всей Италией, и запрещаю каждому, кто бы то ни был, служить ему как королю. И тот, кто хочет нанести ущерб чести церкви, заслуживает того, чтобы и самому потерять престол, который, как он считает, принадлежит ему. И поскольку он, будучи христианином, не желает повиноваться... что грозит отлучением, а моими увещеваниями пренебрегает, то, желая вызвать в церкви раскол, сам себя отторгнул отнес; я же, твой наместник, предаю его анафеме и, доверяясь тебе, отлучаю его от церкви, чтобы народы знали и подтверждали: ты есть Петр, и Бог сущий воздвиг церковь сына своего на каменной скале, и врата ада не имеют над ней силы . Па это последовал ответ Генриха: Сойди с престола Святого Петра . На пасху 1076 года епископ Утрехта отлучил папу Григория от церкви.

Отлучение короля было совершенно новым явлением в истории, и это усиливало опасность того, что папа, освободив подданных монарха от ленной присяги, лишит церковной святости королевскую власть, весь строй. В марте 1076 года Григорий VII в специальном письме обратился к германским феодалам, в котором развеял все возможные сомнения относительно правомерности отлучения короля от церкви, и вновь призвал их выступить .против Генриха. Явно в результате этого летом 1076 года феодалы сплотились против Генриха, и начали борьбу с ним в Саксонии.

Оппозиция Генриху IV формировалась под руководством родственника короля швабского герцога Рудольфа. Саксонские и южнонемецкие герцоги использовали кризис для того, чтобы освободиться от Генриха, применявшего абсолютистские методы правления. Однако значительная часть епископов держала сторону Генриха. Мятежные феодалы вызвали Григория на рейхстаг, назначенный на начало февраля 1077 года в Аугсбурге, чтобы там провести суд над королем. Генрих понял, что ему удастся спасти свой трон только в том случае, если он опередит события и получит от папы отпущение грехов. Поэтому в конце 1076 года он вместе с женой, ребенком и своими епископами переправился через Альпы. В это время Григорий готовился к поездке в Германию, чтобы на заседании рейхстага принять участие в переговорах с курфюрстами. Генриху удалось воспрепятствовать этому, разыграв спектакль хождения в Каноссу .

В январе 1077 года Григорий находился в неприступной горной крепости, Каноссе, принадлежавшей тосканской маркграфине Матильде. Столько раз упоминавшаяся историографами, поэтами и драматургами сцена трехдневного стояния Генриха в одежде кающегося грешника перед крепостными воротами означала в действительности победу униженного короля над папой: Генрих, без оружия, с женой и ребенком, в сопровождении нескольких епископов появился у стен крепости. После трехдневного покаяния, которое, вопреки общему мнению, Генрих совершал вовсе не босиком и в рубище, а в одежде кающегося грешника, накинутой поверх королевского одеяния, папа, главным образом по настоянию аббата из Клюни Гуго и Матильды, вынужден был отпустить грехи Генриху и ввести короля вместе с его епископами в церковь (28 января 1077 года). Григорий действительно не мог не признать соответствующее канонам покаяние и отказать королю в отпущении грехов. Возвращение Генриха в лоно церкви означало и то, что он вернул себе свое королевское достоинство. Против папы обратилось его же собственное оружие, из которого Генрих выковал свое счастье. Григорий в Каноссе потерпел поражение.