Что делать?

Вас винить конечно тут нельзя, такое не каждый может вытянуть морально. Этот вопрос решается сиделкой или присмотром в мед учреждениях, где этим занимаются подготовленные люди. Это самый правильный вариант. Заставляя вас — он не прав. Тем более раз столько сыновей, можно легко скинуться на профессиональную помощь, это не так уж и дорого.
На счёт его реакции на приезд мамы я бы его не обвинял. Если у вас не огромный семейный особняк, с 10+ спальнями, рассчитанный под большие семьи, то это вполне нормальная реакция. Ваша мама для него чужой человек, так же как и его мама для вас.
У вас основная проблема вообще не в этом всём. У вас в целом портятся отношения, начинаются взаимные претензии, обиды, наверняка копится напряжение, в таком напряжении часто происходит замедление или вообще отсутствие интимной жизни, а это, в свою очередь, ведёт к разрыву. У одного из вас просто лопнет терпение со временем. Если этого не хотите, нужно уже сейчас думать, как всё наладить. В первую очередь нужно снова стать привлекательными друг для друга. Научиться разговаривать снова нормально, а не только претензии друг-другу. Ситуация, которая вы описали, со стороны уже выглядит, как конкуренция соседей, а не как союз мужа и жены. Вот над этим надо работать. Каждая новая претензия и конфликт только отдаляют вас. В двух словах тут конечно не описать всё, но направление нужно брать на сближение, а не на защиту/отстранение/конкуренцию, иначе всё это завершится.