Что делать?

Тут ситуация сложная, потому что у вас есть дети и вы (оба) должны думать об их будущем. Детям очень важно рости в полной семье, с любящими заботливыми родителями. Пока они маленькие это может быть не так очевидно, но время идёт быстро и скоро они начнут очень сильно воспринимать отношения родителей. Развод — это всегда крайний выход, это только на первый взгляд кажется, что это легко, просто всё закончил и всё, но в случае, когда в семье есть дети — это только начало и будет очень сложно. Поэтому тут рубить всё так сразу не стоит.
Измена это очень плохо. Тут оправданий нет. Истории ваших интимных отношений тоже нет, как и описания характеров, прошлого и т. п… поэтому тут оценку давать нельзя однозначную тоже. Например, если дома с интимной стороной всё плохо, это могло привести к подобному. В любом случае, сама измена это практически всегда уже конечная реакция на какую-то проблему, либо между людьми, либо с человеком, т. е. это не что-то обособленное, которое взялось само и можно это просто удалить. Нужно выяснить причину и пробовать работать с ней, если это возможно (всегда есть шанс что просто человек такой). Но опять же, при всём понимании, как это тяжело, на вас обоих ответственность за будущее детей и это уже не только про ваши взаимоотношения с друг другом и кем-то там ещё. Вы взяли эту ответственность оба добровольно. Никто не говорил, что будет легко. Никто не хочет, чтобы было сложно, но если уж такое выпало, то стоит попробовать как-то сначала наладить ситуацию, при условии, что нет каких-то дополнительных факторов, которые всё в корне меняют и не оставляют другого выхода.