Что делать?

Однозначно оставить его и себя в покое. Зачем из-за своих чувств разрушать уже сложившиеся отношения? Это чистый эгоизм. Вам не о нём надо думать, а о своих детях. Если муж вас не любит, не обращает внимания, бьёт, пьёт, не работает или ходит налево, вот тогда можно и поразмышлять об уходе от него. А если с ним всё в порядке, зачем всё усложнять?

Видимо мужа вы не любили, раз так легко влюбились в другого.