Что делать?

На месте мужа, если бы я узнал про такую «дружбу», я бы сразу развёлся. Вы просто не уважаете своего мужа, описанное по сути мало отличается от измены. Измена это не когда происходит физический процесс, а когда эмоционально человек готов поставить себя в подобную ситуацию.
На счёт «чувств» этого «друга», это не так работает. Он может испытывать всё что угодно, это не обязательно должна быть любовь, или что-то такое. Мужчины не держат за руку женщин, которые не привлекают их физически, не проводят с ними время, не флиртуют. При этом физическое влечение не означает автоматически никаких «чувств». Они могут быть, могут не быть. Само по себе это означает, что при возможности и нужных обстоятельствах, он был бы не против… Ну вы поняли. Собственно это никак не пересекается с каким-то дальнейшим развитием событий, не даёт никаких гарантий, ничего не обещает.
Из всей этой ситуации можно точно сказать только то, что вашему мужу не повезло, потому что жена не должна такого себе позволять. Вас никто жениться не заставлял. Это ваш сознательный выбор, значит вы любили человека и взяли на себя вашу часть ответственности за ваш союз. Ваши действия с другом идут в разрез с интересами вашей семьи. Вы её ими разрушаете и проявляете к ней неуважение, идя на поводу у своих эмоций и тайных желаний.

Нужно выбросить эти мысли из головы, вы замужем, это же Ваш выбор, это Ваша ответственность, любить и быть любимой, быть верной любящей женой