Что делать?

Это мало похоже на настоящую любовь. Это больше похоже на игры мстителей-интриганов, предпочитающих жить нервотрёпкой во вред себе и ближним.
Он, как представляется, прекрасно понимает, что Вам трудно без него и хочется быть с ним. Добрые чувства, как правило, нормализуют отношения и саму жизнь. Поэтому уместным будет не желать ему зла (а именно ревности), а желать ему, думаю, добра (то есть благополучия с тем, с кем он хочет быть).
Вы расстаётесь с ним, как понял, ещё при хороших отношениях, так как он желает Вам добра — любви с другим, потому что понял он, вероятно, что пребывание с ним, с бывшим, не принесёт вам обоим добра.
Мужчина редко когда хочет бояться, и вряд ли он захочет ныне бояться потерять Вас. С этим надо смириться, чтобы не страдать из-за попыток достижения недостижимого, иначе может стать хуже, простите.
Наверняка он понял, какого Вам. Вам надо считать, что с Вами произошло не плохое, а хорошее — что бывший, неспособный быть с Вами и неспособный оказать Вам благо, не с Вами, что таким образом в Вашей жизни стало меньше зла и козла.