Что делать?

Мы познакомились на работе. В него было

легко влюбиться — красивый, весёлый, заботливый, знающий себе цену молодой человек из другого города. Я всегда берегла честь с молоду, никогда не рассматривала временные отношения, тем более чисто ради с*кса. Перед тем как встречаться, он прекрасно дал понять, что постоянные отношения ему нужны, и что так бегать по курортным романам ему надоело.
Через 2 недели мы стали вместе. Через 3 недели об этом узнали коллеги и совсем скоро мама. Отговаривать меня начали все и я их не слушала. Ведь если у нас есть шанс стать настоящей семьёй, то зачем его обламывать из-за чужого мнения? Зачем ставить крест на отношениях только потому, что так кто-то сказал? Так я никого не слушала и привязывалась всё больше.
Через несколько месяцев нас обоих уволили. На работе мы свои отношения никак не демонстратировали, только, если нас никто не видел, обходились маленькими чмоками. Запалили нас случайно лишь в самом начале отношений — коллега увидела, как мы целуемся. После увольнения в наших отношениях ничего не изменилось, может даже стали чуть крепче. Он собирается остаться со мной, как можно дольше. Я его никак не держу. У нас полная свобода воли, личное пространство и так далее.
Сегодня я узнала причину по которой меня уволили — это моя репутация. Замутив с ним, у меня оказывается появилась кличка «подстилка гастарбайтера», других моих коллег отговаривают общаться с моим мч и его другом, который тоже приехал сюда на заработки, и говорят «не будь как она». Его друг говорит, что таких как я, у моего мч куча во всех городах, каких он побывал. Коллектив у нас маленький, но пятно на имени конкретное. Что делать? Плюнуть на всех, как раньше, и продолжать отношения с мч или послушать остальных, со стороны виднее и я действительно в розовых очках?
К слову, с ним мы уже разговаривали на эту тему и пришли к выводу, что этот шлак предсказуем от коллеги (в основном только одна настроена против нас), которая живёт одна с двумя детьми от разных мужчин.