Что делать?

1. Поговорите с ним. Объясните, что вам неприятно когда он вас подкалывает на эту тему.
2. Если этот вариант вам не подходит, тогда подумайте, что он получает от вас в результате этих подколов? Как вы начинаете себя вести? Может вы бросаете всё и начинаете ему доказывать что-то — он получает полчаса полного вашего внимания. Или может вы начинаете его в шутку «трепать», щипать и т. д. и он получает ваши прикосновения. Или это может быть просто как одной из тем разговора, в которой он чувствует своё превосходство (и возможно в какой то степени самоутверждается за ваш счёт). В любом случае если бы ему не нравилось, как вы реагируете — он бы так не делал. И думаю, он ни коем образом не хотел вас обидеть своими шутками. И скорее всего не догадывается, что вы на них обижаетесь. Вывод: смотри пункт 1.

Женщина и должна выглядеть в глазах мужчины слабой. Согласись с ним и все. Скажи, что твой женский ум к математике не приспособлен, восхитись его талантами в этой области — пусть себе наслаждается.