Что делать?

Ему трудно, наверное, дружбу сочетать с сексом между Вами. Он может дружить с Вами, а насчёт секса хочет, чтобы Вы были инициативней. Манеры общения, может быть у вас с ним разные, и цели общения тоже, отсюда сложности в общении. Он, может быть к Вам просто-напросто не привык быть наедине. Нужно побыть с ним круглые сутки (два выходных, например) наедине, чтобы понять, имеет ли смысл рассчитывать на отношения с ним, Ваш ли он парень или нет — это проще сделать, отправившись с ним в путешествие за город (в другой, например, город, к дальним родственникам в гости или к себе на дачу) с ним только вдвоём, бок о бок.
Традиционно считается, что парню следует быть инициатором отношений. Если шагов у него в сторону сближения с Вами нет, то это больше его вина, чем Ваша.
Однозначно, если Вам трудно чувствовать себя рядом с ним счастливой, то это его вина, а не Ваша, и это значит, что он не Ваш парень, не пара Вам, так как настоящий мужчина делает свою спутницу счастливой и удовлетворённой.
Поставьте себе сроки, в течение которых Вы можете определиться, стоит ли рассчитывать на него в плане отношений, для чего отправьтесь с ним в многочасовое путешествие, так как в пути легче определить, может ли он обеспечить Вам уютные отношения, то есть достоин ли быть с Вами и дальше.