Это когда человека достают всякие разговоры за спиной или когда открыто чем-то попрекают, например: ну как же так можно себя вести и что-то говорить (одевать), а что подумает руководство и коллектив. Так что этот ответ в самую точку: ведь я-то о вас не думаю совсем. Таким образом вы ставите этого человека в неловкое положение, как вроде бы вы для него особенный, а он для вас полный ноль.