Não, na verdade é o contrário: Costumam fazer mais elogios a forma como eu me expresso do que a minha aparência física.
Se entendi corretamente a frase, ela quer dizer que a pessoa só fala besteira e se isso vai me ofender ou não vai depender da proximidade que eu tiver com quem disse do que dessa frase em si.