Não, nem todos. Depende do lugar, da situação, e o sujeito, além da "cara de ladrão", também o denotar por trejeitos e linguajar de marginal, e eu notá-lo mal intencionado...
Aí já é bom a pessoa ligar o sinal de alerta e ficar receosa, antes de estacionar e sair do carro, entrar e sair de um banco, por exemplo.