Leve essa ideia às últimas consequências: se justiça e moralidade objetivas não existem, então não existe nenhuma razão objetiva para dizer que torturar uma criança por diversão, abusar de uma mulher, escravizar inocentes, exterminar um povo ou matar alguém simplesmente por prazer é realmente errado. Você pode dizer que não gosta dessas coisas, mas sua reprovação teria o mesmo fundamento objetivo que sua preferência por azul em vez de vermelho ou chocolate em vez de baunilha. O criminoso poderia simplesmente responder: "Você prefere que inocentes não sofram, mas eu prefiro que sofram", e não haveria um padrão acima das preferências de ambos pelo qual condená-lo.
Negar a realidade matemática é tão absurdo quanto isso. Os símbolos "2", "+" e "4" são criações humanas, mas a relação que eles representam não é. Ponha duas pedras ao lado de outras duas e sempre haverá quatro, tenha uma dívida de R$ 2 mil e não de R$ 2 milhões e a diferença sempre será bem real, retire dois pilares de uma estrutura que precisa de quatro e a realidade nunca aceitará como desculpa que números são apenas abstrações. A matemática se aplica a sempre se aplicará a tudo o que existe, sem exceção nenhuma. Podemos discutir "como" números e valores morais existem, mas concluir que não são reais simplesmente porque não são objetos materiais é cometer confusão algo que é básico.