Você citou Thomas Jefferson, mas mesmo o caso dele é complexo. Jefferson tinha escravos, mas mesmo ele nunca reconheceu a escravidão como algo bom. Nenhum dos pais fundadores.
A questão é que ele era o favor de uma abolição gradual. Por exemplo, em 1784, ele emitiu um "Relatório de um Plano de Governo para o Território Ocidental". Entre as propostas do documento estava a de que "após o ano de 1800 da era cristã, não haverá escravidão nem servidão involuntária em nenhum dos referidos estados..."
Vários dos pais fundadores tomaram atitudes contra a escravidão, inveja apenas se oporem a ela de boca.
Por exemplo, John Dickinson, conhecido como o "Penman of the Revolution" e elaborador da Constituição, foi o maior proprietário de escravos em Delaware. Ele os libertou condicionalmente em 1777 e concedeu a alforria completa em 1786.
James Wilson possuía apenas um escravo que trabalhava como empregado doméstico, libertando-o voluntariamente em 1794.
John Jay, primeiro juiz-chefe daquela nação, alforriou todos os seus vários escravos. Tentou proibir a escravidão em Nova York em 1777, ajudou a fundar e presidiu a Sociedade de Alforria de Nova York e, como governador do estado, assinou a lei de abolição gradual em 1799. A sociedade também contou com nomes como Alexander Hamilton, Noah Webster, Egbert Benson, George Clinton e Daniel Tomkins.
Benjamin Franklin, redator da Declaração de Independência, possuiu escravos domésticos entre 1735 e 1781. Influenciado por abolicionistas quakers, passou a se opor à prática, libertando seu último servo em 1781. Presidiu a Sociedade de Abolição da Filadélfia em 1787 e, em 1790, assinou uma petição ao Congresso pela abolição nacional.
Benjamin Rush, médico formado em Edimburgo e signatário da Declaração de Independência. Publicou em 1768 um ensaio contra a escravidão, classificando-a como um pecado nacional e proferindo o seguinte aviso:
"Lembre-se de que crimes nacionais exigem punições nacionais e, sem declarar que punição aguarda este mal, você pode arriscar assegurar-lhes que ele não passará impunidade, a menos que Deus deixe de ser justo ou misericordioso."
Apesar do panfleto, Rush comprou o escravo William Grubber em 1776, mantendo-o mesmo após se juntar à sociedade abolicionista em 1784, vindo a libertá-lo apenas em 1794.
Outros foram críticos da escravidão, mas ironicamente mantiveram seus escravos.
Além de Thomas Jefferson, George Washington escreveu a Robert Morris afirmando que "não há homem vivo que deseje mais sinceramente do que eu ver um plano adotado para a abolição dela [da escravidão]". Dentre este grupo, Washington foi o único a libertar seus escravos, porém apenas em testamento, após a sua morte.
James Madison lamentou as divisões raciais criadas na era moderna, chamando-as de "[...] a base para o domínio mais opressor já exercido pelo homem sobre o homem".
No entanto, o exemplo deles mostra justamente o contrário do que você tentou demonstrar, pois mesmo homens que tinham escravos é reconheceram que o direito deles a liberdade era evidente. Podem ser criticados por hipocrisia ou contradição, mas não é possível alegar que o direito natural à liberdade não era evidente para eles.