Eu comecei dessa forma, eu já gravei hiragana e katakana... e dps fui memorizando alguns kanjis, mas eu estava me sentindo preso a identificação e significado dos kanjis e não adquirindo vocabulário, então priorizei a escuta, ao invés da leitura/escrita... justamente pra entender logo os animes. Afinal o romaji é a maneira que eles pronunciam as palavras.
A gente aprende quando criança escutando e falando, não lendo primeiro...
Acho que deu pra entender, mas pode perguntar caso n tenha entendido...