Nasceu em Londres, de uma família de 12 filhos. Aos 18 assumiu o cargo de escriturário na Westminster Fire Office, ao passo que estudava na Escola de Arte Lambeth. Em 1892 largou seu emprego e começou a colaborar para o The Westminster Budget como repórter e ilustrador. Suas primeiras ilustrações foram publicadas em 1883. Desde então até sua morte, em 1939 seria conhecido por ilustrar inúmeros livros.
Em 1903 casou-se com Edyth Starkie, com quem teve uma filha, Barbara, em 1908.
Rackham ganhou a medalha de ouro na Exibição Internacional de Milão, em 1906 e outra na Exposição Internacional de Barcelona, em 1911. Seus trabalhos foram incluídos em numerosas exibições, incluindo a do Louvre em Paris, em 1914.
Rackham morreu de câncer em 1939, em sua casa situada no pequeno vilarejo de Limpsfield em Surrey.
Entre seus trabalhos mais conhecidos figuram livros infantis como os Contos dos Irmãos Grimm (1900), Rip van Winkle (1905), Peter Pan (1906) e Alice no país das maravilhas (1907), entre outros.
Rackham também realizou ilustrações para livros orientados para leitores adultos, como Sonho de uma noite de verão (1908), Undine (1909), contos de Edgar Allan Poe e o texto da ópera de Richard Wagner O Anel de Nibelungo (1910).