En 1848, sa femme et ses enfants sont vendus à un marchand d’esclaves et envoyés en Caroline du Nord. Henry Brown est décidé à obtenir sa liberté. Il élabore alors un plan qui lui vaudra le surnom de « box » (boîte) : « j’eus soudain l’idée de me faire enfermer dans une boîte et de me faire livrer comme une marchandise vers un État libre ».

Brown est enfermé par C. A. Smith, un sympathisant “blanc”, en échange de toutes ses économies, dans une boîte de bois. Dans cette boîte de 1,50 mètre de profondeur, 1,20 mètre de large et de moins d’un mètre de long, Brown va parcourir 442 kilomètres, de Richmond à Philadelphie, soit 26 longues heures de voyage. Sa boîte transite de nombreuses façons : voie ferrée, bateau à vapeur, ferry, chariot de livraison. Elle est violemment manipulée, retournée… mais Brown reste impassible et jamais ne trahit sa présence. A son arrivée, la boîte contenant Brown est reçue par deux abolitionnistes, Miller McKim et William Still.

Plus tard, Henry Brown écrira l’histoire de sa vie et créera un panorama appelé “Miroirs de l’esclavage” où il décrira sa vie d’esclave et sa fuite. Il deviendra un porte-parole célèbre de la Société anti-esclavagiste américaine.