Auf dem Gelände der Speicherstadt standen zuvor Wohnhäuser. 24000 Menschen wurden aufgrund der Baumaßnahmen zwangsumgesiedelt, vornehmlich in die Stadteile Wandsbek, Barmbek und Eimsbüttel. Für die Hafenarbeiter, die Tagelöhner waren, bedeutete dies einen Arbeitsweg von z.T. vier Stunden.