В XVIII веке Василий Иванович Гандурин, крепостной графа Шереметева, имел с братьями торг в Acтрахани. Его сын Осип расширил дело и торговал бумажными тканями в Москве, Астрахани и других городах. Накопив немалые деньги, Гандурины выкупились из крепостной зависимости.
В 1820-е они основали текстильную фабрику в Иванове. Именно к этому времени и относится строительство усадьбы, на территории которой появились не только дома для владельцев, но и здание самой фабрики.