Дом-музей посвящен истории семьи Бубновых. Купец и член городской управы Сергей Ефимович Бубнов приобрел этот дом в конце 1880-х годов. Но фамилию Бубновых прославил его сын Андрей Сергеевич — революционер-большевик, народный комиссар просвещения. Он занимался ликвидацией безграмотности и организацией обязательного начального образования, руководил созданием издательства «Детской литературы». Поэтому именно ему посвящена значимая часть постоянной экспозиции музея «Листая страницы семейного альбома».
Бубновы жили в этом доме до 1940-х годов, затем его разделили на коммунальные квартиры. В 1976 дом он был признан памятником истории, а 4 ноября 1978 года здесь открылся дом-музей.