Легенду этого дома начал складывать, ни больше ни меньше, а сам Николай Гаврилович Чернышевский. В доме на углу Московской и Большой Сергиевской, которая впоследствии будет носить имя писателя, он побывал в 1836-м, когда ему было 8 лет. Описание купца Корнилова и встречи с ним классика оставила внучка последнего Нина Михайловна Чернышевская: «На лежанке сидел купец Корнилов, или «Степан Корнилыч», старик маленького роста, еще не дряхлый, но очень старый: волосы его из белых стали уже желтыми. Этому старику было 85 лет, а сам он давал себе 98 (…) Корнилов был богатый купец (…) Но жили они с женой бедно, потому что копили деньги». Золотые и серебряные монеты старуха складывала в кожаный фартук и зарывала на заднем дворе. «Этой тайны не успели открыть старики перед смертью и своей единственной дочери, которая была слабоумной (…) Дело кончилось тем, что молодой купец Сырников купил у наследницы дом Корниловых, после чего сейчас же так разбогател, что открыл большую торговлю».
Но поводом для мрачных легенд послужила не только история о кладе, но и впечатления от деспотичного купеческого быта: «Маленькому Чернышевскому пришлось стать свидетелем зверской расправы старухи жены над стариком Корниловым. Она избила и заперла подвыпившего мужа в чулан. Когда гость стал указывать ей на жестокость обращения с мужем, старуха в ответ показала им свои уши: они были изуродованы и представляли собой сплошные клочья. Это были следы издевательства пьяного мужа, который в продолжение многих десятков лет бил ее, вырывая из ушей серьги вместе с мясом».