По представлению князя Сергея Сергеевича Гагарина перед Министерством просвещения России в 1868 году на средства князя была выстроена школа для обучения детей всех сословий. В отличие от существовавшей уже в то время женской гимназии, обучение в школе было бесплатным. На открытии присутствовал министр просвещения. В связи с этим школа получила в народе название «министерская». Здесь преподавал И. И. Зеленицкий – доктор богословия, археолог, краевед. В этой школе учился будущий академик Е. А. Чудаков.

Двухэтажное здание выполнено в духе эклектики (характерного для зданий того времени), имеет симметричный трехчастный фасад с центральным ризалитом, слегка выступающим и выделенным треугольным фронтоном. Сзади здание имеет позднюю пристройку, без сомнения, расширившую старую школу, но нарушившую её историческую планировку и вид.

После открытия в 1876 году заведующим школы был назначен законоучитель, священник Иван Васильевич Ивановский; работали учителя, имеющие чины: Алексей Мартинович Демин, Алексей Павлович Чуфрин, Александр Дмитриевич Милов, Василий Иванович Ивановский, Николай Николаевич Крылов. Попечителем являлся купец Василий Иванович Шипилов. Одно время в школе преподавал И.И. Зеленицкий - доктор богословия, археолог, краевед.

До 1920 года в школе обучались только мальчики.  С 1920 года она была переименована в «советскую» и работала до начала Великой Отечественной войны.

С начала 1950-х годов здесь размещалась школа рабочей молодёжи. С 1986 года она была переименована в сменную вечернюю общеобразовательную школу № 1. А в 1996 году реорганизована в общеобразовательную школу № 3 с сохранением классов заочного обучения.

Из воспоминаний бывшего ученика первого послевоенного выпуска Жёлтикова Бориса Егоровича: "Я пошел в 1-й класс 1 сентября 1941 года. Школа тогда называлась Министерской, здесь получали только начальное образование. Первой моей учительницей была Ольга Кузьминична Казанская (после войны она работала в школе №2). Но в октябре 1941 года занятия прекратились. Во время Великой Отечественной войны здание пострадало от бомбежки и долгое время так и оставалось поврежденным. Где-то в 1957-1958 году школу восстановили. Вновь я оказался за партой в 1960 году в том же здании, что и в 1941 году, но теперь здесь располагалась Школа рабочей молодежи. Директором в то время была Богданова Ольга Николаевна (учитель истории). Еще помню учителей: математики - Саможенкову Александру Михайловну (она была завучем) и физики - Палютину Зинаиду Ивановну. Когда закончилась война, оказалось, что многие офицеры, заслужившие звания на фронте, не имеют образования. В то время вышел указ, который предписывал всему офицерскому составу закончить 10 классов. Я поступил в 9 класс, потому что восьмой закончил в армии, и был старостой. В то время работал наладчиком кузнечно-прессового цеха завода «Смычка». В 1962 году состоялся первый выпуск в Школе рабочей молодежи, первый во вновь отстроенном здании после войны. Вместе со мной закончили 10 классов Агальцова Нина Севостьяновна (в то время работала нотариусом), Гришин Иван (старший лейтенант автодорожной милиции)."