Рерберг сформировался как строитель и мастер архитектуры еще в дореволюционное время, а в советские годы очень активно и с большим успехом работал над решением крупных архитектурно-строительных задач. Щусев считал его большим мастером, сказав: «Богатый опыт и огромные организаторские способности И.И. Рерберга дают право назвать его одним из крупнейших строителей Москвы». Без его работ нельзя представить сейчас российскую столицу.

Родился Иван Иванович Рерберг 4 октября 1869 года в Москве. Среди его предков было немало высокоодаренных людей. Согласно семейному преданию, при Петре I датский кораблестроитель Рерберг был приглашен в Россию и поселился в Прибалтике в Ревеле. Дед Ивана, Федор Иванович, переселился из Ревеля в Петербург, начал учиться на кораблестроителя, затем окончил созданный за три года до этого Институт инженеров путей сообщений. В дальнейшем он был заместителем председателя комиссии по постройке Исаакиевского собора в Петербурге. Дядя Ивана, Петр Федорович, был профессиональным военным, участником героической обороны Севастополя. Отец, Иван Федорович, инженер путей сообщения, крупный организатор железнодорожного транспорта, автор капитальных печатных трудов.

По окончании кадетского корпуса, а затем военного училища Иван Рерберг-младший был направлен в саперный батальон. После этого поступил в Петербургскую военно-инженерную академию. Основой его интересов в студенческие годы служили не военно-оборонительные сооружения, а строительство транспортных, гидротехнических и других объектов. Он прошел, как полагалось в то время, на практике путь от каменщика и плотника до десятника строительных работ. Получив в 1896 году звание военного инженера, Рерберг участвовал в строительстве крупного паровозостроительного и механического завода в Харькове, что позволило ему овладеть передовыми для того времени методами строительства.

С конца 1897 года Рерберг участвовал в строительстве грандиозного и величественного здания Музея изящных искусств в Москве в качестве одного из двух заместителей его автора и строителя, архитектора Р. Клейна.

Возведение этого уникального здания, воплотившего многие архитектурные и технические достижения рубежа двух веков, творческое общение с крупными архитекторами, учеными и инженерами, участвовавшими в проектировании здания, явились для Рерберга замечательной школой опыта и мастерства. По его предложению была создана эффективная отопительно-вентиляционная система здания. Основатель музея профессор Московского университета И. Цветаев часто адресовал письма по вопросам строительства непосредственно Рербергу.

Сохранилась копия удостоверения, выданного Рербергу и подписанного директором и ученым секретарем музея: «Администрация Музея изящных искусств удостоверяет, что инженер Иван Иванович Рерберг состоял заместителем и помощником строителя Музея изящных искусств Клейна за все время постройки здания Музея изящных искусств в Москве с 1897 по 1909 год и в заслугу за его деятельность был награжден званием пожизненного безвозмездного архитектора здания музея». Рерберг продолжал работу над музеем до 1912 года, то есть до полного окончания всех работ и его открытия.

Став признанным специалистом, Иван Иванович еще в период строительства музея участвовал в реставрационно-ремонтных работах здания Манежа в 1904 году. Он руководил также возведением ряда зданий по проектам Клейна: универмага «Мюр и Мерилиз» (1907–1908), здания клиники на Малой Пироговской улице, корпуса Московского университета, выходящего торцовым фасадом на проспект Маркса рядом со старым университетским зданием, жилых, учебных и других зданий.

В самом конце века началась самостоятельная творческая деятельность Рерберга. Одним из первых осуществленных проектов был патронный завод вблизи Сущевского вала.