По окончании кадетского корпуса, а затем военного училища Иван Рерберг-младший был направлен в саперный батальон. После этого поступил в Петербургскую военно-инженерную академию. Основой его интересов в студенческие годы служили не военно-оборонительные сооружения, а строительство транспортных, гидротехнических и других объектов. Он прошел, как полагалось в то время, на практике путь от каменщика и плотника до десятника строительных работ. Получив в 1896 году звание военного инженера, Рерберг участвовал в строительстве крупного паровозостроительного и механического завода в Харькове, что позволило ему овладеть передовыми для того времени методами строительства.
С конца 1897 года Рерберг участвовал в строительстве грандиозного и величественного здания Музея изящных искусств в Москве в качестве одного из двух заместителей его автора и строителя, архитектора Р. Клейна.
Возведение этого уникального здания, воплотившего многие архитектурные и технические достижения рубежа двух веков, творческое общение с крупными архитекторами, учеными и инженерами, участвовавшими в проектировании здания, явились для Рерберга замечательной школой опыта и мастерства. По его предложению была создана эффективная отопительно-вентиляционная система здания. Основатель музея профессор Московского университета И. Цветаев часто адресовал письма по вопросам строительства непосредственно Рербергу.
Сохранилась копия удостоверения, выданного Рербергу и подписанного директором и ученым секретарем музея: «Администрация Музея изящных искусств удостоверяет, что инженер Иван Иванович Рерберг состоял заместителем и помощником строителя Музея изящных искусств Клейна за все время постройки здания Музея изящных искусств в Москве с 1897 по 1909 год и в заслугу за его деятельность был награжден званием пожизненного безвозмездного архитектора здания музея». Рерберг продолжал работу над музеем до 1912 года, то есть до полного окончания всех работ и его открытия.
Став признанным специалистом, Иван Иванович еще в период строительства музея участвовал в реставрационно-ремонтных работах здания Манежа в 1904 году. Он руководил также возведением ряда зданий по проектам Клейна: универмага «Мюр и Мерилиз» (1907—1908), здания клиники на Малой Пироговской улице, корпуса Московского университета, выходящего торцовым фасадом на проспект Маркса рядом со старым университетским зданием, жилых, учебных и других зданий.
В самом конце века началась самостоятельная творческая деятельность Рерберга. Одним из первых осуществленных проектов был патронный завод вблизи Сущевского вала. В 1906 году Рерберг разработал проект самого большого в Москве пятиэтажного «дома дешевых квартир для семейных» на Второй Мещанской улице на средства, завещанные богатым московским купцом. В докладе, сделанном в Московском архитектурном обществе, действительным членом которого он состоял, Иван Иванович отметил, что работу над проектом он начал с ознакомления с тяжелыми условиями жизни городской бедноты, которая должна иметь «неотъемлемое право на ограждение от несправедливой судьбы». Этот необычный по планировке дом, где кроме жилых комнат было много помещений обслуживания, был заселен в 1909 году и получил положительную оценку в печати.
Еще более крупный проект Иван Иванович осуществил в самом центре Москвы. Северное страховое общество решило построить комплекс доходных зданий конторского и торгово-складского назначения. На объявленный Московским архитектурным обществом конкурс было подано двадцать два проекта. Весной 1909 года жюри присудило одну из двух первых премий авторам проекта под девизом «Центр» – петербургскому архитектору М. Перетятковичу и Рербергу.
Решая задачу сочетания новых, отвечающих эстетическим требованиям начала XX века зданий с сооружениями прошлого, авторы акцентировали торцы зданий, выходящие на Ильинку, высокой башней с куполом-ротондой. Был удачно использован весь участок, предусмотрен удобный внутриквартальный проезд между пятиэтажными корпусами, соединенными переходом на уровне четвертого и пятого этажей. В процессе подготовки и осуществления строительства, в котором принимал участие архитектор В. Олтаржевский, Рерберг значительно доработал проект с целью достижения большей четкости и отточенности архитектурного облика в формах нового для того времени стиля – неоклассицизма, на который он возлагал большие надежды. Ритм крупных оконных проемов определил характер фасадов.