Жолтовский оказался словно на распутье. В 1926—1927 годах он сделал три проекта, которые свидетельствуют о сложных творческих исканиях мастера. Речь идет о здании Госбанка на Неглинной, о котельной МОГЭСа на Раушской набережной и о Доме Советов в Махачкале. Эти сооружения позволяют говорить о том, что мастер пробовал свои силы в разных творческих направлениях. Особенно интересен в этой связи Госбанк.
В здании банка зодчий органично соединил внешне, казалось бы, совершенно несовместимые и, строго говоря, в рамки одной стилистической традиции не укладывающиеся решения: классически выверенный каменный ордерный фасад, выходящий на Неглинную, и громадный стеклянный витраж, «упакованный» в сетку сот металлического каркаса на фасаде явно делового, утилитарного здания, каким выглядит банк со стороны переулка. Таким образом, художественно-образное решение, соответствующее объемно-пространственной композиции, способствует созданию представления о гармонично сосуществующих двух зданиях, объединенных общей функцией.
В здании котельной МОГЭСа Жолтовский еще дальше продвинулся по пути художественного освоения новых архитектурных форм. Он вовсе отказался от ордерной системы и ренессансного декора, однако сохранил принципы гармонизации, присущие классической архитектуре. Впервые в своей практике, столкнувшись с новыми для классической традиции материалами – металлом и стеклом, он нашел им принципиально новое применение. Сплошь стеклянная стена фасада решена группами сильно выступающих вперед граненых эркеров и воспринимается не как ограждающая плоскость, инертная «выгородка» в пространстве, а как упругая оболочка, самостоятельно формирующая облик сооружения.
В 1931 году Жолтовский по приглашению организаторов участвовал во Всесоюзном конкурсе на проект Дворца Советов. Несмотря на обвинения в ретроспективизме, высказываемые в печати, проект Жолтовского был настолько убедительным, что удостоился одной из трех высших премий, наряду с Б. Иофаном и американским архитектором Г. Гамильтоном. Более того, несомненно, его проект был одним из тех, который повлиял на формулирование дальнейших задач проектирования Дворца.
С именем Жолтовского в первую очередь связывается установка на «историзм» как методологическую основу архитектурного творчества, ему приписывается едва ли не решающая роль в той творческой перестройке, которую претерпела советская архитектура в начале 1930-х годов, и в которой по сложившейся традиции значительное место отводится конкурсу на Дворец Советов.
И все-таки предпочтение было отдано не проекту Жолтовского, а проекту Дворца Иофана.
В 1932 году Жолтовскому было присвоено звание заслуженного деятеля науки и искусства РСФСР. В это время зодчий был занят проектированием и строительством жилого дома на Моховой. Это сооружение вызвало массу откликов в печати. Его то называли гвоздем майской архитектурной выставки 1934 года, то хвалили, то ругали, то называли образцом, то чуть ли не требовали снести. Вот что писал Щусев: «Дом, построенный Жолтовским на Моховой, называют гвоздем выставки и сезона и сравнивают его красоту с красотой павловского гренадера, который ходит в кирасе по улицам современной Москвы. Дом Жолтовского будто бы является сколком архитектуры XVI века, хотя следовало бы знать, что в XVI веке была принята иная система конструкции для сооружения зданий. Конструкция дома Жолтовского ближе к современной. Большие стеклянные поверхности и колонны, которые поддерживают стены здания, делают дом современным. Научная критика должна отметить, что Жолтовским применена современная, а не архаическая конструкция дома…
Это – архитектурная работа, которая подобна написанию в музыке специального этюда на ту или иную тему… Жолтовский когда-то мне говорил: «Я выступаю с классикой на Моховой, и если провалюсь, то провалю принципы классики»… Я считаю, что даже в Европе трудно найти мастера, который так тонко понял бы классику. Эта постройка является большим завоеванием современной архитектуры».
Обаяние облика дома на Моховой с его тщательно прорисованными и не менее тщательно выполненными деталями, его монументальность, так отвечавшая веяниям времени, и в то же время пластическое богатство фасадов стали примером для подражания. Нельзя не отметить и еще одну особенность – кажущуюся для непосвященного легкость удачи, легкость открытия новых путей в архитектуре. Многим казалось, что достаточно изучить классические образцы для того, чтобы раскрылись тайны создания истинных произведений архитектуры. Интересно в связи с этим привести высказывание одного из учеников Жолтовского: «Конечно, такой дом мог построить только один Иван Владиславович Жолтовский. Даже мы, его ближайшие ученики, не в силах такой вещи одолеть».