В 1923 году Ойстрах поступает в Одесскую консерваторию. «Первое мое публичное выступление с оркестром состоялось в 1923 году на юбилейном вечере Столярского, — вспоминает Ойстрах. — Я играл ля-минорный концерт Баха. После этого вечера Столярский похвалил меня и предложил мне начать учить концерт Чайковского.
Излишне говорить, с каким энтузиазмом я взялся за это дело.
Вспоминая себя в те годы, мне представляется, что играл я тогда достаточно свободно, бегло, интонационно чисто. Однако впереди еще были долгие годы упорной работы над звуком, ритмом, динамикой и, конечно, самое главное — над глубоким постижением внутреннего содержания музыки.
Большой толчок в моей карьере музыканта мне дали совместные выступления с крупнейшими музыкантами, приезжавшими к нам в Одессу. Я принимал участие в концертах А.В. Неждановой, P.M. Глиэра, играл в качестве концертмейстера Одесского симфонического оркестра под управлением А. Пазовского, Н. Малько, И. Прибика, выступал с этим оркестром и как солист с концертами Чайковского и Бетховена.
Окончив в 1926 году Одесскую консерваторию по классу П. Столярского, я продолжал упорно работать над совершенствованием техники, над новым репертуаром».
Сольные выступления принесли Ойстраху известность. Однажды его услышал гастролировавший в Одессе Николай Малько, — в то время главный дирижер оркестра Ленинградской филармонии, и пригласил молодого скрипача на открытие сезона 1928–1929 годов. Ленинградский дебют прошел очень удачно и послужил поводом для твердого решения артиста оставить оркестр и целиком посвятить себя сольному исполнительству.
В 1928 году Ойстрах переехал в Москву. Здесь огромное значение для него имело общение с такими выдающимися музыкантами, как К.Н. Игумнов, Г.Г. Нейгауз, М.Б. Полякин, В.В. Софроницкий, а также близкое знакомство с профессорами прославленной московской скрипичной школы — А.И. Ямпольским, Л.М. Цейтлиным, К.Г. Мострасом.
Из воспоминаний Флиера: «Впервые я услышал сольный концерт Ойстраха весной 1933 года. За несколько дней до этого мой дорогой и мудрый учитель Константин Николаевич Игумнов делился со мной впечатлениями о только что закончившемся I Всесоюзном конкурсе музыкантов-исполнителей. Когда я заговорил о лауреатах-скрипачах, получивших премии, Константин Николаевич задал мне вопрос: „Скажи, а тебе не приходилось слушать скрипача, который не принимал участия в конкурсе, — Давида Ойстраха?“ Я ответил, что слышал лишь это имя. „Так вот, — продолжал Игумнов. — Скоро состоится его концерт в Малом зале консерватории, и я очень советую тебе пойти. По-моему, это артист с огромными перспективами. Мне удалось его однажды послушать“.
Вняв совету Игумнова, я пошел на концерт Ойстраха. Это был совсем еще молодой музыкант (ему шел тогда 25-й год). Я не помню сейчас всех подробностей концерта, — с тех пор прошло все же почти полвека, — но впечатление от него было действительно необычайным. Ойстрах сразу поразил всех ярким талантом и удивительной для своих лет зрелостью. Из того, что он играл, мне особенно запомнился редко играемый концерт Конюса. Завершался же вечер знаменитым Рондо-каприччиозо Сен-Санса, буквально потрясшим зал своей искрометностью. Я понял, что перед многочисленной аудиторией предстал скрипач, который займет ведущее положение среди величайших артистов мира».
В 1934 году начинается преподавательская деятельность скрипача: по инициативе А.Б. Гольденвейзера Ойстраха приглашают в Московскую консерваторию. Ко второй половине 1930-х годов относятся блестящие победы Ойстраха на международных конкурсах, принесшие ему, а вместе с ними советской скрипичной школе широкую известность.
Знаменитый советский композитор Арам Хачатурян вспоминает о том времени: «Я познакомился с Давидом Ойстрахом в 1935 году в Ленинграде. Тогда меня, как молодого композитора, аспиранта Московской консерватории, выдвинули от Армении в члены жюри II Всесоюзного конкурса музыкантов-исполнителей. Возможно, из-за того, что я был в прошлом виолончелистом, меня включили в жюри скрипачей. На этом конкурсе я впервые и услышал Ойстраха, впервые его увидел. До этого я лишь на афишах встречал его имя. Члены жюри, среди которых были лучшие профессора Советского Союза, в том числе М. Полякин и П. Столярский, имели блокноты и записывали туда впечатления по поводу игры участников конкурса. Но когда начал играть Ойстрах, я заметил, что многие закрыли блокноты и стали слушать. Закрыл свой блокнот и я. Это было такое вдохновенное, зрелое, артистическое исполнение программы, и в частности концерта Мендельсона, что не хотелось ничего дифференцировать, отмечать, раскладывать „по полочкам“, хотелось просто наслаждаться этим выдающимся исполнением. Несомненно, уже тогда была решена судьба первой премии».