Получив домашнее образование, Карл в шестнадцать лет поступил на математический факультет Московского университета. В то время он занимался музыкой для себя.
Играл на фортепиано и на виолончели. Игре на виолончели его обучал солист оркестра Большого театра Генрих Шмит. Благодаря его чуткому руководству Карл смог уже в четырнадцать летдать первый самостоятельный концерт. Свой вклад в формирование виолончельного мастерства юноши внес и известный петербургский маэстро Карл Шуберт, консультировавший его во время приездов в Москву.
19 июня 1858 года Давыдов окончил Московский университет, получив степень кандидата математических наук. Но его влекла не математика, а музыка. Для совершенствования композиторского мастерства Карл уехал в Германию и поступил в Лейпцигскую консерваторию.
Давыдов обучался по классу композиции у Гауптмана. Его исполнительское мастерство долгое время оставалось там неизвестным, но все изменил случай. Вот что рассказывает в своей книге Л.Н. Раабен: «Однажды его пригласили в дом, где предполагалось исполнение Трио Мендельсона И. Мошелесом, Ф. Давидом и Ф. Грюцмахером. Внезапно Грюцмахер заболел, и, чтобы не отменять вечер, Давыдов предложил свои услуги. Партию трио он провел с такой легкостью и совершенством, что пораженные слушатели стали его просить сыграть соло. Давыдов охотно согласился. На: следующий день молва о замечательном виолончелисте распространилась в музыкальных кругах Лейпцига, и молодому музыканту предложили выступить публично. Давыдов отнесся к этому предложению в высшей степени серьезно. Вернувшись в Россию на каникулы, он все лето посвятил занятиям». В Лейпциге он сперва выступил в тесном кругу, а затем, ободренный успехом, 15 декабря 1859 года — в Гевандхаузе. Концерт решил его участь. Не осталось никакого сомнения ни у окружающих, ни у самого Давыдова, что его истинное призвание — в исполнительстве, а не на композиторском поприще.
Молодой виолончелист становится «гвоздем сезона»; он нарасхват в известнейших музыкальных салонах города. После отъезда Грюцмахера в Дрезден его, двадцатидвухлетнего юношу, приглашают занять пост концертмейстера виолончелей в оркестре Гевандхауза и профессора виолончельной игры в консерватории.
Однако как раз в это время в России происходят важные перемены. Благородные просветительские тенденции воодушевляют русскую музыкальную интеллигенцию. Захвачен этими идеями и Давыдов. Музыкант возвращается на родину, где его ожидает исключительный прием. Его выступления потрясают слушателей. В восторженном порыве стареющий граф Виельгорский преподнес Давыдову в дар виолончель работы Страдивариуса.
«Мне довелось присутствовать, — писала М.П. Фредерике, — когда граф Матвей Юрьевич передал свой знаменитый виолончель, будучи уже преклонных лет, известному виолончелисту Давыдову, как русскому артисту, сказав при этом следующие слова: „Не нахожу никого достойнее получить мой Страдивариус, кроме вас!“ Вся зала Дворянского собраниязадрожала от аплодисментов, когда маститый старик, взойдя на эстраду, перед всей публикой вручил свой инструмент молодому концертанту, удостоившемуся своим талантом столь драгоценного дара».
Во вновь образованной Петербургской консерватории Давыдову поручают класс виолончели и курс истории музыки. Параллельно с работой в консерватории музыкант поступил в оркестр Итальянской оперы. Здесь он прослужил в качестве солиста двадцать лет.
Кроме того, Давыдов выступал и как солист Русского музыкального общества. Ежегодно он давал сольные концерты. Затем он вошел в состав Петербургского квартета РМО, который считался одним из лучших в мире. Посетивший в 1871 году Петербург Иоахим, выступив с музыкантами квартета, писал: «Квартетисты не причиняют мне ни малейшего труда, — отличные, опытные музыканты, играющие последние бетховенские произведения и во сне (но не сонно)».
В 1865 году Карл Юльевич женился на Александре Аркадьевне Горо-жанской, воспитаннице пансиона его матери. Александра, страстно увлекавшаяся музыкой, разделяла художественные устремления мужа. В доме Давыдовых постоянно собирались музыканты, проводили творческие вечера. Вот как описывает Ауэр вечера у Давыдова: «По случаю первой же нашей квартетной репетиции он ввел меня к себе в дом и познакомил со своей очаровательной женой… Славные были дни! А веселье, смех и нескончаемый поток анекдотов после репетиций, когда мы все собирались вокруг гостеприимного стола Давыдовых за незатейливым ужином!» В 1869 году у Давыдовых родилась дочь Лидия, а в 1870 году — сын Николай.