Горчаков оставался в Лондоне до 1827 года, затем его перевели на должность первого секретаря в Риме. В следующем году молодой дипломат стал советником посольства в Берлине, а затем в качестве поверенного в делах он вновь оказывается в Италии, на этот раз во Флоренции и Лукке — столице Тосканского государства.
В 1833 году по личному распоряжению Николая I Горчаков был направлен в Вену в качестве советника. Посол Д. Татищев поручал ему ответственные задания. Многие донесения, шедшие в Петербург, составлялись Горчаковым, За дипломатические успехи Горчаков был пожалован в статские советники (1834). В 1838 году Горчаков женился на Марии Александровне Урусовой, вдове И.А. Мусина-Пушкина. Семья Урусовых была богата и влиятельна. Горчаков оставил службу в Вене, возвратился в столицу. Решение Горчакова подать в отставку объясняется тем, что у него не сложились отношения с главой МИДа Нессельроде.
Лишь в 1841 году Александр Михайлович получил новое назначение и отправился чрезвычайным посланником и полномочным министром в Вюртемберг, чей король Вильгельм II находился в родственных отношениях с Николаем I. Задача Горчакова сводилась к поддержанию авторитета России как покровительницы германских стран.
Революции 1848–1849 годов, охватившие Европу, застали дипломата в Штутгарте. Горчаков не одобрял революционных методов борьбы. Сообщая о митингах и демонстрациях в Вюртемберге, он советовал охранять Россию от взрыва, подобного западноевропейскому.
В 1850 году Горчаков получил назначение чрезвычайным посланником и полномочным министром при Германском союзе (столицей был Франкфурт-на-Майне). При этом он сохранил пост в Вюртемберге. Горчаков добивался сохранения Германского союза как организации, сдерживаввавшей усилия Австрии и Пруссии — двух соперничавших держав — выступать в качестобъединителя Германии.
В июне 1853 года в Баден-Бадене умерла жена Горчакова, с которой прожил пятнадцать лет. На его попечении остались двое сыновей и дети первого брака жены.
Вскоре началась Крымская война. В это трудное для России время Горчаков проявил себя дипломатом высочайшего класса. В июне 1854 его направили послом в Вену. На стороне Турции тогда выступили Англия и Франция, а Австрия, не объявляя России войны, помогала державам антирусского блока. В Вене Горчаков убедился в коварных замыслах Австрии направленных против России. Особое беспокойство у него вызывали попытки Австрии привлечь на свою сторону Пруссию. Он сделал все, чтобы Пруссия осталась нейтральной.
В декабре 1854 года послы всех воюющих держав и Австрии собрались на конференцию, Россию на ней представлял Горчаков. На многочисленых заседаниях конференции, продолжавшихся до весны 1855 года, он пытался смягчить жесткие требования держав. Российский дипломат вступил в тайные переговоры с графом Морни, доверенным лицом Наполеона III. Узнав об этом, представители Австрии обратились в Петербург к Александру І и добились от него принятия своих условий, так называемых „пяти пунктов“. Горчаков же считал, что продолжение переговоров с Францией позволило бы России заключить мир на более выгодных для нее условиях.
На Парижском конгрессе, завершившем свою работу 18 (30) мац 1856 года, Россия подписала договор, зафиксировавший ее поражение Крымской войне. Самым тяжелым условием Парижского мира была статья о нейтрализации Черного моря, по которой России запрещалось иметь военный флот и строить прибрежные оборонительные сооружения.
После поражения в Крымской войне 15 апреля 1856 года Министерство иностранных дел возглавил Горчаков. Александр II, отдавая должное опыту, таланту, уму, остановил свой выбор именно на нем, несмотря на попытки Нессельроде помешать этому назначению.
Историк С.С. Татищев с назначением Горчакова связывал „крутой поворот во внешней политике России“. Новое направление внешней политики было обосновано министром в докладе Александру II и изложено в циркуляре от 21 августа 1856 года. В нем подчеркивалось желание российски правительства посвятить „преимущественную заботливость“ внутренним делам, распространяя свою деятельность за пределы империи, „лишь кои того безусловно потребуют положительные пользы России“. И, наконец знаменитая фраза: „Говорят, Россия сердится. Нет, Россия не сердится, а сосредоточивается“.
Сам Горчаков в отчете о работе министерства за 1856 год объяснял: так: „Россия мысленно сосредоточивалась не из чувства задетого самолюбия, а с осознанием силы и своих подлинных интересов. Однако она не отказывалась ни от попечения о своем достоинстве, ни от ранга, принадлежавшего ей среди великих держав Европы“. Более того, политика воздержания, которой решено было следовать, вовсе не исключала для российской дипломатии изучения возможностей и подготовки к заключению новых союзов, не принимая, однако, никаких обязательств в отношении кого-либо, пока собственные национальные интересы ей этого не предпишут».