31 декабря 1768 года был распространен указ Екатерины II о начале войны с Оттоманской Портой. Шуазель предлагал принять все возможные меры для недопущения русского флота в Средиземное море. Но король решил иначе, что было серьезным просчетом. Победа на море способствовала успехам русских на сухопутном театре военных действий. По мнению Брольи, у Шуазеля была возможность договориться с Англией и объявить Средиземное море нейтральным, а если бы она отказалась, то надо было без колебаний направить в Архипелаг французский флот и помочь туркам разгромить русских. Шуазель не сделал ни того, ни другого.
Упреки эти были явно несправедливы и должны были быть адресованы не Шуазелю, а Людовику XV, который, по всей видимости, с опозданием осознал допущенную им ошибку. Во всяком случае, после разгрома турок под Чесмой король предложил султану 12–15 кораблей дли пополнения его ослабленного флота.
Когда Напряженность между Англией и Испанией в 1770 году стала угрожать миру, а Шуазель поддерживал испанцев в их стремлении к войне, монарх разъяснил ему, что он совершенно не хочет войны. 23 декабря он отправил Шуазеля в отставку.
Враги Шуазеля употребляли всевозможные средства, чтобы унизить его в глазах Людовика XV. После смерти Помпадур главной фавориткой короля стала Жанна дю Барри, покровительствовавшая так называемому «триумвирату», в который входили губернатор Бретани Э. Эгийон (правнук кардинала Ришелье), генеральный контролер финансов аббат Террэ, известный интриган и политик своего времени, и канцлер Мопу. Члены этой дворцовой клики сфабриковали доказательства о якобы происпанской позиции Шуазеля.
Аббат Броглио, в обязанности которого входила дипломатическая переписка с иностранными державами и который имел вне пределов Франции повсюду тайных агентов, объявил Людовику XV, что Шуазель был более предан Австрии, нежели Франции.
Король получил также ноту, в которой утверждалось, что Шуазель получил заверение от королевы Марии Терезии сделать его неограниченным властелином (то есть королем) с полною гарантией на передачу этого звания своему потомству, если только он сумеет оставить Силезию за Австрийским императорским домом.
Герцог Ришелье, герцог д'Эгильон и графиня дю Барри стали называть Шуазеля не иначе, как королем Шуазелем, или маленьким королем.
Все эти интриги привели к тому, что король взял перо и написал: «Бог мой, Шуазель! Неудовольствия, которые причиняет мне ваша служебная деятельность, заставляют меня сослать вас в Шантлу, куда вы должны отправиться в двадцать четыре часа; я бы вас сослал гораздо далее если не имел особенного уважения к вашей жене, здоровье которой мне дорого. Берегитесь, чтобы ваши поступки не заставили меня принять против в более сильные меры. За сим, брат мой, я молю Бога за ваше здравие. Людовик».
Находясь в изгнании, Шуазель поддерживал тесные связи с сочувствствавшими ему молодыми дипломатами — Реневалем (французский резидент в Данциге), Энненом (резидент в Женеве) и Талейраном который был тогда лишь заурядным придворным аббатом. Однажды Шуазель предсказал Талейрану: «Вы, мой дорогой аббат, вероятно, станете послом даже премьер-министром». «Подлинная дипломатическая тонкость за заключается в правде, высказываемой порой в решительной, но всегда любезнои форме», — говорил Шуазель. Ему были свойственны внешний блеск, остроумие, умение «очаровывать» собеседников, заставлять работать своих подчиненных. Все эти черты в известной степени были восприняты «французской школой» дипломатии, и ему во многом подражал впоследствии Талейран.
Шуазель был популярен, несмотря на свое мотовство Он стал расточительнее в изгнании, и даже своим мотовством он (вместе со свои окружением) как бы утверждал идею превосходства родовитого придворного дворянства.
Нередко случается, что политические деятели, попав в немилость сохраняют своих приверженцев. Бывает даже, что они приобретают новых. Шуазель в этом отношении был необыкновенно удачлив.
«Герцог де Шуазель, изгнанный в Шантлу, принимал у себя всю Францию», — писал аббат Морелле в 1773 году, в ту пору, когда еще нельзя был предвидеть скорую смерть Людовика XV. Склонный к пышности и блеску герцог велел построить в своем парке семиэтажную пагоду, на которой был начертаны имена двухсот десяти высокопоставленных персон, посетивши его в изгнании. Эти приверженцы отличались не только своей родовитостью. Главные из них питали, как и он сам, пристрастие к интриге, но они вдобавок привносили в нее упорство, ожесточение и страстность, чуждые характеру Шуазеля, склонного к высокомерной непринужденности и беспечности, чуть окрашенной фатализмом с долей светского стоицизма.