Дипломатические бумаги Остермана показывают его изощренный ум, умение учесть, взвесить все обстоятельства дела, предусмотреть все негативные последствия политических поступков. Любопытно также, что он никогда не подписывался титулом барона и графа, а всегда просто: Андрей Остерман. Как для руководителя внешней политики, для него было характерно развитое чувство равновесия, расчетливость и — главное — стремление оставить России поле для дипломатического маневра, а соответственно — для самостоятельной политики. «Наша система, — писал Остерман в 1727 году, — должна состоять в том, чтобы убежать от всего, что могло бы нас в какие проблемы ввести».
После кончины великого канцлера графа Головкина, последовавшей 1 января 1734 года, граф Остерман вступил в Главное управление иностранным департаментом и в декабре того же года заключил в Санкт-Петербурге с английским резидентом Рондо трактат в 30 статьях о дружбе и взаимной торговле на 15 лет.
В 1736 году императрица объявила войну Порте. Частые нападет крымских татар на российские границы явились тому причиной. Некоторые из российских политиков, и прежде всего граф Остерман, были против этой войны. Он доказывал, что Россия не может извлечь из этого выгод, война приведет к значительным военным потерям и большим финансовым издержкам. Предположения графа Остермана оправдались: Россия, помимо некоторого расширения границ и блистательных успехов оружия своего войска, никакой существенной выгоды от войны с Портой не получила. Война завершилась в 1739 году. Изданный в феврале 1740 года манифест о заключенном с турками мире был сочинен графом Остерманом. Он получил от императрицы Анны Иоанновны серебряный сервиз, бриллиантовый перстень и пенсию в 5000 рублей, сверх получаемого им жалованья.
У Остермана не было друзей или добрых знакомых, что и немудрено: общение с ним, по единодушному мнению, было крайне неприятно, был очень скуп и нечистоплотен. Комнаты его отличались дурным убранством, а служители были одеты как нищие. Серебряная посуда, которую он каждый день употреблял, больше походила на оловянную.
Супруги Остерман имели двоих сыновей и одну дочь — графиню Анну Андреевну, которая была замужем за генерал-аншефом Матвеем Андреевичем Толстым. Старший сын граф Федор Андреевич дослужился до генера-поручика. Он был действительным тайным советником, сенатором. Другой сын, граф Иван Андреевич, поднялся еще выше, став канцлером России.
Скрытность, лживость и лицемерие Остермана стали притчей во языце, а не особенно искусное притворство — поводом для анекдотов. В минуты риска, когда нужно было высказаться о чем-либо определенно или подписать требующий особой осмотрительности документ, Остерман внезапно и резко заболевал. У него начиналась подагра, мигрень, ревматизм или что-нибудь другое. Он жалобно стонал, укладывался в постель, и вытащить его оттуд было невозможно. Не без сарказма Бирон писал в апреле 1734 года посланник России в Варшаве графу Кейзерлингу: «Остерман лежит с 18-го февраля и все время один только раз брился, жалуется на боль в ушах, обвязал себе лицо и голову. Как только получит облегчение в этом, он снова подвергнется подагре, так что, следовательно, не выходит из дома. Вся болезнь может быть такого рода: во-первых, чтобы не давать Пруссии неблагоприятного ответа, во-вторых, турецкая война идет не так, как того желали бы».
В последние годы царствования Анны Иоанновны (с 1736 года) Остерман редко выезжал из дому, под предлогом, что не мог ходить от сильной подагры. Однако же притворная болезнь от сидячей его жизни превратилась в настоящую, так что он оставлял кресла свои и ездил во дворец по одним только чрезвычайным случаям, и когда специально за ним присылали.
В 1740 году, после смерти Анны Иоанновны, свержения Бирона, отставки Миниха и установления регентства Анны Леопольдовны, Остерман решил, что наступил его час, и, пользуясь особым доверием правительницы выдвинулся в руководители государства — фактически стал главой правительства. Эта должность, как и чин высшего морского начальника — генера адмирала, полученный Остерманом в 1740 году, была явно не по нему: привыкший действовать незаметно, осторожно плести сети интриг, он не обладал необходимой широтой подхода к государственным проблемам, авторитетом лидера, решительностью и смелостью.
В 1741 году в Россию прибыло персидское посольство, чтобы встретиться с цесаревной Елизаветой Петровной, однако прием не состоялся — Остерман воспрепятствовал этому свиданию. Тогда-то дочь Петра I в ярости велела передать влиятельному министру, что «он забывает, кто я и кто он сам — писец, ставший министром благодаря милости моего отца… Он может быть уверен, что ему ничего не будет прощено».