После окончания битвы за Киев танковая группа Клейста была сосредоточена на восточном берегу Днепра и 24 сентября начала наступление в юго-восточном направлении. Она прорвалась к Запорожью и вместе с 11-й армией генерал-полковника Риттера фон Шоберта в ходе «сражения у Азовского моря» взяла в плен более 100 тысяч человек. Пока переименованная в армию 1-я танковая группа продвигалась дальше на восток, 11-я армия захватила Крым и окружила Севастополь.
20 октября армия фон Клейста подошла к Таганрогу. Там ее застала осенняя распутица, которая совершенно парализовала снабжение войск. Танки буквально тонули на размытых дорогах. В результате Клейст подошел к Ростову-на-Дону только к середине ноября. Дожди сменились морозами, и машины стали вмерзать в грязь. С большим трудом танки буквально вырубали из промерзшей почвы. Когда наконец Клейст был готов продолжить наступление, по его правому флангу ударили три армии РККА, подтянутые с Кавказа. По приказу Рундштедта, несмотря на приказ Гитлера, требовавшего стоять до последнего солдата, Клейст оставил Ростов и отошел обратно к Таганрогу на правый берег реки Миус. Упорная оборона частями РККА Севастополя помешала командованию вермахта бросить 11-ю армию через Керченский пролив и тем самым усилить 1-ю танковую армию, понесшую большие потери. Первая попытка прорваться на Кавказ к вожделенным источникам нефти провалилась.
Германское командование перед началом летнего наступления хотело ликвидировать выступ, образовавшийся в ходе зимнего контрнаступления Красной армии в районе города Изюм юго-восточнее Харькова. Одновременно командующий советскими частями Тимошенко по приказу Сталина готовился отбить Харьков.
Тимошенко опередил немцев на неделю. Впервые используя тактику танковых клиньев, войска РККА двинулись в наступление. Первые несколько дней успех сопутствовал советским войскам, но затем Клейст перешел в контрнаступление. Его танковая группа в течение пяти дней окружила 6-ю и 57-ю советские армии. По немецким официальным данным, в плен попали около 240 тысяч человек.
В конце июня 1942 года на фронте от Таганрога до Курска стояло пять армий вермахта. Группа армий «Юг» была разделена на две части: южную группу «A» под командованием фельдмаршала фон Листа и северную группу «B» под командованием фельдмаршала фон Бока. 28 июня в соответствии с оперативным планом почти миллион солдат вермахта перешли в наступление на южном направлении. Танки Клейста форсировали Северский Донец. Поскольку советское командование ждало наступления на московском направлении, а основная часть сил на юге была уничтожена в ходе последней неудачной операции Тимошенко, Клейст практически не встречал сопротивления. Значительный перевес в живой силе и недостаток в танках не позволяли РККА провести даже местные контрудары.
Форсировав Дон, танки Клейста разделились на две колонны. Одна двинулась на Краснодар, а вторая – в сторону Ставрополя. 8 августа немецкие танки вошли в Майкоп – первый нефтяной район, который, однако, был полностью разрушен отступавшими частями Красной армии. Впоследствии немцы так и не смогли наладить здесь добычу нефти. Одновременно два танковых корпуса, продвигавшихся севернее среднего течения Кубани, повернули на Грозный. Но постепенно начала сказываться оторванность передовых частей фон Клейста от баз снабжения. Коммуникации настолько удлинились, что автоколонны, подвозившие горючее, тратили в пути большую часть груза. Топливо приходилось доставлять на самолетах. 9 августа танки Клейста заняли Пятигорск, но им пришлось несколько недель ждать горючего. 25 числа наступление продолжилось, но вскоре окончательно застопорилось в Моздоке и южнее Нальчика.
В ноябре 1942 года фон Клейст был назначен командующим вновь созданной группы армий «A».
Советское командование планировало встречными ударами Южного фронта и Черноморской группы войск окружить 1-ю танковую армию, прорвав оборону противника на линии Тихорецк – Ростов-на-Дону. В январе 1943 года Красная армия начала наступление и без особых усилий прорвала оборону союзников Германии по фашистской «оси». Положение стало катастрофическим. Клейст засыпал ставку требованиями разрешить отвод войск. Наконец Гитлер буквально в последний момент разрешил отход частей вермахта с Кавказа. 1 февраля 1943 года в разгар сражения Клейсту было присвоено звание генерал-фельдмаршала.
Развивая наступление после победы на Курской дуге, 3-й и 4-й Украинские фронты форсировали Днепр. 1 ноября русские вышли к Перекопу и высадили десант в Керчи. После тяжелых боев десанту удалось закрепиться, но как Перекопский перешеек, так и Керченский полуостров успешно оборонялись 17-й армией. Однако в апреле 1944 года немецкие войска пришлось эвакуировать.