Южнее дороги в бой вступили бригада Пакстона, объединившаяся с потрепанными частями Лейна и Мак-Гауэна, и бригада О'Нила, примкнувшего к Пендеру и Брокенброу. Однако первый дружный натиск этих бригад был отражен. Отступив, они перегруппировались, снова двинулись вперед и на этот раз добились успеха. О'Нилу, Пендеру и Брокенброу удалось ворваться в засеки и выгнать оттуда федералов. Но тут южанам снова не повезло. Шальная пуля ранила генерала О'Нила, яростного ирландца, возглавлявшего эту атаку. Лишившись командира, его бригада развалилась на две части, каждая из которых продолжала наступать самостоятельно.
Первая из них выша на правую оконечность линии Берри, находившуюся между Чанселорсвиллом и просекой Баллока, а вторая часть во главе с полковником Холлом повернула направо, перешла дорогу и начала взбираться по склонам холма Фейрвью, на вершине которого располагался левый фланг Берри. Эта федеральная дивизия стала чувствовать себя крайне неуютно под двойным натиском врага, а артиллерия конфедератов, открывшая огонь картечью с фронта, сделала положение северян еще менее комфортным. Но дивизию Берри спасла бригада Уорда. Сиклс, заметивший, что его правый фланг вот-вот рухнет, вовремя отправил ее к просеке Баллока, и после ожесточенной винтовочной дуэли наступавшая здесь часть бригады О'Нила была отброшена. Затем северяне переключились на полковника Холла, которому со своими людьми удалось ворваться в укрепления на вершине холма Фейрвью и после короткой рукопашной схватки овладеть ими.
Но тут северяне сконцентрировали на алабамцах Холла кинжальный винтовочный и артиллерийской огонь, а затем бросили в контратаку Нью-Джерсийскую бригаду Мотта. Даже после этого Холл не пожелал отступить, и его люди встретили бригаду Мотта штыками. Некоторое время им удавалось сдерживать натиск северян, но тех было слишком много, и, оставив на вершине холма Фейрвью добрую половину своих людей, Холл приказал отступить.
Стюарт, впрочем, не был обескуражен этими двумя неудачами. У него еще оставалась часть 3-й линии, не участвовавшая в деле, и он немедленно двинул ее на помощь остаткам двух первых. Бригада Колквита отправилась на левый фланг, где Френч, во второй раз перешедший в контратаку, сильно теснил бригаду Николса. Колквит, пройдя сквозь интервалы этой поредевшей части конфедератов, приказал своим людям открыть огонь, который в очередной раз поверг людей Френча в шок. Потеряв охоту контратаковать, они повернули и отошли на свои прежние позиции.
В то же время правофланговые бригады Ремсьюра и Долса из третьей линии южан вышли на исходные позиции для атаки.
Долс, двигаясь со своей бригадой по оврагу, который охватывал высоту с юго-востока, взобрался на самое Чанселорсвиллское плато и оказался там на левом фланге дивизии Гейри и почти в тылу дивизии Уиппла. Конфедераты тут же открыли прицельный огонь, захватив северян врасплох. Сначала, когда первые залпы уложили на месте несколько взводов, федералы пришли в замешательство, но по количеству вспышек от ружейных выстрелов они быстро поняли, что им противостоят малочисленные силы. Гейри, сняв часть войск с другого участка, бросил их на фланг Долса, а с фронта южан атаковал «вечный» резерв Дэна Сиклса – бригада Уорда.
Положение южан, атакованных с разных сторон, стало крайне неуютным, и на помощь им бросилась бригада Каменной Стены во главе с Колстоном. Ворвавшись в траншеи противника между Ремсьюром и Долсом, она выбила из них северян и заставила их в сильном расстройстве отойти на сотню-другую ярдов. Казалось, что теперь-то оборона 3-го корпуса уж точно не выдержит и рухнет, как обветшалый сарай, но это была иллюзия. Федералы по-прежнему обладали численным перевесом и вскоре перешли в контратаку. Они сконцентрировали свои усилия на бригаде Колстона и выбили ее из траншей. Оставив там добрую половину своих людей, в том числе и самого Колстона, убитого вражеской пулей, бригада отошла к подножию высоты, и Ремсьюр с Долсом последовали за ней. Штурм высот Фейрвью южанами был отбит. Стюарт, у которого больше не оставалось свежих резервов, решил дать своей измученной пехоте короткую передышку, и бой продолжала только одна артиллерия. С господствующих высот она по-прежнему утюжила линию Сиклса и Чанселорсвиллское плато, заглушая ответный огонь федеральных батарей.
Нарушить это равновесие могли только свежие резервы, введенные в дело. Но конфедератам уже нечего было посылать в бой. У них не осталось ни одного полка, ни одной роты, ни одного взвода, которые еще не участвовали в битве. У Хукера, напротив, хватало свежих частей: целых два федеральных корпуса (1-й и 5-й) стояли на своих позициях, готовые нанести решающий удар и склонить чашу весов в сторону Севера. Но Драчливый Джо настолько упал духом, что и слышать не хотел о контратаке. Все его надежды были связаны с Седжвиком, и, пока тот не подошел ему на выручку, части правого крыла должны были просто держать оборону. Хукер даже соглашался отвести их, если понадобится, еще ближе к реке. И в то время как корпуса Сиклса, Слокама и Коуча, истекая кровью, сдерживали натиск врага, за их спиной закладывалась новая линия укреплений, представлявшая собой цепь траншей и редутов.