Но Драчливый Джо уже не мог разглядеть этих очевидных преимуществ своего положения и предпочел держаться оборонительной тактики. Имея под рукой часть своей армии, он решил подождать, пока оставшаяся часть (левое крыло Седжвика) не придет и не спасет его от наступающего неприятеля, и направил командиру левого крыла соответствующий приказ.
Конфедераты между тем совсем не были деморализованы ранением Джексона Каменной Стены и по-прежнему горели желанием завершить начатое. Получив известие о нелепом ночном инциденте, генерал Ли, конечно, огорчился, но не потерял присутствия духа. Он мгновенно принял правильное решение, назначив на место раненого героя лихого кавалериста Джеба Стюарта. Этот генерал был единственным из военных вождей Северовирджинской армии (не считая, конечно, самого Ли), пользовавшимся слепой верой и любовью солдат-конфедератов. Его назначение на пост командира 2-го корпуса до известной степени сглаживало моральный шок от потери несокрушимого Джексона.
Лихому Джебу было не привыкать брать ответственность на себя. Едва на востоке забрезжило первое сияние зари, как войска 2-го корпуса развернулись в боевой порядок.
Момент для начала атаки был выбран Стюартом на редкость удачно. Хукер, еще раз изучивший за ночь карту, хотя к 3 мая для него там уже не оставалось белых пятен, почему-то решил, что позиции 3-го и 12-го корпусов слишком выдвинуты вперед и легко подвержены атакам. Выбрав для них новые оборонительные линии на Чанселорсвиллском плато, он приказал им очистить Хейзел Гроув и отступить на восток и северо-восток.
Когда пехота 2-го корпуса конфедератов бросилась вперед, это распоряжение Хукера как раз находилось в процессе выполнения: 3-й корпус уже почти покинул прежние позиции, оставив там для прикрытия бригаду Грэхема. Генерал Арчер, шедший со своей бригадой прямо на этот участок, отдал приказ атаковать.
Но он опоздал: его солдаты сами двинулись вперед, останавливаясь только для того, чтобы угостить янки свинцом. Бригада Грэхема была бы немедленно сметена этой яростной атакой, если бы ему на помощь не подоспела бригада Уорда. Вместе они сдержали первый натиск конфедератов и стали постепенно, шаг за шагом, подаваться назад к Чанселорсвиллско-му плато. Люди Арчера и остальные бригады первой линии азартно преследовали отступающего неприятеля, давая по нему один залп за другим, но федералам удалось сохранить порядок и благополучно развернуться на новых позициях. Когда же Арчер попытался штурмовать заодно и их, то был с потерями отброшен.
Тем не менее, овладев хребтом Хейзел Гроув, южане получили важное преимущество. С его вершины Чанселорсвиллское плато и столпившиеся на нем войска были видны как на ладони. Лучшую позицию для артиллерии было трудно себе представить, и Стюарт, очень довольный достигнутыми успехами, по достоинству оценил подарок, сделанный ему Хукером. Громко напевая на мотив популярной песенки собственные слова: «Старый Джо Хукер, убирайся из Глуши», он велел втащить на гребень Хейзел Гроув 30 орудий и открыть огонь.
Таким образом, вся линия высот к западу от Чанселорсвилла почти без боя перешла в руки конфедератов, и теперь им оставалось сделать последний бросок, чтобы оказаться в самом сердце и Глуши, и федеральных позиций. И они не стали тратить времени попусту: их артиллерия открыла убийственный огонь по новым позициям врага, а затем вперед бросилась пехота.
В центре и на левом фланге южане поначалу не встретили особых затруднений. Стремительной атакой они ворвались в засеки и даже смогли закрепиться в них на короткое время. Атака бригад Мак-Гауэна и Лейна не была столь удачной. Сперва они попали под анфиладный огонь справа, заставивший их остановиться. Сиклс, воспользовавшийся этой заминкой, бросил им во фланг бригаду Уорда, и конфедераты были оттеснены на исходные позиции.
Отбросив врага, атаковавшего их южнее дороги, северяне сконцентрировали усилия на тех, что рвались в засеки на севере. Стоявшим здесь федеральным частям пришлось несладко. Генерал Хейс был убит в ожесточенной схватке, а его бригада уже была готова обратиться в бегство. Но тут им на помощь со своей 2-й бригадой пришел от дома Чанселора генерал Френч. Удар, который он нанес на левом фланге конфедератов, вынудил их торопливо податься назад, и вся дивизия Хита отступила на первоначальные рубежи в некотором беспорядке и замешательстве. Однако у Стюарта еще оставалась свежая вторая линия, и он немедленно двинул ее в дело. К северу от дороги бригады Николса и Иверсона неожиданно вышли во фланг перешедшему в наступление Френчу и открыли по нему бешеный огонь. Несколько залпов привели эту бригаду северян в совершенное расстройство, и в свою очередь она поспешно ретировалась к линии засек.