Лишь в 11 часов утра Седжвик поддался на уговоры Уоррена и решился предпринять штурм. Он пошел на этот шаг с видимой неохотой и позже, словно оправдываясь, написал в своем рапорте: «Не оставалось ничего другого, как взять укрепления прямой атакой».
Когда построенная в боевой порядок пехота северян двинулась вперед, артиллерия конфедератов принялась от души поливать их картечью. Эрли рассчитывал, что канонада задержит атакующих и даст ему возможность привести на позиции бригады Хейса и Уилкокса, но он ошибся. Огонь орудий не смог остановить федералов, и они стремительно приближались к злополучной каменной стене. Однако там, где был бессилен бог войны, в дело вступала царица полей. За стеной на старых позициях находились в тот момент два Миссисипских полка, и, подпустив противника на 400 ярдов, они открыли необычайно меткий беглый огонь. Головы обеих колонн были скошены, как сорная трава, и северяне в замешательстве отступили в укрытие. Там они наскоро перегруппировали свои расстроенные ряды и снова бросились вперед. На сей раз им почти удалось ворваться в траншеи противника, но беспощадные залпы миссисипцев проделали в их шеренгах такие огромные бреши, что им опять пришлось скатиться вниз по склону высот.
Казалось, что фредериксбергская история повторяется в несколько меньшем масштабе, и, быть может, у засевших за стеной конфедератов возникло чувство дежа вю. Седжвик тоже испытывал схожие ощущения и приказал своим штурмовым колоннам отходить. Но полковники Джонс и Спир придерживались прямо противоположной точки зрения и на свой страх и риск решили продолжить атаки. После краткого отдыха они лично повели людей на третий, заключительный штурм каменной стены. Их опять ожидал смертельный винтовочный огонь людей Берксдейла, и оба командира поплатились за свою храбрость и безрассудство: Спир был убит, а Джонс тяжело ранен. Но их солдаты, уже не видя ничего, кроме вражеских позиций, и ступая по трупам своих товарищей и командиров, только ускорили шаг и ворвались наконец в траншеи южан. Там произошла короткая рукопашная схватка, в которой миссисипцы штыками и прикладами пытались согнать противника с высоты. Но на каждого из них приходилось по крайней мере по три федерала, и численное превосходство быстро сделало свое дело. Южане отступили, и многострадальная каменная стена досталась наконец северянам.
Тогда, увидев, что третья атака штурмовых колонн увенчалась успехом, полковник Бернхем двинул вперед и свою боевую линию. Уже не встречая сопротивления, он поднялся на гребень высот Мари и водрузил там флаг Соединенных Штатов.
Эрли пришлось отдать распоряжение об общем отступлении. Все его части в полном порядке, без малейшего признака паники покинули окрестности Фредериксберга и двинулись на соединение с армией. К дивизии не примкнула лишь бригада Уилкокса, который решил занять фланговую позицию к северу от дороги на Чанселорсвилл и потревожить оттуда левое крыло федералов. С этой целью он направил свою бригаду к броду Бенкс и расположил ее в районе церкви Салем Черч.
Когда высоты Мари были наконец взяты северянами, часы на башне фредериксбергского собора еще не пробили и полудня. День только начинался, и у 6-го корпуса Потомакской армии было по крайней мере часов десять, чтобы благополучно соединиться с Хукером. Однако методичность Седжвика вновь оказала ему дурную услугу: он непременно хотел, чтобы впереди шла именно дивизия Брукса, и на ее переброску были затрачены еще три драгоценных часа. Лишь около трех пополудни 6-й корпус покинул окрестности полуразрушенного Фредериксберга и в соответствии с приказом Хукера выступил на Чанселорсвилл.
Меж тем Уилкокс, не пожелавший уходить, не хлопнув на прощание дверью, уже поджидал северян у Салем Черч. Позиция бригады была довольно сильной, и Уилкокс мог рассчитывать если не на отражение атаки всего 6-го корпуса, то хотя бы на то, чтобы продержаться до подхода подкреплений от генерала Ли.
Последний уже получил к тому времени сообщение об успехах Седжвика и принял эту новость как всегда невозмутимо, спрятав разочарование под маской своего обычного величавого спокойствия. Отложив нанесение решительного удара по деморализованному Хукеру, Ли переключил свое внимание на угрожавший ему с тыла 6-й корпус. Он верно рассудил, что после кровопролитного утреннего боя враг вряд ли осмелится контратаковать, и, ничем особенно не рискуя, направил навстречу Седжвику дивизию Мак-Лоуза.