Возвратившись на Дон и поселившись в станице Букановской, Шолохов в начале 1924 г. женился на Марии Петровне Громославской, дочери бывшего станичного атамана. Жизнь их в 20-е гг. была полна лишений. Литературные заработки Шолохова тогда были скудными. Поначалу семья не имела даже своего дома. Только осенью 1926 г. Шолохов купил в станице Вешенской маленький флигель. В 1928 г. он построил рядом с ним небольшой трехкомнатный дом. «И писалось трудно, — вспоминал потом Шолохов, — и жилось трудно, но в общем писалось». Двадцати лет от роду он взялся за большой роман о Гражданской войне, получивший потом название «Тихий Дон». «Начал я писать роман в 1925 г., - говорил он позже. — Причем первоначально я не мыслил так широко его развернуть. Привлекала задача показать казачество в революции. Начал с участия казаков в походе Корнилова на Петроград… Написал листов 5–6 печатных. Когда писал, почувствовал: что-то не то… бросил начатую работу. Стал думать о более широком романе. Когда план созрел, приступил к собиранию материала… «Тихий Дон», таким, каким он есть, я начал примерно с конца 1926 г.». Первая и вторая книги романа были напечатаны в журнале «Октябрь» за 1927–1928 гг. Успех их был ошеломляющим и совершенно неожиданным. Всех поражало удивительное совершенство и суровая, поистине сверхчеловеческая жизненная мудрость романа. Казалось невероятным, что молодой 23-летний писатель, выпустивший до этого всего два маленьких сборника рассказов и еще вчера числившийся в начинающих, не получивший сносного образования и живущий в глуши далеко от столицы, смог написать такой шедевр. Почти сразу возникли слухи, что рукопись «Тихого Дона» не принадлежит Шолохову, а украдена у убитого (расстрелянного) белого офицера. Среди возможных авторов называли казачьего писателя Крюкова. Официально дело о плагиате возникло в 1928 г. Специальная комиссия из писателей и литературных чиновников рассматривала черновики и рукописи Шолохова — авторство его было подтверждено. Однако обвинения в плагиате преследовали Шолохова и в дальнейшем, вплоть до самой смерти.
«Тихий Дон» произведение необычное. Всякий читатель, хорошо знакомый с литературой XIX — начала XX века, погружаясь в стихию этого романа, сразу чувствует его обособленность от каких бы то ни было литературных установок или условностей. Книга Шолохова (на что уже не раз обращали внимание) написана вопреки всем выработанным в предшествующую эпоху канонам построения художественного произведения. Прежде всего, общая философия и атмосфера, сама, если можно так выразиться, установка жизни у Шолохова принята в такой суровой форме, какой мы не находим ни у одного из предшествующих классиков мировой литературы. Законы гуманности, бывшие прежде мерилом всех поступков и действий героев, в мире его произведений не действуют, а человеческая личность, хотя и не отвергается совсем, не имеет никакой цены — через нее перешагивают без малейшего колебания.
Лишенные всяких общественных регуляторов герои «Тихого Дона» одновременно и беспредельно свободны и бесконечно беззащитны. Отсюда совершенно особое отношение Шолохова к человеку, его жизни и смерти. Наверно, никто до него так много и так часто не описывал смерть. Вообще, убийство, умирание на страницах «Тихого Дона» явление самое обычное, привычное, почти заурядное. Однако каждый раз у Шолохова находятся для них совершенно особенные, глубоко прочувствованные краски, отчего смерть в его описании всегда является как трагедия исключительной силы. Но трагедия только отдельной личности, а не всего мира в целом. Жестокая, антигуманная действительность принимается Шолоховым с холодной беспристрастностью, без всякого ужаса или отвращения, просто как неизбежная данность жизни.
Еще одно важное отличие «Тихого Дона» кроется в глубоко эпической форме подаче жизненного материала. По словам Брехта, это, в сущности, даже не роман, а необработанная материя. Как если бы вырезали из жизни большой пласт и положили перед читателем: разбирайся сам! Так, например, в «Тихом Доне» не соблюдается ни единства места, ни единства времени, ни (по существу) даже единства идеи. Конец и начало романа в какой-то мере условны — можно раздвинуть его границы в одну и другую сторону. Та же безмерность в подборе материала. Трагедия народа в революцию показана во многом через трагедию семьи Мелеховых. Но далеко не все события романа замыкаются на нее. Наряду с Григорием Мелеховым, которому уделено главное внимание автора, в романе живут и действуют другие герои, линии которых почти или совсем не связаны с линией Мелеховых. Есть множество вставных, прекрасно выписанных эпизодов, которые исчерпываются в самих себе, не имея связи ни с последующими, ни с предшествовавшими событиями (например, рассказ об изнасиловании Аксиньи ее отцом). Нет, в сущности, и самого сюжета. (По словам Грэма Грина, если он и есть, то «теряется в узорах ковра».) Другими словами, творение Шолохова представляет собой эпос в самом первозданном, почти мифологическом виде, являет собой тот первородный вид творчества, при котором сказитель, не имея никакой заданной цели (что-нибудь «восславить» или что-нибудь «обличить»), красочно и без разбора описывает все, что попадается ему на глаза. Способы организации материала невольно рождают ассоциации с «Илиадой» или «Махабхаратой».