Однако далеко не все закрывали глаза на творимые в стране преступления.
Во второй половине 30-х гг. Сталин, чутко прислушивавшийся к настроениям партийных руководителей, уловил опасные симптомы неповиновения. В 1934 г. состоялся XVII съезд партии, на котором было официально объявлено о победе социализма в СССР. За бравурными речами и неслыханным славословием в адрес Сталина скрывалось недовольство, проявившееся в попытке сместить его с руководящего поста. По свидетельству Хрущева, несколько старых большевиков во главе с Шеболдаевым в перерыве между заседаниями предложили пост Генерального секретаря главе Ленинградской партийной организации Кирову. Киров отказался. Но когда начались выборы в ЦК, оказалось, что из 1225 делегатов 292 подали свои голоса против Сталина (официально было сообщено, что против Сталина — 3 голоса). Сталин не забыл этого ни Кирову, ни делегатам съезда. Считается, что именно тогда он принял решение провести в рядах партийных и советских руководителей грандиозную чистку.
На это же подвигали его и другие соображения. Профессиональные революционеры, совершавшие вместе с Лениным Октябрьский переворот и сделавшиеся во второй половине 30-х гг. высокими начальниками, не подходили для тех замыслов, которые Сталин намеревался осуществить в ближайшем будущем. Они очень мало понимали в технике, экономике и современной военной науке. Достаточно сказать, что в 1937 г. 70 % секретарей обкомов и 80 % секретарей райкомов не имели даже среднего образования. За двадцать лет власти они сильно постарели, обросли семьями, родственниками, любовницами и не годились для нового революционного броска, намеченного Сталиным. Эта правящая верхушка, проявившая желание «отдохнуть», должна была сойти с исторической сцены и освободить место для нового поколения.
Начало репрессиям положило убийство Кирова. 1 декабря 1934 г. его прямо в Смольном застрелил молодой партиец Леонид Николаев. В обстоятельствах этой темной истории очень много загадок. Но даже при поверхностном знакомстве с ней невольно напрашивается мысль, что если НКВД и не организовало прямо это покушение, то оно сделало все, чтобы направить Николаева. Смерть Кирова и поднятая вокруг нее газетная шумиха дали Сталину удобный повод для расправы со своими бывшими врагами. В день покушения он лично продиктовал постановление ЦИК СССР «О порядке ведения дел о террористических актах против работников Советской власти». Сроки следствия по подобным делам отныне не должны были превышать десяти дней, дела рассматривались без прокурора и адвоката, подача кассационных жалоб и ходатайств о помиловании не допускалась. Приговор к высшей мере должен был приводиться в исполнение в течение суток. Введение в действие этого закона открыло путь неслыханному со времен средневековья правовому произволу. Позже (в марте 1935 г.) был принят «Закон о наказании членов семей изменников Родины», по которому всех ближайших родственников «врагов народа» должны были выселять в отдаленные районы страны, даже в том случае, когда они не имели никакого отношения к совершенному преступлению. Затем (в апреле 1935 г.) был принят указ ЦИК СССР, разрешавший привлекать к уголовной ответственности детей 12-летнего возраста. При этом на них распространялись все предусмотренные Уголовным кодексом наказания, вплоть до расстрела. Одновременно были ужесточены меры воздействия на арестованных. В обкомы была разослана секретная телеграмма за подписью Сталина: «ЦК ВКП(б) разъясняет, что применение физического воздействия в практику НКВД допущено с 1937 г. с разрешения ЦК… Известно, что все буржуазные разведки применяют физическое воздействие в отношении представителей пролетариата. Спрашивается: почему социалистическая разведка должна быть гуманнее в отношении заклятых врагов рабочего класса?»
Где находятся эти «заклятые враги», Сталин, похоже, знал с самого начала.
Он прямо указывал чекистам: «Ищите убийц среди зиновьевцев». Но нарком внутренних дел Ягода испытывал слишком большой пиетет по отношению к «ленинской гвардии» и действовал нерешительно. Сталин подключил к нему своего ставленника Николая Ежова. Этот грубый, ограниченный и совершенно ничтожный человек как нельзя более подходил на задуманную для него роль: сначала палача, а потом козла отпущения. Руководимое таким образом НКВД вскоре напало на след заговорщиков. После нескольких допросов Николаев признал, что «убил Кирова по заданию троцкистко-зиновьевской группы». Вслед за тем его расстреляли. 16 декабря Зиновьев и Каменев были арестованы в Москве. В январе 1935 г. они уже признались, что тайный зиновьевский центр существовал на самом деле. На суде Зиновьев получил десять, а Каменев — пять лет тюрьмы. Всю зиму и весну 1935 г. шли массовые аресты их сторонников. В июне того же года было раскручено «кремлевское дело», по которому прошла волна новых арестов — 110 человек были осуждены на различные сроки. В 1936 г. на закрытом совещании верхушки НКВД было объявлено, что раскрыт гигантский заговор, во главе которого стоят Троцкий, Каменев и Зиновьев. В Москву из ссылок и тюрем срочно доставили несколько сотен бывших зиновьевцев. Все они попали в застенках НКВД в жесткую «обработку». Каменев и Зиновьев вскоре дали нужные Сталину показания, признав, что стояли во главе контрреволюционного центра. В августе вместе с 14 другими обвиняемыми они были приговорены к расстрелу и казнены. Однако перед смертью зиновьевцы успели указать на своих «сообщников» — бывших лидеров «левых», в том числе Радека, Серебрякова, Пятакова и др.