Гейбл решил попытать счастья в Нью-Йорке, но работы там для него не было. В течение года Кларк вместе с отцом добывал нефть в Оклахоме, после чего переехал в Канзас-Сити. В местном театре Гейбл получил место рабочего сцены с обещанием в дальнейшем характерных ролей. Почти два года труппа гастролировала по городкам Среднего Запада. В 1922 году театр «сел на мель». Кларк несколько месяцев трудился на пилораме, затем устроился продавцом мужских воротничков в универмаг. В Портленде он играл в любительской актерской труппе «Красный фонарь», затем гастролировал вместе с «Астория плейерс».
Удача улыбнулась ему в лице 36-летней Джозефины Диллон, открывшей в Портленде Камерный театр. Она научила его азам актерского мастерства. Прежде всего взялась за его произношение: речь Кларка состояла из смеси всевозможных диалектов, а голос был высоким и пронзительным, что часто встречается у крупных мужчин.
Летом 1924 года Джозефина решила вернуться в Лос-Анджелес. Кларк последовал за ней. 13 декабря они поженились.
Гейбл получил крошечную роль в фильме «Белый человек», где играли Элис Джонс и Кеннет Гарланд. Потом он снимался в массовках за пять долларов в смену.
Летом 1926 года Лайонел Барримор поставил в Лос-Анджелесе спектакль «Копперхед». Кларк сыграл в нем роль юноши. Когда представления закончились, он пытался вновь получить работу в кино, но неудачно. Зато его заметил администратор театра из Хьюстона.
Театр «Джин Льюис Плейерс» ставил по два спектакля в неделю. Это было суровое испытание для Кларка, которому приходилось учить новые тексты, но его выручала природная настойчивость. Вскоре он уже исполнял главные роли, и его жалованье поднялось до семидесяти пяти долларов в неделю.
После закрытия театрального сезона группа актеров решила направиться в Нью-Йорк. Артур Хопкинс набирал труппу для спектакля «Механический» по новой пьесе Софи Тредвелл и предложил Кларку роль в паре с Зитой Джоухан. Премьера «Механического» состоялась в театре «Плимут». Все рецензии были одобрительными. Это приободрило Гейбла.
А в марте 1929 года Кларк и Джозефина расстались, правда, как хорошие друзья.
Вскоре он получил приглашение из Калифорнии сыграть убийцу Мирса в спектакле «Последняя миля». Появление на сцене в Лос-Анджелесе стало для Кларка на редкость успешным. Он внес в роль мотив жестокости власти, против которой боролся его герой, гангстер Мирс, приговоренный к смертной казни.
Режиссер Кларенс Браун решил, что Кларк вполне подходит на роль гангстера в фильме «Свободная душа» в паре с Нормой Ширер, заметив при этом: «Нужно что-то сделать с этими оттопыренными ушами». И велел гримеру приклеить их липкой лентой. Несколько минут Кларк снимался в таком виде, а затем оторвал ленту со словами: «Либо вы принимаете меня таким, каков я есть, либо я возвращаюсь в Нью-Йорк». На этом манипуляции с его ушами закончились.
Когда в июне 1931 года картина вышла на экраны, Кларк за одну ночь приобрел сенсационную известность. Стали приходить тысячи восторженных писем. Кларк принес на экран новый тип грубой мужской сексапильности.
19 июня 1931 года он женился на 43-летней Рие Фрэнклин Прентис Лукас Лэнгхем – богатой светской женщине из Техаса, вдове нефтяного миллионера. Она была верным другом и прочной опорой в трудные времена.
Вскоре Кларка известили о его участии в фильме «Сюзанна Ленокс» с Гретой Гарбо. Совместная работа с великой актрисой заметно способствовала его карьере и росту популярности, и Кларк поспешил воспользоваться предложением сыграть роль политика в фильме «Одержимая» еще с одной «звездой» – Джоан Кроуфорд. Норма Ширер, «королева» студии «Метро», выбрала Кларка в качестве партнера на фильм «Странная интерлюдия». Он играл нехарактерную для себя роль несчастного любовника и не снискал успеха, зато в любовной драме «Красная пыль» Гейбл сыграл в паре с Джин Харлоу уверенного в своей мужской силе героя. Фильм имел огромный кассовый успех. «Красная пыль» явилась первой картиной Кларка с режиссером Виктором Флемингом, ставшим его близким другом.
В 1932 году студия «Парамаунт» возлагала большие надежды на многообещающую историю под названием «Не ее мужчина» – комедию о взаимоотношениях очаровательного мошенника и библиотекарши, которую должна была играть Кэрол Ломбард. Администрация «Парамаунта» рассматривала Кларка как типаж для ролей «убийц». Но в конце концов было принято решение договориться с «МГМ» о приглашении Гейбла. «Кларк и Кэрол сразу поладили и составили прекрасную комедийную пару, – вспоминал Рагглс. – На меня производило большое впечатление возросшее профессиональное мастерство Кларка».