В 1899—1900 г. Мак-Дугалл принимал участие в Кембриджской антропологической экспедиции в Австралию и на острова Торресо-ва пролива. В составе экспедиции он выполнял роль врача, а на островах проводил психологическую диагностику местных жителей. Вернувшись в Европу, он отправился в Геттингенский университет, где проходил стажировку у Г. Мюллера по проблеме цветового зрения. С 1901 г. он начал работать в физиологической лаборатории Университетского колледжа в Лондоне, в это же время выходят его первые работы, посвященные физиологии мозга. В этих ранних работах по психофизике и физиологии Мак-Дугалл возродил юн-говскую теорию зрительного восприятия и предложил решение проблемы психофизического дуализма в терминах теории поля, клеточных ансамблей и кибернетических понятий.
В 1904 г. У. Мак-Дугалл стал преподавателем в Оксфордском университете, где читал курс ментальной философии. В 1908 г. ученый издал книгу «Введение в социальную психологию», в которой сформулировал основные принципы социального поведения человека. В этой книге он предпринял попытку связать различные методы психологии с психологией индивидуальности. Чтобы объяснить причины поведения человека, он применил понятие об инстинкте. При этом свою инстинктивную психологию он противопоставил теориям научения, и в частности представлениям Дж. Уотсона об инстинктах: навык, по мнению Мак-Дугалла, сам по себе не является движущей силой поведения и не ориентирует его.
Под инстинктом он понимал прежде всего врожденное образование, обладающее побудительной и управляющей функциями и содержащее определенную последовательность, состоящую из процесса переработки информации, эмоционального возбуждения и готовности к моторным действиям. Таким образом, это предрасположение заставляет человека воспринимать что-либо, испытывая при этом импульс к действию. Для того чтобы обосновать энергетическую основу психических процессов, У. Мак-Дугалл ввел такое понятие, как «витальная энергия», которой от рождения наделено каждое органическое тело. Ученый считал, что не только «запасы» этой энергии, но и ее распределение, и пути ее «разрядки» предопределены и зависят от инстинктов. При взаимодействии индивидов в группе, по его мнению, их витальные энергии вступают во взаимодействие, образуя «душу группы».
По его мнению, инстинкты являются единственным существующим двигателем поступков человека, которые определяют его как существо социальное. Они являются детерминантами не только поведения человека, но и его сознания. Ни одно представление, ни одна мысль не может появиться без мотивирующего влияния инстинкта. Интерес, обусловленный врожденным инстинктивным влечением, находит свое проявление в навыке и обслуживается теми или иными механизмами поведения. Таким образом, по теории Мак-Дугалла, все, что происходит в области сознания, находится в прямой зависимости от этих бессознательных начал.
В своей работе У. Мак-Дугалл выделил 12 основных видов инстинктов: бегство или страх, неприятие, любознательность, агрессивность, самоуничижение (или смущение), самоутверждение, родительский инстинкт (одним из проявлений которого является нежность), инстинкт продолжения рода, пищевой, стадный инстинкты, а также инстинкты приобретательства и созидания.
Естественным выражением инстинктов, по мнению Мак-Дугалла, являются эмоции. Так, например, инстинкту агрессивности соответствуют такие эмоции, как ярость и гнев, а инстинкту бегства — чувство самосохранения. Инстинкт продолжения рода связан с женской робостью и ревностью, стадный инстинкт — с чувством принадлежности. На этих основных инстинктах основываются производные социальные (создание семьи, торговля), а также процессы (например война). Большое значение Мак-Дугалл придавал стадному инстинкту, удерживающему людей вместе, следствием его является происхождение городов, преимущественно коллективный характер труда и досуга. Так называемое эготическое чувство ученый считал наиболее важным, поскольку оно связано с инстинктом самоутверждения. Несколько эмоций могут суммироваться в более сложные чувства, это обусловлено опытом и научением при взаимодействии с определенными предметами и обстоятельствами. Что касается переживания счастья, то оно, по мнению Мак-Дугалла, обусловлено гармоничным согласованием всех чувств и действий.
В 1912 г. Мак-Дугалл издал книгу «Психология: изучение поведения», где отразил свою теорию инстинктов, эмоций и воли, которую он назвал гормической психологией (от греческого слова «гор-ме» — «стремление», «желание», .«порыв»). Он считал стремление к цели фундаментальным явлением, которое свойственно как животному, так и человеку, и трактовал «горме» как признак живого вообще.