В 1804 году Гофмана перевели в чине государственного советника в южнопрусское окружное управление в Варшаву. Здесь наконец-то он приблизился к тому миру, который его манил, став в 1805 году заведующим и цензором варшавского «Музыкального общества», где сам расписал концертный зал и к тому же был капельмейстером…
Гофман решает посвятить жизнь музыке. Для начала он меняет свое третье имя Вильгельм на Амадей, в честь Моцарта, сочиняет музыкальные произведения, концертирует… Он так увлекся, что даже не заметил, как начались наполеоновские войны. «Между тем война, — писал Герцен, — видя его невнимательность, решается сама посетить его в Варшаве; он бы и тут ее не заметил, но надо было на время прекратить концерты». Французская армия вошла в Варшаву, и Гофман лишился работы из-за роспуска прусских учреждений.
Началась полоса крайней нужды и разочарований, пришло горе — умерла единственная двухлетняя дочь Цецилия. Гофман уезжает в Берлин, но в разоренной Наполеоном Пруссии он никому не понадобился — ни как юрист, ни как музыкант и живописец. Чтобы поесть, он иногда продавал с себя вещи… Наконец в 1808 году его пригласили капельмейстером в Бамберг, и жизнь дала небольшую передышку. Гофман сочиняет музыку для спектаклей городского театра, приобретает влиятельных друзей (один из них, виноторговец Карл Кунц, будет первым издателем его книг и биографом), становится завсегдатаем популярного ресторанчика «У розы», куда жители приходят на него посмотреть не только как на местную знаменитость, но и большого оригинала. Иногда у Гофмана случались приступы необъяснимой ярости, он поднимался из-за стола и, стуча вилкой по тарелке, обращался к непонравившемуся посетителю: «Дражайший, вы, справа в углу, вы даже не представляете, как я вас почитаю, хоть вы и осел!»
Когда театр прогорел, и он опять остался без работы и в поношенном сюртуке, жители не отказали себе в удовольствии всячески подчеркнуть, что он всего лишь учитель музыки и рисовальщик декораций — так появилась на повестке дня гофмановская тема филистеров и энтузиастов.
В этот тяжелый период он написал свою первую новеллу «Кавалер Глюк» (1809) — исключительно ради заработка, о чем свидетельствует его записка к редактору «Всеобщей музыкальной газеты», в которой он предоставляет ему полную свободу сокращений и добавляет: «Я бесконечно далек от всякого писательского тщеславия». К тому времени Гофман был автором более тридцати музыкальных произведений и с музыкой связывал свои надежды на бессмертие. Однако жизнь за него сделала выбор между тремя искусствами.
«Кавалер Глюк» был опубликован и оказался компасом, который сразу же обозначил и литературное направление, и тематику, и художественный метод Гофмана. Новелла эта — своего рода мистификация с лукавым подзаголовком «Воспоминание 1809 года»: в модной кофейне Берлина автор разговорился со случайным человеком о том, как оскорбляют музыку плохим исполнением и непониманием в этом центре немецкой образованности. Незнакомец привел его в свое запущенное жилище и виртуозно сыграл увертюру из оперы Глюка «Армида» по нотным листам, на которых не было ни одного знака. На изумленный вопрос, кто он, исполнитель вышел и вскоре вернулся со свечой в руке, в богатом камзоле, при шпаге и торжественно отрекомендовался: «Я — кавалер Глюк!» Казалось бы, вполне вероятная история, произошедшая в известном для читателей месте, недалеко от Фридрихштрассе, если бы не маленькое «но»: Глюк умер двадцать с лишним лет назад.
Это мистическое переселение в реальный мир призраков, перенесение ночных кошмаров в дневную жизнь станет основным художественным приемом последующих произведений Гофмана и почти образом его жизни. Дойдет до того, что он сам начнет пугаться своих творческих грез и фантастических пришельцев, станет будить по ночам жену, которая будет усаживаться со своим вязанием рядом, как успокаивающий символ реального мира. Так написаны почти все его знаменитые вещи: новелла «Дон Жуан» (1813), повесть «Золотой горшок» (1814), сказка «Щелкунчик и мышиный король», роман «Эликсир дьявола» (1815–1816), повесть-сказка «Крошка Цахес по прозванию Циннобер» (1819), романы «Серапионовы братья» (1819–1821), «Житейские воззрения кота Мурра» (1820–1822), «Повелитель блох» (1822)…
Но вернемся в Бамберг, где у него вышел пока лишь «Кавалер Глюк».
Гофман подрабатывает уроками музыки, которые снова приводят его к буре страстей, на этот раз их вызвала его шестнадцатилетняя ученица Юлия Марк, родившаяся как раз в тот год, когда он вынужден был покинуть свою бедную Кору. Эта любовь оказалась безответной. Вскоре появился и жених — богатый купец из Гамбурга. 10 августа 1812 года Гофман записывает в дневнике: «Удар нанесен! Возлюбленная стала невестой этого проклятого осла-торгаша, и мне кажется, что вся моя музыкальная и поэтическая жизнь померкла, — необходимо принять решение, достойное человека, каким я себя считаю…»