Но датское господство на Тоомпеа длилось недолго. Уже в 1227 году власть в северной Эстляндии захватил Орден меченосцев, созданный в 1202 году в Риге специально для завоевания Прибалтики. Орден сумел продержаться на Вышгороде более 10 лет, и в эти годы известковое плато было разделено на Большую и Малую крепости. Благодаря действиям магистра Ордена рыцари-меченосцы возвели из известняка Малый замок с достаточно мощными стенами, который от остальной части Вышгорода был отделен сухими рвами. В «Хронике Хермана фон Вартберга» сказано, что Малый замок был хорошо укреплен и башнями, однако последние археологические раскопки не подтверждают существование этих башен.
Малая крепость занимала южную часть плато и служила как бы для защиты Большой крепости. В плане она представляла собой правильный прямоугольник, окруженный крепостной стеной. Строительство такого замка требовало не очень больших средств и относительно мало времени. С севера и востока новую крепость защищал широкий ров, вырубленный в известняке, а с запада — естественный обрыв.
В 1229 году на Вышгороде стали возводить Домский собор монахи-доминиканцы, основавшие здесь свой монастырь. Однако основанная ими церковь просуществовала недолго: в конце XIII века ее перестроили, сделав более просторной. До настоящего времени от нее дошла до нас только алтарная часть.
Рыцари-меченосцы недолго господствовали в Таллине. По требованию римского папы они вынуждены были в 1238 году уступить северную Эстляндию и Таллин датчанам, которые на этот раз воцарились здесь более чем на 100 лет. Они сразу же приступили к перестройке Малой крепости, которая становится резиденцией наместника датского короля. Сохранив внешние очертания крепости, датчане разделили ее внутреннее пространство поперечной стеной, протянувшейся с востока на запад. В юго-западном углу северной части они возвели внутреннюю крепость, в которой построили для королевского наместника так называемый Датский дворец с 4-угольной башней, впоследствии названной Пороховой. Остальная часть Тоомпеа раздается датским феодалам для строительства жилых домов. Однако к началу XIV века нехватка земельных участков на Вышгороде заставила их заселять и Нижний город, с которым Тоомпеа соединялся улицами Пикк-Ялг (Длинная нога) и Люхике-Ялг (Малая нога). Первое время улица Пикк-Ялг не имела высокой каменной стены, и в зимнюю гололедицу и осеннюю слякоть эта дорого часто бывала опасной.
В таком виде крепость просуществовала до 1346 года, а потом датчане окончательно убедились, что не могут управлять своей эстонской колонией. Северную часть страны, в том числе и Таллин, они уступили Тевтонскому ордену, получив за это 19 000 серебряных марок (4443 кг серебра). Через год Тевтонский орден перепродал эту землю подвластному ему Ливонскому ордену — уже за 20 000 серебряных марок.
Новые хозяева все свое внимание сосредоточили на строительстве оборонительных сооружений. В Таллине с необыкновенной быстротой была возведена крепостная стена вокруг северной части города, до этого времени недостаточно защищенной. Крепости на Тоомпеа с их устаревшей фортификацией подверглись коренной перестройке, и главный замок теперь задумывался как конвентное здание. Этот своеобразный тип замка возник в XIII веке: с одной стороны — в соответствии с предписаниями внутреннего распорядка жизни Ордена, с другой — по примеру монастырских комплексов. Поэтому конвентный замок строился по общей схеме: это был замкнутый блок из четырех стоящих под прямым углом зданий, построенных внутри прежнего замка. Внутри располагался прямоугольный двор, соединявшийся с внешним миром через сильно укрепленные ворота. Четырехгранную привратную башню, сохранившуюся с датских времен, рыцари укрепили и надстроили. К северной стороне прежнего замка было пристроено второе крыло, в котором разместились зал заседаний орденского Капитула, капелла с высокими стрельчатыми окнами, спальни рыцарей и трапезная. Здание конвента было окружено рвом, который полностью изолировал замок от Большого Тоомпеа и восточного форбурга.
По углам южной крепостной стены рыцари возвели две особо мощные башни — «Длинный Герман» (в юго-западном углу) и «Стюр ден Керл» («Отражай врага») — в юго-восточном. При перестройке внешней стены около 1400 года (или чуть позже) в ее северо-западном углу была выстроена небольшая круглая башня «Пильстикер» («Точильщик стрел»).