Оценив стратегическое положение этих мест, шведы заложили на небольшом островке замок и назвали его Выборгом (от шведского слова «Viborg», что буквально означает «поселение у залива»). Известный шведский стихотворный рыцарский роман «Хроника Эрика», составленный анонимным автором в XIV веке, так излагает факт захвата этой территории:
«…и построили они крепость в том краю, где кончается христианская земля и начинается земля языческая. Эта крепость называется Выборгом и находится на востоке. У русских стало таким образом меньше подвластной им земли, и беда оказалась у них у самых дверей…»
«Хроника Эрика» свидетельствует, что замок был сооружен в течение лета 1293 года: «В камень одели крепости стены». Осенью часть военного отряда отправилась домой, а в крепости остался суровый фогт (наместник) Сигурд Локке. Основанный шведами замок стал на завоеванной земле оплотом их власти и укрепленным опорным пунктом, откуда они неоднократно совершали набеги на русские земли. Укрепление шведов в Карелии побудило новгородцев дать им отпор. Они собрали свои рати и ранней весной 1294 года появились у Выборга — в виду строившегося укрепления. Но сил у новгородцев было меньше, и потому им пришлось отступить с большими потерями. В дальнейшем Великий Новгород не раз пытался сокрушить владычество шведов, 30 лет длились кровопролитные столкновения, однако вернуть утраченные земли новгородцам не удалось. Неудачей закончился и поход великого князя Юрия Даниловича летом 1322 года. Возглавляемый им отряд новгородцев пытался взять Выборг, били по замку из 6 стенобитных орудий, много шведов полегло и было взято в плен, но и на этот раз русским воинам пришлось отступить.
В августе 1323 года в только что отстроенном городе Орехове враждующие стороны заключили мир, по которому впервые официально устанавливалась граница между Новгородской республикой и Швецией. Русский текст договора была передан на хранение в Выборгский замок, но после смерти в 1325 году князя Юрия Даниловича шведы объявили, что потеряли текст. После этого они перестали соблюдать установленные договором границы и даже предприняли в 1337 году поход на Ладогу.
На долгие годы замок в Выборге стал главным форпостом шведов на востоке, одновременно являясь центром большого административного округа, в котором земельные владения жаловались какому-либо человеку на условии, если он будет исполнять военную или административную службу.
Главными обязанностями владельцев таких ленов было защищать край, содержать в замке войско и заботиться о его вооружении, продовольствии и т. д.
Под защитой замковых стен на острове стал зарождаться город, который через несколько десятилетий перешагнул через пролив и раскинулся на противоположном полуострове. В 1403 году шведский король Эрик ІІІ даровал Выборгу, игравшему уже значительную роль в торговле, официальные права города. Во главе Выборга стоял бургомистр, но решающая роль принадлежала коменданту замка, как правило, представителю одного из знатных шведских родов.
Положение на русско-шведской границе всегда было напряженным. Летом 1495 года войско шведов вторглось на русские земли, но встретило отпор и вынуждено было отступить в Выборг. Вскоре сюда подошли полки великого князя Ивана III, возглавляемые воеводой Василием Даниловичем Щеней и новгородцем Яковом Захарьивичем. Осада города длилась три месяца, а в последний день ноября русские пошли на приступ. Гарнизон Выборгской крепости готов был уже сдаться, но шведский военачальник приказал взорвать в подвалах башни Андерса (центральной башне в системе городских укреплений со стороны материка) пороховую смесь. Взрыв был таким сильным, что башня содрогнулась и обрушилась: штурмовые лестницы были отброшены и многие из осаждавших погибли… Случай этот в истории города получил название «Выборгский гром».
В конце XV века шведы стали строить крепостную стену вокруг города. В восточной части стена, пересекавшая полуостров с севера на юг, была очень сильно укреплена. Здесь находилось пять из десяти башен: Монастырская, Андреевская, башня Ратуши, башня Скотогонных ворот и пятая на берегу залива — у Рыночной площади.
С ростом города жители стали селиться уже и за крепостной стеной, так что со временем она утратила свое оборонительное значение и впоследствии была разобрана: до наших дней от нее сохранилась только башня Ратуши, которую переоборудовали под колокольню. Во второй половине XVI века встал вопрос о новых крепостных сооружениях, и в 1563 году началось возведение так называемой Рогатой крепости. Новые укрепления начинались от Круглой башни (с севера) и от Монастырских ворот (с юга): они имели форму большого 4-угольника и тянулись в юго-восточном направлении. По углам возвели выступавшие вперед мощные бастионы, или «рога», как их тогда называли: от них получила свое название и вся крепость. Со временем свое военное назначение потеряли и эти укрепления. В 1860-е годы валы Рогатой крепости были срыты, так как мешали новой планировке города. Оставлен был только бастион Панцерлакс (Щит залива) как исторический памятник.