О том же свидетельствуют и Евсевий Кесарийский, и Блаженный Иероним, а мученик Антонин в 570 году писал: «Недалеко от Вифлеема в подгородной части лежит Давид телесными останками и Соломон, сын его, в двух памятниках». Таким образом, свидетельства очевидцев указывают, что в первые века христианства гробница царя Давида была известна в Вифлееме.
Совершенно естественно, что в первые годы своего царствования Давид, по обычаю предков, приготовил для себя гробницу рядом с гробницами своих вифлеемских предков. Был ли он впоследствии погребен в ней или нет, гробница все равно носила его имя и никому другому не могла принадлежать. По обычаям древних евреев, все, что так или иначе предназначалось для царя, не могло переходить в пользование другим: «Никто не дерзнет сесть на лошадь, которая принадлежала царю, на стул или ложе, предназначавшиеся для царя». Отсюда и произошел обычай уничтожать все, что оставалось после царей, чтобы не ввести кого-нибудь в искушение пользоваться царскими вещами. И уж конечно место вечного покоя и саркофаг царя были неприкосновенной святыней и для современников, и для потомков.
Однако на Сионскую гору в Иерусалиме помещает гробницу царя Давида и апостол Петр. Об этом во время памятного собрания апостолов святой Петр сказал: «Мужи братия! да будет позволено с дерзновением сказать вам о праотце Давиде, что он и умер и погребен, и гроб его у нас до сего дня» (Деян. 2, 29). А.Олесницкий предполагает, что слова эти служат не доказательством существования гроба царя Давида в Иерусалиме, а говорят только об ее известности в народе.
Соломон, сын царя Давида, вырос уже в Иерусалиме и имел мало общего с Вифлеемом, поэтому можно считать, что свою гробницу он устроил отдельно от Давидовой и причем именно в иерусалимском некрополе. Он погребен отдельно от других, может быть, даже в том самом памятнике, который пользовался большим уважением у евреев и носил имя Соломонова. Уже само название этого памятника говорит о том, что гробницы Давида в нем не было, так как если бы его гробница существовала в Иерусалиме, памятник, скорее, назывался бы Давидовым, а не Соломоновым.
В 614 году, во время разрушения Иерусалима персами, Сионской церкви был нанесен большой ущерб, но завоеватели не разрушили ее до основания, и впоследствии патриарх Модест быстро восстановил ее. Но потом Иерусалим был завоеван мусульманами, которые в 996 году разрушили Святой Сион — на этот раз уже до основания. Однако они сохранили нижнюю часть горницы Тайной вечери, где, как они считали, находилось надгробие царя Давида, так как еще в IX веке восприняли культ могилы Неби Дауда — пророка Давида (так царя Давида называет Коран). Мусульмане содержали ее в большом уважении и читали здесь псалмы Давидовы, переведенные на арабский язык.
После взятия Иерусалима крестоносцами в 1099 году церковь на Сионской горе была вновь восстановлена — почти в прежних своих размерах. Ее новым центром стало место Успения Пресвятой Богородицы, которое оформили наподобие Гроба Господня — в виде небольшого внутреннего строения, представлявшего собой куб с куполом на невысоком барабане. Храм стал именоваться церковью Сионской Богоматери, и о могиле царя Давида в это время было забыто.
Захватив Иерусалим в 1187 году, султан Салах-ад-Дин не причинил никакого вреда христианским святыням, но в 1219 году египетский султан аль-Камиль (внук Салах-ад-Дина) во время сноса иерусалимских стен попутно разрушил и церковь Сионской Богоматери. Окончательно разрушили эти христианские святыни хорезмийцы, изгнавшие в 1244 году крестоносцев из Иерусалима. Правда, Орден Франциска Ассизского (правопреемник крестоносцев) в XIV веке попытался было восстановить контроль над святым христианским местом, и поначалу им даже сопутствовал успех. В 1335 году они овладели руинами Святого Сиона и основали на занятой территории монастырь, главной святыней которого стала возведенная заново капелла Тайной вечери. В 1424 году в ней вторично была «обнаружена» могила царя Давида. Однако эта находка, сделанная французами, обернулась для них неблагоприятным исходом. В 1427 году в борьбу за могилу царя Давида включились евреи, которые хотели сначала выкупить дорогую для них святыню, но монахи отказали им. Тогда иерусалимские раввины, чтобы добиться справедливости, обратились к местным властям. Но и французы не сидели сложа руки: они приобрели участок земли на месте центра Сионской церкви и восстановили капеллу Успения Пресвятой Богородицы. Однако после 1517 года, когда Иерусалим подпал под власть Османской империи, ситуация изменилась не в пользу монахов.