Dans son testament de 542, saint Césaire, évêque d’Arles, mentionne une église dédiée à Notre Dame du Radeau. De dimensions modestes – on parle d’environ 15 mètres – elle était fermée devant par une grille de fer et sur les trois autres cotés par une muraille de pierre de taille. Elle occupait la partie centrale de la nef actuelle, touchant le chœur. On l’avait construite autour du puits que l’on peut toujours voir de nos jours car la tradition disait que les Saintes avaient élevé là un autel à la Sainte Vierge, le premier sur la terre des Gaules, et avaient vécu près de ce puits.
Au moment de l’édification du premier sanctuaire, le pays jouissait d’un temps de paix : on ne le fortifia donc pas. A partir du IX°, les incursions des sarrasins venus de la mer entrainent la construction d’une église forteresse qui englobe l’église primitive. Celle-ci gênait la circulation : pour aller de la nef au cœur, il fallait passer par des couloirs entre les murs des deux églises ! On la conserva cependant car on pensait qu’elle renfermait le corps des Saintes et parce que c’est là que les pèlerins les priaient et déposaient des couronnes. En 1448, le roi René ordonna les fouilles pour retrouver les corps des Saintes. On les retrouve ! Les reliques, placées dans les châsses sont élevées à la chapelle haute. Le premier sanctuaire est alors démoli.