La chiesetta sorge nelle campagne di Scossicci, qualche chilometro a nord del centro urbano, là dove leggenda vuole abbia sostato la Santa Casa di Loreto prima di raggiungere l’attuale collocazione.
Secondo la tradizione, caduta la Terra Santa in mano ai musulmani, la Casa sarebbe stata sollevata e trasportata miracolosamente dagli angeli, dapprima a Tersatto, in Illiria, poi sull’altra sponda del mare Adriatico, in località Scossicci.

Tale storia, ritenuta dagli studiosi una semplice leggenda legata a racconti popolari, trova tuttavia un fondo di verità nei documenti rinvenuti, nei quali si attesta che per iniziativa della famiglia bizantina Angeli, le sante pietre furono trasportate dove ancora oggi possono essere visitate. Qui venne costruita, nel XVI secolo, una piccola chiesa, molto semplice, dedicata alla Madonna di Loreto della quale resta un muro eretto in epoca non nota dai recanatesi a memoria della sosta temporanea della santa casa e rimaneggiato nel XVI secolo, di cui rimane traccia nella struttura muraria di levante. La struttura attuale risale alla prima metà del XX secolo, realizzata in mattoni rossi e dalle forme lineari, si mostra così nella sua semplicità come luogo sacro non solo ai fedeli, ma anche ai marinai, pescatori e viandanti poiché in origine venne posta una bandiera su di essa come punto di orientamento per quanti fossero in viaggio. Da tale consuetudine, la piccola chiesa prese il suo nome.