L'Associazione Sportiva San Crispino venne fondata nel 1947 e per una decina d'anni rimase ai vertici del calcio dilettantistico marchigiano sino al campionato di Prima Categoria 1959-1960 dove i bianco-azzurri vincono il proprio girone ma vengono sconfitti nello spareggio decisivo dal Falco Acqualagna per poi essere ripescati in quarta serie, tutto ciò si traduceva nell'approdo del San Crispino in Serie D.
Il San Crispino rimane nel campionato di Serie D per otto stagioni, e al termine di questo periodo si aprì una crisi che culminò con la sparizione della squadra dalle categorie di quegli anni, sino al cambio di denominazione in Porto Sant'Elpidio Calcio che avvenne a fine anni '70.
Con l'avvento della nuova società del presidentissimo Guido Lattanzi i bianco-azzurri conoscono il periodo calcisticamente più roseo della loro storia: nel 1981 c'è il ritorno nel campionato Interregionale in cui il Porto Sant'Elpidio rimarrà per otto stagioni consecutive sfiorando la promozione nei professionisti nel 1983-1984 dove si classificò secondo a due punti dalla Fermana.
Negli anni '90 e nei primi due decenni del nuovo millennio il Porto fa la spola tra il campionato di Eccellenza e quello di Promozione.
Nella stagione 2018-2019 si classifica secondo nel campionato di Eccellenza. Vinti i playoff regionali contro il Fabriano Cerreto, i biancazzurri riescono a imporsi anche in quelli nazionali dove sconfiggono gli abruzzesi della Torrese e il più blasonato Poggibonsi, ritrovando così la Serie D dopo 30 anni di assenza. La permanenza nella massima serie dilettantistica dura tuttavia solamente due stagioni.
I colori del Porto Sant'Elpidio sono il bianco e l'azzurro, solitamente divisi in strisce verticali. In passato, ai tempi della denominazione San Crispino, la prima maglia era blucerchiata, identica a quella della Sampdoria, con pantaloncini bianchi. La seconda maglia è quasi interamente nera con risvolti bianchi. In caso di necessità , la squadra disponde di una terza divisa quasi interamente bianca ma con risvolti neri.