Après ses premiers pas au CSL Aulnay, club de la région parisienne, d’où il est originaire, El Hadji Ba intègre le centre de formation du Havre à 14 ans. En compagnie d’un certain Paul Pogba, il brille dans les différentes catégories de jeunes et intègre logiquement le groupe professionnel à 19 ans. Il effectue ensuite le grand saut en Angleterre dès l’année suivante, à Sunderland. S’en suit plusieurs expériences, à Bastia, à Charlton (Angleterre), en Norvège et enfin à Sochaux, avant que le milieu de terrain ne s’engage avec les Sang et Or à l’été 2018.