Joseph Alleine nació en abril de 1634 en una familia numerosa puritana de Devizes, Inglaterra. Cuando tenía solo once años, murió su hermano mayor, que era ministro anglicano. Entonces Joseph, que ya tenía interés en la proclamación del Evangelio, rogó a su padre que le permitiera prepararse para el ministerio para poder terminar la obra de su hermano.
Después de un tiempo, pudo entrar en Lincoln College, Oxford, donde se graduó en 1653. Fue tutor en otra facultad de Oxford y dedicó mucho tiempo a predicar a los presos de la prisión municipal, a visitar a los enfermos, y a servir a los pobres. En 1655, comenzó un ministerio fructífero en Taunton. Richard Baxter describió su predicación y enseñanza como “muy conmovedora, convincente y poderosa”.
Se le expulsó del ministerio en 1662 porque se negó a aceptar los requisitos no bíblicos de la Ley de Uniformidad, que obligaba a todas las iglesias de Inglaterra a someterse a una cierta ortodoxia impuesta por la Iglesia Anglicana. Un año más tarde fue encarcelado por seguir predicando, pero aun así continuó su trabajo predicando a través de los barrotes de su celda. Fue liberado, pero un año más tarde fue a prisión de nuevo por la misma razón. No es sorprendente que en su época se le describiera como “infinita e insaciablemente ávido de conversiones de almas».
Después de otro año de maltratos en la prisión, se le permitió regresar a su casa en Tauton. Allí, tras nueve meses de enfermedad grave, murió agotado por el trabajo duro y el sufrimiento, a la edad de tan solo treinta y cuatro años.