Voor 14 januari 1725, de tweede zondag na Epifanie (Driekoningen), schreef Bach de cantate Ach Gott, wie manches Herzeleid, gebaseerd op het gelijknamige kerklied van Martin Moller uit 1583. Mollers lied van achttien coupletten is zelf weer een bewerking van de voorreformatorische latijnse hymne Jesu dulcis memoria. Het lied werd in Bachs tijd gezongen op één van de twee melodieën die gebruikt werden voor O Jesu Christ, meins Lebens Licht. Gecomponeerd in zijn tweede seizoen in Leipzig behoort BWV 3 tot Bachs in juni 1724 begonnen jaargang koraalcantates: tekst en muziek van het eerste en laatste koraalcouplet liggen ten grondslag aan resp. een groot openingskoor en een kort slotkoraal, terwijl een tekstdichter, wellicht de emeritus conrector van de Thomasschule Andreas Stübel, de tussenliggende coupletten parafraseerde tot teksten voor twee recitatief/aria-paren. Alleen in deel (2) combineert hij zijn vrije dichtwerk met de ongewijzigde tekst van het tweede couplet.
Wanneer Bach twee jaar later de cantate BWV 58 componeert, krijgt deze dezelfde naam omdat aan het openingskoor hetzelfde koraalvers ten grondslag ligt, maar is dit geen koraalcantate omdat de rest van de tekst niet op het koraal is gebaseerd.