Fudge’i päritolu on ebaselge, kuid fudge’i ajalugu võib jälgida vähemalt aastani 1886 CE. Fudge’i täpne päritolu ja leiutaja on endiselt vaieldav, kuid mõned eksperdid usuvad, et sõna “fudge” kasutati esmakordselt rikutud karamellipartii kohta, mis kutsus esile hüüatuse “Oh fudge!” Enamik toiduajaloolasi usub, et fudge, nagu see tänapäeval eksisteerib, on Ameerika leiutis.
Fudge on kristalne kondiitritoode. Erinevalt paljudest teistest kommidest, nagu taffy ja karamellid, mis loobuvad kristalliseerumisest, on kristallide moodustumine fudge’i loomiseks vajalik. See protsess loob kommid, mis on kõvad, kuid siledad, kuna kristallid on nii väikesed, et need ei maitse ega tunne teralist. Suhkrusegu, mis peab sisaldama suhkrut, võid ja piima, tuleb korralikult ette valmistada ja jahutada, et tekiks täpselt paraja suurusega suhkrukristallid. Kui protsessi ei teostata õigesti, tekivad kristallid kas liiga vara ja muutuvad liiga suureks või ei teki üldse, mille tulemuseks on karamelliga sarnane komm.
Fudge’i ajalugu võib olla enne USA asutamist ja eksperdid toovad kiiresti välja sarnasused fudge’i ja tahvelarvuti, Šoti maiustuse vahel. Tahvelarvutit mainitakse esmakordselt teoses The Household Book of Lady Grisell Baillie, mis on kirjutatud aastatel 1692–1733 e.m.a. Tableti valmistamise protsess algab samamoodi nagu fudge – keetes suhkrut, piima ja võid, kuni need jõuavad pehme palli faasi temperatuuril 235–240 °F (113–116 °C), mille järel segu eemaldatakse kuumutada ja lasta jahtuda. Kristallisatsioon toimub tabletis, kuid moodustuvad suured kristallid, mis annavad kommidele teralise ja rabeda tekstuuri, mis erineb üsna pehmest ja siledast fudge tekstuurist.
Emelyn Battersby Hartridge documents the first sale of fudge, writing a letter in 1886 stating that a schoolmate’s cousin had sold fudge for 40 cents per pound in Baltimore. In 1888, Ms. Hartridge, still attending Vassar College in Poughkeepsie, New York, wrote that she made as much as 30 pounds of fudge for the Senior auction. Fudge caught on quickly at Vassar and, before long, recipes for the confection began popping up at other women’s colleges. Smith and Wellesley colleges adapted the so-called original recipe into their own versions.
Vassari retsept nõudis valget suhkrut, koort, magustamata šokolaadi ja võid. Wellesley College’i looming muutis algset retsepti vaid veidi, lisades vahukommi, mis hoiab fudge’i jahtumise ajal kokku kukkumast. Smith College’i retsept oli esimene, mis erines originaalist, lisades täiendavat võid koos pruuni ja valge suhkru, melassi ja vaniljega. Kõik need retseptid on kurikuulsalt õrnad. Fudge’i ajalugu muutus igaveseks, kui lollikindlates retseptides hakati esmakordselt kasutama maisisiirupit, mis aeglustab kristallide moodustumist.