Gatan hörde tidigare till Fortunagatan men delades sedan av Odengatan där genomfartstrafik inte är tillåten. Man beslöt då döpa om den norra delen av gatan. På en karta över Jönköping utgiven år 1882 finns redovisat en gata med namnet Rökaregränd. Gatan (Rökaregränd) utgör idag kvartersmark i kvarteret Droskan, vilket angränsar till Rökerigränd. Enligt uppgift har ett rökeri varit beläget vid Rökaregränd, som kallades Röken.
På Kålgårdsgatan 18 låg en mangel, Rökenks mangel, där man dessutom utförde rökning av charkuterivaror. Denna kombinerade mangel/rökeri har gett namn till gatan.
Källor: BN 1990-05-30. Kungliga ortnamnskommissionens utredning angående ortnamnsforskning i Jönköping år 1942. Jönköpings Posten 1952