Ulica ta biegła na terenie nasypowym, poniżej południowo-wschodniego odcinka muru obronnego, od Góry Gnojowej (od wylotu uliczki Dawnej) do ul. Mostowej. Na początku XIV wieku na ten teren wywożono odpadki ze Starego Miasta przez furtę Gnojną (Celną) i Rybaków u wylotu Kamiennych Schodków. W XV i XVI wieku teren ulicy zajmują ogrody i spichlerze.
W 1669 nazywano ulicę „między spichlerzami", od 1771 ustala się nazwa Brzozowa. Poprzednie nazwy to Podwalna, Między Spichlerzami, Od Gnojowej Góry, do Mostowej. Nazwa obecna pochodzi prawdopodobnie od brzóz rosnących na cmentarzu Szpitala św. Łazarza. Zabudowę po stronie zach., nieparzystej, tworzyły tylne oficyny i budynki gospodarcze domów parzystej strony ul. Jezuickiej (numery 4-8, hip. 70-73), kamienic rynkowych Strony Barssa (numery 2-26, hip. 57-69) oraz niektórych domów parzystej strony ul. Krzywe Koło.
Oficyny domów rynkowych w w. XVI-XVII wchłonęły i przekroczyły mur obronny, a później przekształcone były na odrębne kamienice ul. Brzozowej. Po jej stronie wschodniej, parzystej, najstarszymi budynkami były spichlerze, od w. XVIII powstawały tu dworki i budynki folwarczne, w zabudowie luźnej, później zastępowane też przez kamienice.
W XVI wieku na rogu Brzozowej i Mostowej znajdował się szpital św. Łazarza, a w pobliżu drewniany przytułek dla starców, który przetrwał aż do XIX wieku. Zaplecze innego szpitala - św. Jana znajdowało się na drugim końcu blisko Gnojowej Góry, która stanowiła miejskie wysypisko śmieci.
Lustracja Dawidsona z 1754 roku wymienia jakimi zawodami parali się mieszkańcy Brzozowej, możemy tu znaleźć pasztetnika, bawełniarza, łaziebnika i aż "trzy panny co z szafką siadają " (!). Jak się okazuje, panny te sprzedawały tzw. towar norymberski obejmujący galanterię, nici, koronki, wstążki, tasiemki itp.
Z dawnych spichlerzy do czasów II wojny światowej zachowały się trzy: pod nr 12 wybudowany przez Baltazara Strubicza, pod numerem 22 należący do rodziny Baryczków oraz pod numerem 39/41. Zabudowa zniszczona 1944, odbudowana 1959-62.


Bardzo ciekawy artykuł ukazał się w Tygodniku Ilustrowanym w 1908 roku, którego autor niemal "z narażeniem życia" usiłował sfotografować jeden z najstarszych budynków przy tej ulicy:
"Jest naprzykład przy ulicy Brzozowej wielki dom, uderzający samą zewnętrznością. Dość spojrzeć nań, aby poznać, że co najmniej pięć stuleci dźwiga na krzepkich barkach, na wyniosłem czole.
Odfotografowanie tego domu przedstawiało trudność prawie niepokonalną. Źródłem tej trudności były nie tyle złe warunki miejsca (bardzo wysoki budynek w bardzo wązkiej, spadzistej, prawie zawsze ciemnej uliczce), co zulusowska ciekawość i dzikość mieszkańców. Rozsunięcie aparatu wywoływało tam natychmiastowe zbiegowisko, i to zbiegowisko figur „z pod ciemnej gwiazdy", ohydnych, bezczelnych, strasznych. Czterokrotnie musiałem kapitulować, tuzin klisz zepsuć, jeśli zaś mogę pochwalić się dziś osiągniętym rezultatem,-, to doprawdy on wart, żeby go pomieścić obok nansenowskich zdjęć okolic podbiegunowych...
Nad wejściem tego domu prastarego był niegdyś wmurowany kamień z herbem Baryczków i napisem łacińskim. Wspomniał o tym kamieniu wydawany w Warszawie przed 50-ciu laty przez Bolesława Podczaszyńskiego „Pamiętnik Sztuk Pięknych". Tam również powtórzono ów napis, który brzmiał, jak następuje: D. O. M. Albertus Baryczka S. R. M. Ab. expensis avenariis suo amicorum et posteritatis usui Civtatis Ornamento a fundamentis posuit anno a partu Virginis 1629. Opierając się na tym napisie, autor artykułu twierdził, że dom we wspomnianym roku został wybudowany".