上海街的前身是差館街，名字源於1860年代末落成、座落在差館街和公眾四方街(現眾坊街)之間的油麻地警署。油麻地受到當時港英政府的重視，加上是天然的港灣，因此成為全九龍最早被開發的地區。1885年新填地街填海工程完成後，差館街由公眾四方街延伸至奶路臣街。由於賣地情況理想，差館街開始熱鬧起來。到了十九世紀末，油麻地的人口已達八千，是九龍之最。其後，差館街更向大角嘴村延伸至大埔道，連接新界。

那時，港島也有相同的街道名稱，為免混淆，政府於1909年將差館街易名為上海街，就像鄰近的甘肅街、北京道般，根據中國省份或城市而命名。

由於上海街比較近海，方便當時渡船街避風塘及鄰近碼頭上岸的船客及水上人購物，於是上海街便開始興旺。旺角一段隨著彌敦道向太子方向延伸，於1926年完成，成為全九龍最繁盛的街道。

後來，因為避風塘遷移和海上交通陸續被陸路交通取代，在六十至七十年代，上海街逐漸被彌敦道超越，後者更成為全九龍最重要的幹道。