位於臺北市城中區的重慶南路，在清朝時期，北段稱為府前街，南段稱為文武街；日治時代，這北段與南段改稱為本町通，意思是「最繁華的街道」，當時有銀行、書店、文房四寶、茶莊，一派優雅文氣。而附近的衡陽路稱為榮町通，是集吃喝玩樂於一處的天堂，林立著銀樓、布莊、服飾、南北百貨與餐廳。
重慶南路和衡陽路兩處合併稱為「臺北銀座」，是上流社會人士出入的地方，白天車水馬龍，夜晚燈紅酒綠。
日治時期的一九一一年，臺北連續兩年經歷颱風、水災，據說當時有三千多間街屋倒塌，總督府因此聘請建築師野村一郎規畫，改造臺北銀座市區，於次年開始整建成紅磚巴洛克的連棟風格，本町通道路寬九．三公尺，並設計寬三．三公尺的騎樓，以利人車分流。
日本人依所擬定的臺北都市計畫，於一九一四年完成城牆拆除，並重新規畫道路，於是從各地搭火車來到臺北的人，一定會走經重慶南路。一九一五年，總督府為出版中小學教科書而成立的「臺灣書籍株式會社」，在重慶南路上的門市大樓開張，為「市區改正」的指標案例之一。
同年，日治時期最大的書店「新高堂」落成，是一棟位於重慶南路、衡陽路口三層樓高的仿巴洛克式紅磚建築，從一家兼賣文具的小書店，搖身變成明信片上的臺北地標。它是戰前臺北的書店龍頭，配合總督府的圖書思想審查，獨攬了日本內地圖書、雜誌、地圖的經銷權，更壟斷了公小學校的教科書販售，一九二○年代更大量引進世界各國的書籍。
日治時期書店最早是集中在新起町(今漢中街、長沙街一段附近)一帶，根據《殖民地時代的舊書店》一書描述，當時新起町就有九家書店，如東陽堂、鹿子島、岐阜屋、日臺堂等，此外，臺北銀座的榮町一帶則有文明堂、杉田書店等，加上後期大型書店興起於本町通，在總督府周邊締造了濃厚的書香氣息。
漸漸使民眾養成閱讀習慣，也創造了書街的人流。自一九四五年日本無條件投降、國民政府在同年十月派員接收臺灣之後，重慶南路的書店開始由國民政府官方或上海人接手，並由賣日文書改為賣中文書。
當時「臺灣書籍株式會社」由臺灣省行政長官公署教育處接收後，改組成「臺灣書店」。「新高堂」則由當時的臺北市長游彌堅結合臺灣和中國人士成立「東方出版社」接手。另有一家日治時代的「太陽號書店」(重慶南路一段三十七號)，則由「商務印書館」所取代，這家上海來的分店進駐後，很多上海人紛紛接續投資、經營書店，造就了上海幫掌控臺灣文化出版事業的勢力。
上海本來就是國際商埠，養成當地商人靈敏的嗅覺、獨到的眼光、快狠準的手腳，加上具有足夠財力，他們來臺後，很快搶先在緊鄰政治大道旁的街道上購置房產，尤其是最靠近總督府與臺灣銀行的T字兩條街：重慶南路與衡陽路一帶。看準重慶南路上的往來人潮和書報攤商機，他們在此開出一家家書店，成為書街的先鋒；而與重慶南路垂直的衡陽路，更因上海人進駐開銀樓、百貨店，被稱為小上海商圈。
