遊民、街友或無家者，其實一直存在臺灣的歷史記憶之中，尤其臺灣原來是個移民社會。從各種史籍的記載可知，清朝統治領臺灣時期即有所謂的「羅漢腳」，被認為是臺灣遊民的濫觴，更被朝廷視為臺灣社會動亂的根源。
然而實際細讀，羅漢腳並非完全指涉現代所謂的遊民，而是匯集了過著各種不同生活的人們，其中包含受渡臺禁令影響而沒有家眷的人、無田宅者、貧困者、或者四處打劫或詐騙的歹徒等。不論守法與否、不論落入流浪困境的成因，過去都被統稱為「羅漢腳」。
到了日本殖民統治時期，如「浮浪者」、「乞丐」逐漸取代了「羅漢腳」一詞，但實際上詞彙的內涵，還包括「清國人」（非法移民）、身心障礙以致無家可歸者等。在《臺灣日日新報》的報導中，最早的「遊民」實際上是「高等遊民」一詞，指涉高學歷的失業者，被視為教育漸普及之後引發的社會問題，並曾是殖民者宣示施政的重點之一。
在詳盡的調查之後，日本殖民政府的施政方針主要將流落街頭者予以取締和強制收容。戰後，政府延續過去警政、治安的角度，在1950、60年代推出了「臺灣省取締遊民辦法」、「台北市取締遊民辦法」，明定由警察機關負責取締遊民，再送往收容所進行收容。
1980年代末期，臺灣社會運動繽紛齊放，媒體也開始報導無家者悽苦、邊緣的生活；1989年台北市社會局成立遊民小組，提倡應由社政機關主導遊民業務，而非延續過去由警政機關主導的政策（例如將遊民收容所改成中途之家，並提供醫療、社福、安置等整合服務）；1994年，台北市提出「台北市遊民收容輔導辦法」，取代「台北市取締遊民辦法」；1997年更進一步，通用全國的「社會救助法」修正通過，明定警察發現遊民時，應通知社政機關處理，也正式宣告臺灣的遊民業務由警政移交社政，是社會福利的議題，而非治安問題。
在民間，不論在日本殖民時期或現代，有許多處理無家者議題的非營利組織或社會企業。日治時期總督府職員、出身臺灣的施亁，在承辦總督府對於無家者的調查與統計後，有感於問題之嚴重，成立「愛愛寮」，提倡「以工代賑」的模式，收容無家者。另外，也配合政府取締無家者之後的收容，並一直延續至戰後。
當政府處理遊民的政策開始由警政走向社政的1980-90年代，相關的民間力量也趨於勃興，而民間也開始更為全面、立體地認識無家者的多元樣貌，並以不同於「流浪漢」、「流浪人」、「遊民」等詞彙指稱無家者：如在1991年，創世基金會董事長曹慶最早以「街友」一詞稱呼這群人，認為他們應該和一般人一樣受到社會的幫助，呼籲社會大眾關懷街友的生活與困境，供應街友麵包牛奶、禦寒衣物以及盥洗。
