一八九五年六月二日, 日本派駐臺灣首任總督樺山資紀在臺北北面的海面上與李鴻章的長子李經方辦理臺灣割讓手續之後,在占領的臺北舉行臺灣總督府開始執政的儀式。日本原以為可以順利地接手臺灣,不料遭到本地人民的頑強抵抗。以丘逢甲等為首的臺灣本地居民,強烈要求清政府撤回割地的決定,但最後《馬關條約》生效,臺灣還是被割讓了。於是丘逢甲等在五月二十三日成立「臺灣民主國」,發表宣言:「我臺民與其事敵,無如死。」推舉接任劉銘傳擔任巡撫的唐景崧為總統,丘逢甲擔任副總統,那時巡撫手下的官軍還有將近九千人,不料日本近衛師團登陸以後,大部分官軍紛紛潰逃了,唐景崧混在人群裡匆匆逃離了臺灣。
臺灣軍務幫辦劉永福是在清法戰爭中率領黑旗軍擊敗法軍而聲名鵲起的英雄,號稱「民主國大將軍」,率領一部分清軍,以臺南府為據點進行頑強的抗戰,「據自然之峻險,築壘掘濠」。遭遇頑強抵抗的樺山總督要求日本政府增派軍隊,接到樺山的報告後,大本營從遼東半島的第二師團中抽調出混成第四旅團,派往臺灣。七月中旬,樺山總督要求再增援一個半師團的軍力。
日軍平定臺灣的困難不只來自於臺灣民眾的武裝抵抗,水土病的瘧疾、因炎夏的供水不足而飲用生水導致的痢疾(吐瀉病)、因營養不足引發的腳氣病等傳播開來,來自日軍前方的報告說:「八月中旬抵達後壟(今苗栗後龍)時,各隊患病者人數超過健康者的一半。」由於患病者層出不窮,降低了戰鬥力。八月二十九日,占領中部彰化的近衛師團並未繼續向南方推進,一直休整調養到十月三日,日軍的官報說:「各隊人員幾乎都已減半。」情況頗為窘迫。
終於又向南方推進的近衛師團,十月九日占領嘉義。包括在臺南南北海岸登陸的增援部隊,從三個方面進攻臺南府,十九日,劉永福將軍撤離臺南府,向廈門遁去,臺灣民主國瓦解。攻占臺灣的途中,近衛師團長白川宮能久親王、第一旅團長川村、第二旅團長阪井都患上瘧疾,最後能久親王因病死亡。
日軍基本占領臺灣以後,臺灣民眾的抵抗沒有停息。一八九五年十二月,日本控制臺灣北部的宜蘭遭到包圍,第二年元旦,臺北城遭到襲擊等,高山族在各地紛紛起義,對日本統治的抵抗持續到一九〇二年。據日本官方記錄:「土匪襲擊臺北兩次,襲擊臺中兩次,此外襲擊各地的守備隊辦公署支廳憲兵駐守地共五十幾次,襲擊員警派出所等不勝枚舉。」日本總督府的鎮壓愈凶殘,臺灣民眾的抵抗就愈激烈。
當時日軍對於反抗的臺灣民眾殺戮相當殘暴, 當過臺灣總督府民政廳長的後藤新平曾坦言, 自一八九六年到一九二年期間,「在捆縛和押解過程中反抗」而殺害的有五千六百七十三人,「被判處死刑的」二千九百九十九人,「由討伐隊處死的」三千二百七十九人,共計「殺害」一萬一千九百五十一人,其中經過法庭審判被處死的僅有三千人。