阿里山小火车的历史可以追溯到1921年，那时台湾石油公司在阿里山附近发现了石油矿，需要运送石油到平地，因此修建了一条铁路。

1929年，阿里山森林铁路投入使用，用于运输木材和石材等物资。这条铁路长约70公里，从嘉义市的水上车站开始，穿过奋起湖、大光山、观音亭、林田山、车埕、竹子头、慈云山、奉集岭，最终到达阿里山。阿里山小火车是这条铁路的一部分，主要运载游客。

在战后，由于材木资源的减少，阿里山森林铁路不再需要运输木材，逐渐改为运送乘客和观光客。1982年，因为车站老旧、设备陈旧等问题，阿里山铁路路局展开了全面的改建。到了21世纪初，阿里山铁路已成为台湾着名的旅游胜地，每年吸引大量游客前来游览。