阎锡山家道中落后，追随父亲流浪，为了生存他给清军担水，喂马，也曾做过小贩，做过民夫，还曾当过帮工，挨打受骂，后来他又流浪到太原。

太原在当时是一个繁华城市，大商人、大官僚很多都聚集在这里，阎锡山耳闻目睹了一些商人土豪纸醉金迷的生活，这使他眼界大开。当小工的生活和官僚的生活形成的反差，使他认识到，人必须有钱有权有势，才能争得地位。他羡慕清朝文武官员的权势，希望自己也能当个官员改变自己的生活。

当时的太原

所以，当他看到山西武备学堂招生的广告后，就毅然报名应考，初试时，他写下了《韩信将兵，多多益善论》，口试时，由于他态度谦恭，聪明机灵，得到主考官的认可，被录取，从此开始了他人生的一大转折，这时阎锡山20岁。

阎锡山进入山西武备学堂后，学习非常努力，对老师也十分尊敬，人际关系处理的十分恰当，学习成绩也十分不错，因此学校让他当了班长。

1904年，清为了加强统治，培养具有近代军事技能的人才，下令各省武备学堂，选送青年学生到日本留学。山西分得50个名额，其中山西武备学堂分得20名，阎锡山考中了赴日留学的资格，与他一起考上的还有姚以价、张瑜、温寿泉、王宝善等人。阎锡山先去东京振武学校学习日语和近代科学知识，1906年、1907年到日军弘前步兵第31标实习。1907年，实习结束后正式入日本陆军士官学校第六期学习，1909年3月毕业回国。

阎锡山在日本学习时期，正是中国资产阶级民主革命高涨的时期，而日本的东京是中国留学生的中心，这里反清的活动十分多，阎锡山也投人到反清革命中。

1905年，中国第一个资产阶级革命政党——同盟会成立。同盟会极力吸收日本的留学生，尤其注重那些学军事的留学生。阎锡山起初还不想参加反清革命，但看到许多人都加入同盟会，他认识到民主革命已是大势所趋，就于1905年10月参加同盟会，后来又参加了同盟会组织的'铁血丈夫团。。阎锡山听过孙中山的演讲，并结识了孙中山先生，他的革命热情一度很高。阎锡山加人同盟会后，介绍了一些山西籍的同学加人该会，1906年，阎锡山回国探亲，在回国期间，他就在其家乡五台县周围各县向学生、教师、商会宣传革命，他还携带了两枚小炸弹准备炸死一些反动官员。1908年黄兴在广州钦州发动起义，阎锡山就准备回国参加起义，当他闻听清的官员杀害革命同志时，曾和他的同学给袁世凯写信'，警告他不要胡作非为，否则将要他的命。

关于阎锡山在日本留学生活，的情况。他写道。在此5年中，我的时间多用于联系革命同志，开展革命工作，时常与李烈钧、唐继尧、李根源分析时情，研究政情，并曾编著《革命军操典》与《革命军战法》······实际用于功课的时间不及其半，故每逢考试，辄以意为之，尤其算术一课，多不按公式计算，虽得数能对，老师亦仅给以及格分数。

李烈钧

阎锡山在日本期间还结交了一些后来侵略中国的日本军人，如冈村宁次曾是他的队长，后来任侵华战争司令官，板垣征四郎当时是他的教官，侵华战争爆发后曾任关东军参谋长、师团长，曾指挥日军在太原地区屠杀中国人民，还有土肥原贤二是他的同学，土肥原后来是侵华战争的大特务，曾策划成立满洲国。阎锡山对这些军国主义分子十分佩服，和他们交往甚密，这些人对阎锡山影响很大，他曾写了《军国主义谭》，来阐述他的军国主义思想。