1910年1月，他辞去了校长职务，一直任学务校董到1927年。
之后，黄炎培出任江苏都督府教育司司长，曾受侨胞委托筹办东南、暨南、同济等大学。在三年任期内，他全力以赴地改革地方教育，全面规划建设了省立高、中等学校和县立小学，兴办的教育事业为全国各省之冠。
1913年，他发表《学校教育采用实用主义之商榷》，提倡教育与学生生活、学校与社会实际相联系。
1914年2月至1917年春，他以《申报》记者身份在安徽、江西、浙江、山东、北京、天津等地考察了5个多月。
1915年4月，他随农商部“游美实业团”，赴美考察了25个城市52座学校，深入考察了美国的职业教育，撰写出《旅美随笔》。
其间，他见到了举世闻名的大发明家爱迪生，并用爱迪生刚发明的播音器录播了讲话：“我们中国是东方大国，美国是西方大国，两国人民如果同心同意采取和平手段，互相帮助，我们相信大家一定会走上幸福的道路。上海是中国大商埠，纽约是美国大商埠，我愿代表中国人民提出这点希望，和敬爱的大科学家爱迪生先生在这里握一次手。”
他还到日本、菲律宾、南洋各地考察。每次考察均有记录，并结集出版。
他认为：“外国考察，读方书也；国内考察，寻病源也。方书诚不可不读，而病所由来，其现象不一，执古方治今病，执彼方治此病，病曷能已。”可以说，他的考察，均是对症下药，旨在从实际出发解决根源问题。
