“泰北山区民众自卫队”成立后，编制被定为1500人，泰国政府按此发放弹药和军粮。段希文一边加紧自卫队的建设，一边督促部队的战士和眷属铲掉害人的罂粟，并在罂粟田里建立生产基地，重新种上谷子、大豆、玉米和茶叶。段希文在泰国美斯乐立足后，还大力兴办教育，出资创办了兴华中学，对当地学生和边远贫困学生免收学费，每年还保送40名优秀学生到外地上大学。他资助的学生如今遍布海内外，不少人成了有用之才。
段希文在泰国被称为“孤军的灵魂”，深受泰国人民尊重和爱戴。
1980年6月18日，段希文心脏病猝发，在曼谷与世长辞，享年80岁。泰国前总理江萨亲临医院，向段希文遗体告别，泰国总理及多名将领参加了段希文的葬礼，送葬队伍长达两公里。按照段希文的遗愿，他被安葬在美斯乐的他那翁山之巅，面朝北方——自己的祖国。
段希文将军的原配名叫李惠芳，系云南宜良县城北村人。1920年段希文参军离家后，李惠芳孤身一人将儿子段浩川、女儿段德丽等抚养成人。
1965年的一天，段浩川突然收到段希文寄来的一笔钱，整整500元，而当时他的月工资只有50元。因为“文化大革命”的缘故，段浩川始终没敢动这笔钱，全部存进了银行。直到1978年“文革”结束后，段浩川才将这笔钱从银行取出，交到了母亲的手里。
段浩川收到父亲的第一封来信是在1972年，是由原云南省主席龙云的儿子龙纯勋从香港辗转带回大陆的，信中询问家人是否安好，希望家人和他联系。段浩川召集全家人一起照了张全家福，并将照片夹在信里给父亲邮寄过去。接到回信后，段希文亲自给当时的昆明市市长潘朔端写了一封感谢信，信中说： “看到了家人的照片，我老泪纵流，感谢你对我家人的悉心照顾，恩情容图后报。”此后，段浩川和父亲的联系就逐渐密切起来。段希文也经常寄钱回家，数目越来越大。
1972年，李惠芳带着女儿段德丽赶到香港和段希文见过一面。段浩川始终没能在父亲生前见到过父亲，直到1980年父亲去世，才赶到泰国参加段希文的葬礼。
1982年，由在泰国的云南同乡主持建成了纪念段希文的陵园“希公陵”。其中一副挽联概括了段希文的一生： “扬威异域，树立风范，领导中原豪士，开荒拓土，孤忠撼中外，功勋永铭照佛国；创立会馆，惠泽同乡，相率南诏健儿，兴学建教，桃李满天下，楷模常留在人间。”
到1992年，段希文当年带领的这支流浪金三角的中国人包括他们的后代已有6万余人，他们全部成了泰国公民，如今生活在泰国的美斯乐以及老挝、缅甸的边境线上，开荒种地，种茶叶、水果，有的开展旅游业，过着自食其力的生活。