在上海地区镇压圣平军的淮军，自然被卷入到这个练兵活动之中，淮军到上海不久，李绍泉就接到朝廷上谕：“务当体察洋人之性，设法牢笼，上海洋枪队颇资得力，外国人时常夸耀其力，该署抚不妨多为教演，以鼓舞洋人”彤郅元年，总理衙门两次函令李绍泉“练中土兵，用外洋法”。于是，李绍泉大办洋务，大量购制洋枪洋炮，聘请洋人训练淮军。以后，随着洋务运动的不断发展，淮军的近代化也日趋全面、深入。从这个意义上说，洋务运动是淮军近代化发生和深入的前提条件。
淮军的近代化，与淮军进驻上海有着密切的关系。淮军到上海之前，上海地区已有英、法军队和常胜军等参与镇压圣平军。李绍泉到上海后，多次与英法驻军磋商防守事宜，淮军也奉命与英、法军以及常胜军共同对圣平军作战。在这种频繁而密切的合作中，淮军受到外军的极大影响。在与英、法军由南翔进攻嘉定圣平军的战斗中，李绍泉看到“洋兵数千枪炮并发，所当则靡”，惊叹“其落地开花炸弹真神技也”，因此密令淮军将弁“随队学其临敌之整齐静肃，枪炮之施放准则”。当时的英国驻华舰队司令何伯亦趁机反复给李绍泉讲述军队操练的重要性，使李绍泉感到外国军队“战胜攻取，固由枪炮之精，亦由纪律之严”。以后，李绍泉到英、法军舰上“见其大炮之精纯、子药之细巧、器械之鲜明、队伍之雄整”，“实非中土所能及”；其陆军“每攻城劫营，各项军火皆中土所无，即浮桥、云梯、炮台别具精工妙用，亦未曾见”。因此，“深以中土军器远逊外洋为耻；日戒将士忍辱，学得西人一二秘法，期有增益”。于是，李绍泉笼络常胜军统领华尔，托他代购洋枪洋炮，并请外国铁匠制造炮弹。可以说上海的优越环境是淮军近代化迅速发生的一个重要条件。
李绍泉及淮军将领对淮军近代化的发生与深化曾起重要作用。李绍泉到上海后，对西方先进的武器装备和军事训练有所认识。彤郅三年，他曾给友人写信，说此时他“所深虑者，外国利器强兵百倍”，中土“若不及早自强，变易兵制，讲求军实，仍循数百年青旅相沿旧规，厝火积薪，可危实甚”。
可以说，在当时这种认识是比较深刻的。在军队近代化问题上，李绍泉的认识要高于当时的其他乾军将帅。八部、青旅那些因循守旧的将帅且不论，即如同任封疆大吏的勇营领袖曾伯函、左季皋等，也较逊色。