文艺复兴时期，欧洲的几何学得到了广泛的发展，形成了运用代数解决几何问题的解析几何学说。
16世纪末以后，西方几何学陆续传入中国，与我国古代算术相结合，使中国数学研究出现一个中西融合贯通的局面；鸦片战争以后，近代数学开始传入中国，中国数学便转入一个以学习古代算术，几何学以及西方现代数学为主的时期。
1582年，意大利传教士利玛窦到中国，1607年以后，他先后与徐光启翻译了《几何原本》前六卷、《测量法义》一卷，与李之藻编译《圜容较义》和《同文算指》。1629年，徐光启被礼部任命督修历法，在他主持下，编译《崇祯历书》137卷。《崇祯历书》主要是介绍欧洲天文学家第谷的地心说。作为这一学说的数学基础，希腊的几何学，欧洲玉山若干的三角学，以及纳皮尔算筹、伽利略比例规等计算工具也同时介绍进来。
在传入的西方数学中，影响最大的是《几何原本》。《几何原本》是中国第一部数学翻译著作，绝大部分数学名词都是首创，其中许多至今仍在沿用。徐光启认为对它“不必疑”、“不必改”，“举世无一人不当学”。《几何原本》是明清两代数学家必读的数学书，对他们的研究工作颇有影响。
清初学者研究中西数学有心得而著书传世的很多，影响较大的有王锡阐《图解》、梅文鼎《梅氏丛书辑要》(其中数学著作13种共40卷)、年希尧《视学》等。梅文鼎是集中西数学之大成者。他对传统数学中的线性方程组解法、勾股形解法和高次幂求正根方法等方面进行整理和研究，使濒于枯萎的明代数学出现了生机。年希尧的《视学》是中国第一部介绍西方透视学的著作。
清康熙皇帝十分重视西方科学，他除了亲自学习天文数学外，还培养了一些人才和翻译了一些著作。雍正即位以后，对外闭关自守，导致西方科学停止输入中国，对内实行高压政策，致使一般学者既不能接触西方数学，又不敢过问经世致用之学，因而埋头于究治古籍。乾嘉年间逐渐形成一个以考据学为主的乾嘉学派。
随着《算经十书》与宋元数学著作的收集与注释，出现了一个研究传统数学的高潮。其中能突破旧有框框并有发明创造的有焦循、汪莱、李锐、李善兰等。他们的工作，和宋元时代的代数学比较是青出于蓝而胜于蓝的；和西方代数学比较，在时间上晚了一些，但这些成果是在没有受到西方近代数学的影响下独立得到的。
1840年鸦片战争以后，西方近代数学开始传入中国。首先是英人在上海设立墨海书馆，介绍西方数学。第二次鸦片战争后，曾国藩、李鸿章等官僚集团开展“洋务运动”，也主张介绍和学习西方数学，组织翻译了一批近代数学著作。在这些译著中，创造了许多数学名词和术语，至今还在应用，但所用数学符号一般已被淘汰了。戊戌变法以后，各地兴办新法学校，上述一些著作便成为主要教科书。
在翻译西方数学著作的同时，中国学者也进行一些研究，写出一些著作，较重要的有李善兰的《尖锥变法解》、《考数根法》；夏弯翔的《洞方术图解》、《致曲术》、《致曲图解》等等，都是会通中西学术思想的研究成果。
由于输入的近代数学需要一个消化吸收的过程，加上清末统治者十分腐败，在太平天国运动的冲击下，在帝国主义列强的掠夺下，焦头烂额，无暇顾及数学研究。直到1919年五四运动以后，中国近代数学的研究才真正开始。
