祖冲之被革职后，他的父亲祖朔之没多长时间就去世了，祖冲之这时要担起家庭的重担。
天文学和数学有着密切联系，祖冲之在研究天文历法时，经常要用数学进行大量的计算。在实际生活中，祖冲之也感到数学的主要性。祖冲之想：搞天文历法虽然受到了打击，也不应该就此泄气。《大明历》 现在不能实行，相信总有实行的一天。现在应该把精力放在数学研究上，解决一些实际问题，为民谋利。
祖冲之先是给《九章算术》作注。《九章算术》是古时候有名的数学著作，大约完成于公元四、五十年间，它总结了周秦以来我国数学研究的成果，对我国后来数学的发展有巨大的影响。全书共搜集了二百四十六个数学问题，连同每个问题的解法，分为九大类，每类算作一章，故称《九章算术》。
《九章算术》的内容涉及约分、通分、面积和体积的计算、勾股测量、开平方、开立方、解二次方程式正根、解联立一次方程式、正负数等方面。三国时代的大数学家刘徽曾经给《九章算术》作过注释，此后就成为学习数学的重要课本。祖冲之通过自己的研究，感到刘徽的注释有所不足。对某些问题，他有新的理解；他觉得重新给《九章算术》作注是非常必要的。
这个工作，祖冲之进行得很顺利，这不但是因为他原本就有丰富的数学知识，而且这时他的儿子祖暅已经十三、四岁，可以帮他巨大的忙。
什么是圆周率呢？学过数学的人都知道，圆周率就是圆的周长和直径的比值，在现代数学上，用符号“元”来表示。
在我国古时候，很早就知道圆周率这个概念，并且能够很熟练地运用它。但那时，圆周率却很不精确，一般都认为是“径一周三”，就是说，圆周是直径的三倍，如果圆的直径是一尺，圆的周长就是三尺，圆周率就是3。在两汉以前，一般都是用这个圆周率。两汉以后，随着生产和科学的发展，圆周率用的越来越多，什么天文历法、机械制造、建筑工程、改进容器都要用到它。下“径一周三”的圆周率由于很粗糙，用它来计算往往造成误差，所以人们开始摸索较精确的圆周率。
第一个找出求圆周率正确道路的就是刘徽。他曾经正确地指出，“径一 周三”不是圆周率值，而是圆内接正六边形周长和直径的比值。有了正确的理论作指导，他又用“割圆术”，求出了当时最精确的圆周率3.14。
祖冲之给祖眶讲完关于圆周率的一些事后， 感慨地说:“我以前对刘徽的这些话也看过好几回，只是没有认真思索。看来对哪个问题不用心，就悟不出那个问题的道理。”
祖冲之又说:“不过， 把圆周率定为3.14也不精确。”
“3.14也不精确？”祖暅想，你刚才不是还赞扬刘徽吗？如何又说他的圆周率不精确?
“是的，刘徽按割圆术的方法求出了3.14的圆周率，这是一个巨大的贡献，但是我们不应该满足于前人已取得的成就，我们应该在前人的基础上再向前进。”祖冲之说。