太极文化在宋人的著作中，基本上是认为“先天图”(应当包括“阴阳鱼图”或就是“阴阳鱼图”)是从五代宋初陈抟那里传下来的。最有名的是朱震的论述：“陈抟以先天图传种放，放传穆修，穆修传李之才，之才传邵雍。”(《汉上易传·进易说表》)
其实比朱震更早的晁说之已叙述了先天图的流传：“有宋华山希夷先生陈抟图南，以《易》授终南种征君放明逸，明逸授汶阳穆参军修伯长，而武功苏舜钦子美亦尝从伯长学。伯长授青州李之才挺之，挺之授河南邵康节先生雍尧夫。”(《嵩山集》卷十八《王氏双松堂记》)
我们再来看一看与邵雍同时代的人是怎么说的。与邵雍同巷里居住了三十余年的二程兄弟说：“独先生之学为有传也。先生得之于李挺之，挺之得之于穆伯长。推其源流，远有端绪。”(程颢《邵尧夫先生墓志铭》)程氏只上推到穆修，穆修以上则以一句“远有端绪”省略。
邵雍之子邵伯温说：“先君受易于青社李之才，字挺之。为人倜傥不群，师事汶阳穆修。挺之闻先君好学……于是先君传其学。……伯长，《国史》有传，其师即陈抟也。”(《易学辨惑》)
由此可见朱震所说的传承关系是基本可信的。可惜的是这张“先天图”没有随上述文字流传下来，以至今人无法确认它到底是“阴阳鱼图”，还是“先天八卦方位图次序图”，或是别的什么图。
其后详细论述易图流变的是元代的袁桷，他在为宋末谢仲直《易三图》作的《序》中说；“上饶谢先生遁于建安番扬，吴生蟾往受易而后出其图焉”。而谢仲直又得自彭翁，彭翁得自武夷君。武夷君可能就是白玉蟾(白玉蟾道号武夷翁)。袁桷又说：“至荆州袁溉道洁始受于薛翁，而易复传。袁乃授永嘉薛季宣……最后朱文公属其友蔡季通如荆州复入峡，始得其三图焉。……其孙抗秘不复出。……今彭翁所图疑出蔡氏。”(转引自胡渭《易图明辨》卷三)依袁桷说，易三图的流传大致为：
薛翁-袁溉-薛季宣……(蜀之隐者)-蔡季通-蔡抗……武夷君(白玉蟾)-彭翁
(即彭耜)-谢仲直(即谢枋得)-吴蟾
那么蔡元定从四川访得的三图是什么样子?或者说谢仲直的“易三图”是什么样子?今天已经看不到了，袁桷当时就没有说明。胡渭推测：“故首著之季通所得三图，一为先天太极图无疑矣。其二盖九宫图与五行生成图。”