两鱼互纠在一起，因而被习称为“阴阳鱼太极图”。
“太极图”既然流行得如此久远、如此广泛，自然它的起源和流变问题就成了人们的兴趣焦点。在考察它源流之前，应弄清楚“太极图”的名称和图形的关系问题。这里有两种情况，一是同一名称，却指不同图形，被称作“太极图”的除了阴阳鱼图形外，还有五层图形(即习惯上所称的“周敦颐太极图”)、空心圆图形、黑白半圆图形等(实际上后几种图形被称作“太极图”的时间大大早于前者)；一是同一图形，却有不同的名称，如阴阳鱼“太极图”，早期称作“先天图”、“河图”、“先天自然河图”、“先天自然之图”、“古太极图”等；五层“太极图”又称“无极图”、“太极顺逆图”、“太极顺生图”、“丹道逆生图”等(当然两类太极图的图形各自都稍有差异)。
现代有不少人认为太极图起源于原始时代，甚至有人认为是太古洪荒之时外星人馈赠地球人的礼物，或本次人类文明以前上一次甚至两三次文明毁灭时遗留下来的唯一信物。
太极图又是根据什么演变而来的呢?陈立夫先生认为：“大陆先后所出土之古太极图，较《周易》及《乾凿度》之成书，尚早三、四千年。诸如陕西永靖所出土六千五百年前（伏羲时代）双耳彩陶壶上之双龙古太极图（藏瑞典远东博物馆），乃使用毛笔中锋所画，竟早于孔子四千年。
后出土商代及西周之多件青铜器上，亦契有雌雄双龙相互缠绕之太极图。”(《关于太极图的一些问题》)陈先生将双龙相互缠绕之图直接称为“双龙太极图”。双龙缠绕图实际上就是华夏始祖“伏羲女娲交尾图”；此外有人认为太极图来源于一种符号(青海民和县和乐都柳湾、辽宁翁牛特旗石棚山、广东曲江石峡中层遗址出土的新石器时代的陶器上都刻有这种符号)，双鱼纹样图形(陕西西安半坡遗址出土人面鱼纹彩陶盆)，双凤纹样图形(新石器时代骨刻与陶绘、河姆渡文化中有这种纹饰)，近前有人声称太极图来源于河南洛油伏羲台下黄河与洛书相汇后形成的“涡漩”(见《郑州日报》1993年3月8日第八版)。
这些图形到底是不是太极图的来源?如果单就这种图形纹样而言，显然无法直接推衍出太极图。因为类似的图案在其他民族就没有演变出太极图，如古代巴比伦有双蛇缠绕交尾图案，古希腊、古印度、高加索、小亚细亚等地的遗物(银饰、铜壶、花瓶等)上有一些纹饰，但这些民族都没有太极图。至于“涡漩”一说，实属荒唐，“涡漩”无处不在，如果从中能看出太极图，那太极图岂不是遍布世界各地了吗?
不过，从这些图形隐含的思想观念看，又不能说与太极图毫无关系。这些图形都是双双交合而成，或双龙、双蛇，或双鱼、双凤，连“”也是由两个相同的符号交叉而成，这是原始社会生殖崇拜的产物。双双图纹，或表示男女(伏羲、女娲)，或表示雌雄(双鱼、双蛇、双龙、双鸟)；两两交叉，反映原始生民对男女、雌雄交合的直观认识。
由男女、雌雄、日月等人体现象、生物现象、自然现象，逐渐体悟出“阴阳”概念，以及阴阳同体、阴阳相对与相交(对待与统一)、阴阳交互作用、阴阳相互转化等等思想理念，这种思想决定了中国传统文化从某种意义上说就是阴阳文化。《易经》阴阳爻、阴阳卦正是阴阳思想的符号化(线条符号)，太极图的黑白相间、首尾纠合正是阴阳对待统一、消长流行、互根互动理念的最佳图示(图形符号)。
可见，原始时代的这些图纹只不过是太极图的思想渊源，而从中并不可能直接演变为太极图，太极图到底源自何图?最早的太极图为何时何人所作?让我们先来看看前人的论述。
在宋人的著作中，基本上是认为“先天图”(应当包括“阴阳鱼图”或就是“阴阳鱼图”)是从五代宋初陈抟那里传下来的。最有名的是朱震的论述：“陈抟以先天图传种放，放传穆修，穆修传李之才，之才传邵雍。”(《汉上易传·进易说表》)
时光流转，不觉东方之既白。