春秋战国之际，由于冶铁技术的发明，铁制工具开始使用，大规模的挖掘泥土、开辟山石成为可能，于是开始兴起了大规模的水利工程，开挖面宽水深的河道，这样的水利工程已经不单单是用于泄洪、灌溉，而且用来同行运输。于是中国历史上最早的运河就产生了。
从历史文献记载来看，最初开凿运河的是楚国。孙叔敖等在云梦泽一带开挖过运河，这些宝贵的修渠经验无疑对邗沟的开凿发挥了一定的作用。
伍子胥开挖运河，使吴国的战船顺利到达楚境，经过激烈的战争，吴军攻破楚国都城，楚王奔走于随。后来秦出兵救楚，击败吴师，越国也乘机功吴，吴王阖闾受伤而死。他的儿子夫差即位之后，在夫差二年，吴军伐越，大败越军，勾践俯首称臣。
吴王夫差在总结了伍子胥开挖运河的经验基础之上，在即位的第十年开始了开凿大江直达淮水的运河。在开凿运河的时候，夫差在运河入口修建了一座城池，名叫邗，运河因此而得名，叫邗沟。古邗沟位于今扬州市。当时的江岸在近一正县西北的胥浦、扬州市东北的湾头和江都县东北的宜陵一线，邗沟正在这一线上。
在邗沟开通之后，吴王夫差率军北上，从邗沟抵达淮水，又由淮水入泗水。一直到达鲁国。夫差利用开凿邗沟的成功经验，有开凿了沟通泗水和济水的水道，后人称其为菏水。《国语吴语》中述此事：“吴王夫差既杀申胥（伍子胥），不棯于岁，乃启师北征，阙为深沟，通于商鲁之间，北属之沂，西属之济，以会晋公午于黄池。”
由此可见，邗沟是我国历史文献中记载的第一条有明确开凿年代的运河。公元前486年，吴王夫差北上争霸，为了解决交通运输的问题，开凿了一条南接长江、北入淮水的运河，后来这条运河屡屡改道修整，一直是沟通江淮的主要运河。开凿了邗沟后三年，吴又在“商鲁之间”开凿了一条运河，名曰菏水，将沂水（泗水支流）、古济水连通。于是吴国兵船只便可从长江出发，由邗沟北上经过泗水，再由菏水同济水至黄河。
进入战国时期，晋一分为三，建立起韩、赵、魏三国。魏国分得了进山西西南部的河东地区，经济基础较好。为了向东扩展，魏国一方面发展经济，另一方面迁都河南中部的大梁，并积极向东开辟水陆交通，以加强与东部国家的联系。
根据《竹书纪年》记载：“梁惠成王十年，入河水于甫田，又为大沟而引甫水······又有一渎，自酸枣受河，导自濮渎，历酸枣泾阳武县南，世谓之十字沟，而属于渠，或谓是渎为梁惠之年所开，而不能详也。”“梁惠成王三十一年，为大沟于北浮，以行圃田之水。”由此可见，鸿沟的开挖时在魏惠王十年，而睢水等支流在魏惠王十八年就已经存在，由此可以判断出，鸿沟水系自公元前360年开始挖凿，最晚到前352年就已经基本完成，以后大概还不断的挖凿出新的支渠。鸿沟不是一条单一的水道，二是由几条运河共同构成的一个水系，人们习惯上把这个水系中几条运河统称为鸿沟；这个水系中有一条由黄河引水的主水道，人们也往往把这条主水道叫做鸿沟，其下的水道则各个名称不同。主水道由荥阳引河水东行，经魏国都城大梁，在大梁之东转而流向东南，到了陈国都城陈（今河南淮阳）东，又折向南流，最终入颖水。后来人们把大梁南流的这段水道称之为狼汤渠、也有称之为渠水、浚仪渠或沙水。
春秋战国时期，除了吴国、魏国大规模的开挖运河之外，齐国和秦国也都有运河开凿。齐国开挖的运河位于淄水和济水之间，是沟通淄水货济水的河道。秦国在成都进行了运河开凿。
