作為天津最早的港口，軍糧城的形成大概可以追溯到魏晉三國時期。
三國時期，曹操開挖平陸運河和泉州運河進攻五環，連接了這壹帶的主要河流，初步形成了今天的海河水系。南部的軍糧城和古泥海口(今古泥)隔海相望，相距甚遠。據說，當年的古泥海口是海河的入海口。隋大業四年(608年)，楊迪招募了二百多萬民夫，開鑿了壹條“永濟渠”，南接沁水，北接卓君，即流經潞城、平舒、文安之間，經天津，北接卓君(今京南)。天津已成為長江、淮河、黃河和大海四大水系船只往來卓君縣的必經之地。沿河的壹些古城，作為內陸港口，充當龍舟，接送士兵，裝卸糧草，極大地促進了這壹地區的經濟發展。河北平原永濟河、滹沱河、潞河匯合處稱為“三匯海口”，從軍糧城和古泥海口中間進入渤海。
唐朝定都長安後，幽燕成為重要的邊疆，唐朝統治者多次在河北、東北用兵。當時冀州是軍事重地。軍隊的補給大部分來自江淮。為了滿足南水北調工程的水運需要，位於南北水運樞紐的天津出現了第壹個港口城市——軍糧城。當時由於軍事運輸任務繁重，僅依靠隋朝南北大運河的河運和水路運輸難以滿足需要，尤其是北方內河冬季封凍，不得不通過海路和水路運輸。江淮地區的糧食由海路北運，到達海河下遊河口附近的軍糧城，再轉運到漁陽等地。在唐代，李、裴寬、安祿山等我國使節都曾擔任過海上使節，可見當時對海上交通的重視。歷史記載“我使楊帆管理幽州，有士兵9.14萬人，馬匹6500匹，衣物80萬件，軍糧50萬件”在幽州地區，可見軍糧城作為海港，儲存了大量的糧食。
唐中宗神龍三年(707)，“滄州刺史蔣氏，期於冀州北，漲水為溝，以備侵Xi、契丹，約舊渠渡海水缸，名平陸渠，以避沈船，運糧也”。即在天津東部的寧河與軍糧城之間，東北挖了壹條與海岸大致平行的運河，溝通了海河與薊運河之間的水道，使油輪無需走海路進入薊運河，從而規避了海上風險。就這樣，曹船從軍糧城渡過平陸運河，進入寶秋水(薊運河)，逆流而上，再到冀州府治漁陽。運河修建為“北溪契丹之敵”，故名“平陸運河”。