1200万年前，以色列突发的天火使当地特有的一种石灰岩和油页岩在燃烧中发生化学反应，形成了水泥化合物的天然沉积物。上世纪60-70年代，这些沉积物被以色列考古学家发现并确认。有考古学家相信，这些偶然诞生的天然水泥，被后来出现的古人类发现并使用。
5000多年前（公元3000多年前），古埃及人已经开始用泥浆拌稻草脱坯盖房子。他们还在大金字塔的建设中使用石膏和石灰砂浆。
同一时期，中国人也开始用水泥类材料把竹子粘合起来造船。还在长城的建设中使用水泥类材料。
3000多年前（公元1000多年前），古希腊人、克里特人和塞浦路斯人使用的石灰砂浆强度已经很高了，甚至比之后的罗马人使用的砂浆还要高。
2300多年前（公元300多年前），巴比伦人和叙利亚人开始使用天然沥青作为粘合剂来建造砖石建筑。
距今2300年到1700年间（公元前300年到公元476年），古罗马人用产于意大利维苏威火山（Mt. Vesuvius)附近波特兹瓦利（Pozzuoli）的火山灰修建亚壁古道（Appian Way）、罗马的浴池、斗兽场（Coliseum）和帕特农神庙（Pantheon in Rome）以及法国南部的嘉德大桥的水管。他们使用石灰作为水泥基材料，通常是1份石灰加4份沙子或2份火山灰加1份石灰。为了提高水泥的性能，他们还在混合物中添加动物的脂肪、乳汁和血浆等作为外加剂。这些伟大的建筑，如帕特农神庙等依然耸立在罗马街头，每天数以万计的游客来此顶礼膜拜。
中国长城在建筑过程中也大量使用了水泥类材料，并在其中添加糯米浆等有机类外加剂以提高粘合强度和耐久性。
在黑暗的中世纪，天然水泥类材料的质量越来越差，煅烧石灰、火山灰的技术一度消失。这段时间的建筑也见不到使用水泥类材料的痕迹，直到14世纪才重新发现了水泥类材料的身影。
1678年，著名的印刷专家约瑟夫 莫克森（JosephMoxon）在他的一篇文章中第一次描述了“加热的石灰中藏有一团火，加水后就能看到这团燃烧的火”。
1779年，英国化学家布莱恩 希金斯（Bryan Higgins）取得了用于外墙抹灰的水硬水泥的专利，这是水泥和混凝土历史上第一个专利。第二年（1780年）他发表了“改进石灰质水泥的合成工艺和应用以及生石灰的制备的实验与观察”（Experiments and Observations Made With the View of Improving the Artof Composing and Applying Calcereous Cements and of Preparing Quicklime）一文，这是水泥与混凝土历史上的第一篇专业论文。
1779年，英国的约翰 斯米顿（John Smeaton）发现用煅烧过的石灰石生成的石灰遇水可以硬化（水硬石灰）。他用这种水硬石灰重建了位于英格兰康沃尔的爱迪斯通灯塔。这个灯塔历史悠久，但由于使用的建筑材料无法抵御海水的冲蚀，曾经多次重建。此次，当地政府指派约翰米斯顿负责重建，但要求他要先找到一种不怕水的建筑材料。他的发明导致了现代波特兰水泥的诞生。
1796年，英国人詹姆斯 帕克（James Parker）获得了一项有关天然水硬水泥的专利。他通过煅烧含有粘土的块状石灰石获得了这种天然的水硬水泥。这种水泥被称为帕克水泥（Parker's Cement）或罗马水泥（Roman Cement)。之所以称为天然水泥（natural cement），是因为这种水泥是由含有合适分量的粘土的天然石灰石烧制而成，没有添加其他材料。
1802年，法国也采用了类似的制作罗马水泥的工艺。
1810年，埃德加 杜博斯（Edgar Dobbs）获得了一项关于水硬砂浆、灰泥和石膏的专利。不过由于煅烧工艺和设备存在缺陷，这些产品的质量很差。
1812-1813年，法国人路易斯 维卡 通过煅烧石灰石和粘土混合物，制出了人造水硬水泥。（因为是通过选择石灰石和粘土进行混合，而不是使用天然含一定分量粘土的石灰石进行煅烧，因此称为人造水泥。）
1818年，莫里斯 莱杰（Maurice St.Leger） 获得了一项有关水硬水泥的专利。美国开始生产天然水泥。所谓天然水泥，是所使用的石灰石中天然含有数量恰好合适的粘土，煅烧后获得的水泥。这种水泥与英国人约翰斯密顿发现的属于同一类型。
1820-1821年，约翰 克尔和亚伯拉罕 钱伯斯获得了更多有关水硬水泥的专利。
1822年，英国的詹姆斯 弗罗斯特（JamesFrost）制备出了类似维卡的人工水硬石灰，被称为不列颠水泥（British Cement）。
1824年，英国人约瑟夫 阿斯普丁（JosephAspdin）获得了波特兰（Portland）水泥的专利。他通过在石灰窑里煅烧磨得很细的白垩（白土粉）和粘土，把其中的二氧化碳彻底去除。然后，将烧结的结块研磨成细细的粉末，就获得了这种水泥。他之所以将其称为波特兰水泥，是因为英国波特兰这个地方以出产高质量的建筑石材而闻名，他认为他的水泥具有与波特兰石材一样的优良品质。
1828年，布鲁内尔（I.K.Brunel）第一次在工程中使用了波特兰水泥，他用波特兰水泥填补了泰晤士隧道中的一个缺口。
1836年，德国第一次系统地检测了波特兰水泥的抗压和抗张强度。
1843年，J.M. Mauder父子公司获得生产波特兰水泥的专利授权。
1845年，艾萨克 约翰逊（IsaacJohnson）声称将波特兰水泥的原材料烧到了熔渣温度（clinkering temperature），获得了水泥熟料。
1849年，潘德克夫（Pettenkofer）和福克斯（Fuches）首次对波特兰水泥进行了精确的化学分析。
1862年，英国人布莱克（BlakeStonebreaker） 把颚式粉碎机用于粉碎水泥熟料。
1867年，法国人约瑟夫 莫妮尔（JosephMonier）用铁丝增强了美国人威廉 万德（William Wand）用水泥做的花瓶，从而产生了在水泥中使用增强钢筋的想法。
1871年，美国人大卫 赛勒（DavidSaylor）获得了美国第一个有关波特兰水泥的专利。
1880年，英国人格兰德（J.Grand）演示了使用水泥熟料最硬和密实度最大的部分的重要性。对水泥熟料的核心成分进行了化学分析。
1886年，在英国第一个回转窑投入使用，从此逐步取代了竖窑。
1887年，法国人亨利（Henri LeChatelie）把水泥的化学成分命名为Alite(tricalcium silicate)、Belite(dicalcium siicate)、和Celite(telracalciumaluminoferrite)。他提出水泥硬化是由于水泥和水发生化学反应生产的晶体逐步成型引起的。
1889年，第一个钢筋混凝土大桥—美国加州旧金山的沃德湖大桥（Alvord Lake Bridge）建成。这座桥至今仍然存在。
1890年，美国首次在水泥熟料研磨过程中加入石膏作为缓凝剂，竖窑被回转窑取代，球磨机用于研磨熟料。
1891年，第一条混凝土道路在美国俄亥俄州贝勒方丹（Bellefontaine）铺设，这条道路至今还在使用。
1893年，威廉 米歇尔（WilliamMichaelis ）提出水泥硬化是由于水化硅酸盐形成的凝胶逐步脱水硬化引起的。
1900年，建立了水泥基本性能的检测标准。
1903年，第一幢混凝土高层建筑---英格尔斯大厦在美国俄亥俄州（Ohio）的辛辛那提（Cincinnati）建成，该建筑16层高，是当时的一个工程奇迹。
1908年，大发明家汤马斯爱迪生（ThomasEdision）发明并在美国新泽西州的Union建造了廉价、温馨的混凝土房屋，这些房屋至今还在使用。
1929年，美国人莱纳斯鲍林博士（LinusPauling）为复杂硅酸盐结构建立了一套原则。
1930年，首次在混凝土中使用引气剂以提高混凝土抗冻融能力。
1936年，第一座主要的混凝土大坝----胡佛大坝（Hoover Dam）和大库里大坝（Grand Coulee Dam）建成，至今还在使用。
1967年，第一个混凝土穹顶体育场在美国伊利诺伊大学建成。
1970年，出现了纤维增强混凝土。
1980年，高效减水剂出现。
1985年，硅粉开始作为一种火山灰质掺合料在混凝土中使用。高强混凝土被用于西雅图联合广场（the Union Plaza）的建设。
