早在距今二三百年以前，世界上就出现了不同形式的冰上球类游戏：例如17世纪流行于荷兰的冰上曲棍球“科尔芬”，19世纪见于美国北部的儿童简化冰上曲棍球“欣尼”、俄罗斯圣彼得堡等地的冰上曲棍球、北欧和英国的冰上球类形式“班迪”等等。

1740年，一位法国探险家在考察圣劳伦斯河谷时，根据自己的所见所闻写出了一篇报道，报道中曾提及一队易洛魁人用木棍击打一种质地坚硬小球的游戏形式。除了较为正规的木制用球，许多冰面经常见到人们用木片、铁罐头筒，甚至河卵石或马粪蛋作为比赛用球。他们在湖面筑起边界，以防止球被打丢失。

流行于加拿大的早期冰球，并没有统一的比赛规则和严格的组织。加拿大早期出版的《冰球大全》一书对比赛有着这样的描述：在早期的一次冰球比赛中，曾经连续更换了6名裁判员，但直至第8名裁判员执裁，观众才感到满意；冰球比赛中还有监门员的设置，他们一般站在木棍围起的球门后面监视球是否入门。

1875年3月3日，一位名叫格汤布的冰球爱好者,倡导在蒙特利尔维多利亚冰场举行了首次正式冰球比赛。4年以后，蒙特利尔麦吉尔大学的罗伯逊教授和史密斯教授共同制定了一份正式比赛规则，将比赛人数限定为每队9人。这可以说是现代冰球较早的一套竞赛规则。之后的1885年，一些蒙特利尔冰球爱好者自发组织了“加拿大业余冰球协会”，同时将参赛人数由每队9人改为7人（1912年改为六人制打法，并一直沿用至今）。

1920年男子冰球被作为正式项目纳入了第7届奥运会，1924年，冰球被划入冬季奥运项目。1993年，国际奥委会将女子冰球列为1998年日本长野第18届冬奥会比赛项目。