第1届现代奥林匹克运动会于1896年在希腊雅典举行。关于选址，有一个小故事。原本，法国人皮埃尔·德·顾拜旦建议第1届奥运会于1900年在法国巴黎举行，与世界博览会同时进行。但希腊代表团坚持希望在发源地希腊举办，最终获得支持。因此，第1届现代奥运会提前至1896年举行，满足了顾拜旦的愿望，也使得希腊成为理想的选择。
由于当时条件有限，首届奥运会游泳比赛是在海水中进行的。选手们被带到皮莱乌斯附近的齐亚湾，在海水中展开竞争。由于四月初的海水温度较低，许多选手难以适应，比赛场景颇具戏剧性。泳道标记是由漂在水面上的南瓜构成，选手们从船上出发，游向岸边，不求姿势，只按到达先后排名。许多选手因各种原因退赛，例如500米比赛仅有3人完成，1200米比赛也有4人未能到达终点。
1900年巴黎第2届奥运会，因与同年的世界博览会合并举办，持续了5个多月，被称为“马拉松式的奥运会”。这届奥运会的赛程安排冗长，场地设施也有待改进，一些选手甚至不知道自己参加的是奥运会。尽管如此，本届奥运会还是有一些值得记忆的时刻，比如马拉松比赛的戏剧性结果，以及美国选手劳伦的投机取巧行为。
1904年圣路易斯第3届奥运会马拉松比赛中，美国选手劳伦因投机取巧而获得金牌，但随后被取消资格。而在1936年柏林第11届奥运会上，男子撑杆跳高比赛因持续时间过长，最终美国选手米道斯获得冠军，而两名日本选手因成绩相同，未能进行额外的比赛。
在1960年罗马第17届奥运会上，埃塞俄比亚选手贝基拉赤脚夺得马拉松比赛金牌，成为民族英雄。他的故事在奥运会历史上留下了深刻的印记。而1972年慕尼黑第20届奥运会上，乌干达选手阿基·布阿在400米栏比赛中丢失了金牌，后来得到了德国彪马体育用品公司的特别定制奖牌作为补偿。
奥运会历史上还有一些其他的趣事，如1976年蒙特利尔第21届奥运会期间，圣火台上的圣火被大雨浇灭，经过一番周折后，圣火才得以重新点燃。在1984年洛杉矶第23届奥运会女子4x400米预赛中，波多黎各选手梅特琳因伤退赛，她的孪生姐妹玛格丽特临时顶替出场，波多黎各队最终晋级决赛，但后来教练得知真相后，决定让队伍退出决赛。
这些轶闻趣事丰富了奥运会的历史，成为人们津津乐道的话题。
