A legkorábbi kirakósok térképrejtvények voltak. 1762-ben a francia Dumas térképkereskedő a teljes térképet sok részre vágta, hogy az emberek összeállíthassák, így a kirakós játék előfutára lett. 1767-ben John Spearsbury brit térképész megalkotta a földrajz tanításának "anatómiai térképét", amelyet a világ első fa kirakós játékának tartanak.
A korai kirakós játékdarabok élei simaak voltak, így az összeállított puzzle könnyen szétesik. A „reteszelő” technika 1840-es feltalálása megoldotta ezt a problémát, továbbfejlesztését a kínai építészet bevágása és csapszerkezete ihlette. A 19. században a kirakós anyagok fáról rétegelt lemezre vagy kartonra változtak, a stancolt-vágási technológia pedig felváltotta a kézi fűrészt; ezek az újítások indították el a kirakós játékok tömeggyártását.
A kirakós játék oktatójátékból fokozatosan felnőttek szórakoztatásának formájává változott. A történelem során számos kirakós őrület volt. Az első 1907-től 1911-ig tartott, különösen az Egyesült Államok északkeleti részén népszerű, és a felsőbb osztályok körében a szórakozás egyik formája lett. A kirakós játék népszerűségének második hulláma egybeesett az 1930-as évek nagy gazdasági világválságával. Az alacsonyabb gyártási költségek és a karton használatának köszönhetően a rejtvények olcsó és népszerű szórakozási formává váltak, ami a kirakós játékversenyek felfutásához vezetett.
Japánban a kirakós rejtvények ismertsége jelentősen bővült az 1974-es "Mona Lisa kiállítás" után a Tokiói Nemzeti Múzeumban, amely megnövelte az importált kirakós játékok eladását. 2008-ban a Japan Jigsaw Puzzle Manufacturers Association kérelmezte, hogy március 3-át ismerjék el "Jigsaw Puzzle Day"-ként. Japán egyedülálló kirakós játékkultúrát fejlesztett ki, a játékosok gyakran belső dekorációként keretezik elkészített rejtvényeiket.
A 21. század óta a kirakós játékfajták folyamatosan bővültek, a témák pedig egyre változatosabbak lettek. A kirakós játékokat múzeumi kulturális és kreatív termékekkel és népszerű IP-címekkel kombinálták, így új formák születtek, mint például a 3D-s rejtvények, a világító-a-sötétben-és a digitális rejtvények.
