除了食用，核桃在中国人手中还发展了一种特殊的用途——文玩。
用于文玩的核桃在京、津、冀地区叫做山核桃。此类核桃的皮厚而实，纹路杂而深，肌理走势美感丰富，其用途有两个，一是被艺人用作雕刻原材料，供人观赏，二是被用来在手中揉搓盘玩健身，统称为文玩核桃。种类逾百，形制各异，大小不一，其精品也有叫雅玩核桃。
文玩核桃又称作“手疗核桃”、“掌珠”，民间还有“揉核桃”、“团核桃”、“耍核桃”等多种叫法。俗语有“十指连心”，即手上的穴位丰富，且与周身的经络、脏器相通，中医认为通过揉捏、敲打这些穴位，可疏通经络、促进血液循环。核桃冬不凉、夏不燥，盘玩揉捏时，既有趣味，又可健身。
把玩核桃始自明朝
山核桃被拿来揉手应是始自明朝，开始时只是宫廷琴师锻炼并保持手指灵活性的辅助工具，经过长期摩挲后，核桃纹路变得绛红圆润，包浆光泽如玉如瓷，被其他宫人们喜爱，逐渐普及开来，成为养生的器具之一，随之慢慢传到民间。因核桃在民俗中本有吉祥寓意，很容易被老百姓接纳，把玩的人越来越多，形成了一种风气、一种文化。
把玩的人多了，就会有攀比，人们开始追求核桃皮的纹路是否优美，大小、形状是否配对，是否稀有罕见，包浆是否红润光泽，而各种核雕工艺品更是被人追捧、赏玩。天启皇帝朱由校就核桃不离手，而且还自己雕刻核桃，此后，民间便有“玩核桃遗忘国事，朱由校御案操刀”的野史流传。
闲散旗人推动文玩文化
清朝入关之后，朝廷为奖励各旗族人在开疆、拓土、立国中的功勋，并防止他们滋事生非，给旗人们分配田产，不用纳粮、不用做工。旗人把田产分包给佃农长工、把钱财放贷给商户作坊，每年收租收息，便把大量的精力、时间和财富放在娱乐休闲方面。
清朝历代皇帝尊崇汉家文化，并倡导旗人们多读儒学经典，以博学识、养身心、怡性情，摆脱牧猎民族的“野蛮”习气，但有旗籍的男子，并没把心思放在寒窗苦读上，而是万分喜爱各式文玩。于是文玩文化在清朝达到发展的最高潮。
乾隆皇帝本人喜好清雅古趣，核桃的纹路成色所孕育的自然野气、长久把玩后的金石之声十分对他脾气，因而对揉手核桃格外喜爱。据传，他曾赋诗，“掌上旋日月，时光欲倒流。周身气血涌，何年是白头？”把玩核桃之风也借此达到鼎盛，被当时朝野文人归为“四雅”（核桃、鸟笼、扇子、葫芦）之一，官员们玩核桃之风最甚，一对好核桃竟然成为当时身份和地位的象征。商贾们或为附庸风雅，或为行贿纳贡，也争相进入了收藏核桃的行列。文玩核桃的价格更是水涨船高，其品种的划分命名也在这个时期逐渐被完善。京城郊外更是有几棵核桃树结的核桃成为了御用贡品。
