廉洁最早出现在战国时期伟大诗人屈原《楚辞·招魂》：“朕幼清以廉洁兮，身服义尔未沫。”东汉著名学者王逸在《楚辞·章句》中注释说：“不受曰廉，不污曰洁。”就是说不接受他人馈赠的钱财礼物，不让自己清白的人品受到玷污，就是廉洁。
中国的廉洁文化历史源远流长。早在《尚书·皋陶谟》中就有关于“廉”的论述：“宽而栗，柔而立，愿而恭，乱而敬，扰而毅， 直而温，简而廉，刚而塞，强而义。”春秋战国时期，诸子百家关于“廉”的论述十分丰富。孟子说：“可以取，可以无取，取伤廉。”法家的集大成者韩非说：“所谓廉者，必生死命也，轻恬资财也。所谓直者，义必公正，心不偏党也。”法家的另一代表人物管子认为“国有四维”，即“礼、义、廉、耻。”《韩诗外传》所说：“智者不为非其事，廉者不求非其有。”“行廉以保其真，守清以保其身。”这些名言警句，无不闪烁着廉洁文化的光芒。
古人奉行廉洁从政。《周礼》曾经提出，对官员的考核有六廉：廉善、廉能、廉敬、廉正、廉法、廉辨，六个方面均以“廉”为冠。明朝郭允礼撰写《官箴》，提出“吏不畏吾严而畏吾廉，民不服吾能而服吾公；公则吏不敢慢，廉则民不敢欺。公生明，廉生威”，最为后世称道。历朝历代都有许多清官廉吏、贤人君子把廉洁品格作为自己的价值理想和政治实践追求，如汉朝的贾谊、董仲舒，魏晋时期的诸葛亮、陶渊明，唐朝的魏征、狄仁杰，宋元时期的范仲淹、包拯、司马光、王安石，明清时期的张居正、海瑞、顾炎武、于成龙等，他们的廉洁思想和实践，对后世产生了积极影响。
官廉则政举，官贪则政危。汉文帝“履不藉以视朝”，他穿着草鞋上殿办公；他的龙袍叫“绨衣”，绨在当时就是一种很粗糙的色彩暗淡的丝绸，就是这样的龙袍，汉文帝也一穿多年，破了就让皇后给他补一补再穿；汉文帝在遗诏中交代简办丧事，建一座简陋的坟地。由于汉文帝清廉的精神和励精图治的实践，才造就了“文景之治”的盛世。
相反，春秋虞国国君不廉而贪，最后亡国。春秋时期，晋国崛起，晋献公想吞并邻近的虞、虢两个小国家。但虞、虢两个国家相处得十分和睦，结成联盟。晋国如袭虞国，虢国会出兵救援；晋国若攻虢国，虞国也会出兵相助，晋国无可奈何。公元前658年，晋国大臣荀息向晋献公献上一计：“先把两件宝物——屈地所产的名马和垂棘出产的玉璧送给虞国国君，然后以攻打虢国的名义向虞国借道。”几天后，虞公高兴地观赏晋国送来的“屈地良马”和“垂棘之璧”两件宝物。之后，晋国要求虞国借一条进兵道路以讨伐虢国。虞国大臣宫之奇劝谏说：“虢、虞之唇也，唇亡齿寒，晋今日取虢，而虞明日从而亡也。”虞公得了晋国的宝物，就不听大臣宫之奇的劝说，遂许晋国借道，出兵伐虢。
