由于煤的颜色黝黑，人们曾经把它当作墨，用来写字。明朝学者陶宗仪在《辍耕录》一书中曾指出，古人“以石磨汁”而书，这种“石”就是煤。煤在古代又叫“石墨”（不是近代制铅笔用的石墨），直到东汉末年，这种用来写字的“石墨”，才逐渐被人造墨所代替。
人们很早就知道煤是可以燃烧的物质，并且很早就把它当作燃料来使用。1958年，河南巩义市铁生沟的群众在当地发现了一处西汉末年的冶铁遗址，在出土的实物中，最引人注意的是冶铁燃料中，有煤块和用煤末掺合黏土、石英制成的煤饼。考古学家们认为：煤用于冶炼比用于日常生活要晚一些，使用煤饼又要比使用煤块晚一些；而铁生沟冶铁遗址不仅把煤用于冶炼，并且还知道制成煤饼，这说明在西汉末年以前，我国人民用煤做燃料，已经有了很长的时间。
东汉末年，煤的使用有了进一步发展。据记载，曹操在邺县（今河北临漳县西）修筑了规模巨大的铜雀台、金虎台和冰井台三处别墅。其中冰井台有房屋一百四十间，台上有冰室，冰室内有井，井深十五丈，井里储藏着数十万斤煤。这段材料告诉我们，煤在那时候已经被大量使用了。
煤和木炭的颜色、用途相同，因此人们又把煤称为“石炭”。据宋朝学者庄季裕在《鸡肋篇》中记载，北宋时，石炭代替木柴，已经成了汴都（河南开封）居民不可缺少的燃料。