笔记这种体裁，汉代已有，如班固的《白虎通义》（一名《白虎通德论》，简称《白虎通》）、应劭的《风俗通义》（简称《风俗通》），实际就是考据辨证类的笔记。《白虎通义》虽为讲说五经而撰，但分题立论，如爵、号√五祀、社稷、礼乐等等，解释甚详，各具系统，可藉以了解古代的政教制度，和一般的经传注疏不同。《风俗通义》则分门别类地论述事物，如其中的愆礼、过誉、十反等篇，就事论人，颇似《世说新语》的人物品评；正失篇纠正俗说之谬；声音篇考据音律、乐器等等，就更像后来的丛谈兼辨证的札记一类。此外，如蔡邕的《独断》、应劭的《汉官仪》，也是汉人的考证类的笔记。
    小说故事类和历史琐闻类的笔记的渊源，则更远一些，先秦古书中实已包含了后来笔记中的这两种内容。
    中国小说也起源于神话传说，魏晋南北朝志怪体的笔记小说，即继承古代神话传说的系统又受其本身的时代社会的影响演变而成。虽然由于从前我们缺乏记录它们的专书，而亡佚了不少，但仍有许多这类故事散见于先秦古籍。如《诗经》中的大雅《生民》歌咏周朝的祖先姜螈因为踩了一个大人的脚印而怀孕生后稷，屈原楚辞《天问》内提出的许多问题，就都是神话传说。《左传》鲁庄公八年记齐襄公在田猎时见到他所杀死的公子彭生的鬼魂所化的大豕“人立而啼”；鲁宣公十七年记晋魏颗没按父亲的遗命把父妾殉葬而使她改嫁，后来和秦国打仗，这个妾的亡父就“显灵”用草绳替魏颗绊倒敌人以“报恩”。这已很像魏晋志怪小说中讲因果报应的故事。又《吕氏春秋》疑似篇记黎丘丈人醉归，有奇鬼变成丈人之子的形状去在途中侮辱他；第二天丈人复饮于市，他的儿子怕父亲又为鬼所戏弄，就去接他；可是丈人竟误认自己的儿子为鬼而拔剑刺之死。这本是一则设譬说理的寓言，讽刺人的不辨真假，而《搜神记》即据此内容，演绎为秦巨伯刺杀两孙一节，变成以宣扬鬼怪变化为中心的故事。通过上述几例，可以看出魏晋志怪体笔记小说的渊源。另外，先秦古籍中的《山海经》和《穆天子传》这两部书，对后来的志怪小说更有较大的影响：《山海经》记山川异物，谈祭祀神祗，为有关巫术的神话集；《穆天子传》写周穆王驾八骏马西征，会见西王母的故事，为神话式的“野史”。这两部书实际可以算作最早的志怪体笔记小说。
    ……