胡澍对于赵之谦致力于经世之学的评价，不只出现在《异鱼图》的题跋中，在其为赵之谦《二金蝶堂印存》所做的序言中，也强调“撝叔素覃思经世之学，薄彼小技，聊资托兴，随作随弃，常无稿本。”事实上，赵之谦的经世之学思想，并不是客居北京之后才产生的，在创作《异鱼图》的温州时期，他就曾表达过想要续编《经世文编》的愿望，而这部由道光年间江浙布政使贺长龄主持，魏源编辑完成的140卷巨著，往往被视为是晚清经世致用思潮兴起的重要标志。以此往前追溯，赵之谦经世之学思想的源头，则在于缪梓的影响，这同时也解释了为何江弢叔与胡澍独具慧眼，注意到了《异鱼图》“奇趣”与“考证”背后的思想动机。
在时任江西建昌知县的董沛为缪梓所做的墓志铭中，称他：少以诗文驰誉天下，既长，讲经世之学，凡练兵、筹饷、治河、防海、行盐、转漕诸大政，抉擿其利病，皆有论譔。
晚清中国社会，随着内忧外患的加剧，越来越多的儒家精英开始积极寻求经邦治国之策，主张学以致用，倡导经世入世，强调学术研究着眼于现实政治与社会民生，因而形成了继清初顾炎武、黄宗羲等人之后，又一次经世致用思想的高潮。在这股潮流的推动下，立志于安邦治国平天下的学者和官僚，在抨击时弊、倡导变革、改良制度、边疆史地研究、撰修当代史及“师夷长技”等方面都做出了积极探索，而缪梓正是经世派的一员。
道光二十八年（1848）吴文镕抚浙时，“银贵钱贱”所导致的百姓赋税沉重及政府财政恶化等问题已经凸显，很多致力于经世之学的官员如贺长龄、吴嘉宾、徐鼐等都意识到其对社会造成的冲击并积极寻求解决的办法。致力于革除弊政，于吏风士习、海防、漕运、盐务等皆有建树的吴文镕亦亟思变通之法，而帮助他两次草拟货币改革方案奏疏的，正是缪梓。同时，缪梓还撰写了《银弊论》，主张“易银以钱而济钱以钞”，可见其深思熟虑。咸丰二年，缪梓擢升杭州同知，时太平军占据金陵，又逢江淮大旱，关系朝廷命脉的大运河受阻，南粮无法北运，户部下令亟筹变通之法。而漕运问题，此前也已引起了经世派的关注，因南方各省的漕粮都要经运河北运，其间几经转手、层层盘剥，糜费惊人，已为沉弊。包世臣、林则徐、陶澍、魏源、贺长龄等经世派官员，都曾提出过改革之法。借此机会，缪梓再次上书提议采用陶澍的以海运代漕运之法，终获施行。凡此币制、漕运等事，都表明缪梓在经世之学方面，既具深思，又得实践，其一生功名政绩皆出于此，自然也要言传身教，将其传于致力于举业的门人。
赵之谦 《异鱼图》（局部）琴虾
海洋生物对比图 琴虾
缪梓对于其幕僚的影响，其实呈现出了一条晚清思想和知识传播的特殊途径，赵之谦、江弢叔、胡澍、胡培系等人不仅是缪梓的幕僚，帮助处理政务文牍并领取酬劳，同时也得到了缪梓的教导和训练，因而成为其门人弟子，思想上亦深受其影响。赵之谦在《书江弢叔伏敔堂诗录后》记述自己的求学经历：
余四岁授书于里塾师，得章句。十三岁以前，自读宋五子书，求性道。十四岁弃之，为辞章之学。二十岁又弃之，为考证之学，学于溧阳师（缪梓）。师教学不薄辞章，不右宋，不左汉，主于有用。师以余为可用，日令读律例、视簿书，访求遗闻故事，考载记，按图籍，识古法以准今时。征成败利钝之故，观斟酌变通之机，凡七八年，新无成，旧则尽弃。
由此看来，赵之谦从缪梓那里继承的这套学术思想，体现了晚清儒学在汉、宋调和与经世致用方面的新特征，而不论是程朱理学的“格物致知”，还是乾嘉学派的训诂考证，其根本都统摄于经世致用的现实目的之下。具体到《异鱼图》，赵之谦所考证的对象，都是他在温州亲自经历、在现实生活中能够见到的海产，这些海产对于本地人而言可能非常熟悉，往往也是桌上的佳肴，而对于初来乍到的赵之谦而言却是全新的对象。赵之谦考证的目的在于了解一地的物产与风俗，这种“经世”态度使他与乾嘉以后汉学末流斤斤于文献中晦涩空疏的名物考证拉开了距离。而且，赵之谦的考证跋文也表明，他的考证工作并非那种抽象的从文献到文献的论证，更在现实观察和文献考证的基础上，吸收了当地“土人”在生产、生活中积累总结的经验和认识，可谓是对其“资考订、广见闻”的经世思想的具体实践。
回到艺术史中的“奇趣”