疏草木，注虫鱼，非我撝叔事，然且为之枉其心矣。今天下之怪物不在鳞介，亦既时产于海滨，撝叔今年客瑞安，既饱见之，使能以笔为刀而尽脍焉。弃其残者于海，必且化为十百千种异鱼而为画所不能尽矣！时撝叔方佐东瓯戎幕，故记之如此。辛酉十月九日，长洲江湜。
江弢叔题跋
江氏的跋文一开始就点明了“疏草木，注虫鱼”的考证似乎并非赵之谦的志向所在，言语中透露出分别之际对于赵氏更大的期许。跋文后两句虽然仍是由千奇百怪的异鱼引发的感慨，但关于此图的考证目的，以及对于考证背后赵之谦人生与学术蕲向所做的暗示，却为我们进一步的求证工作提供了线索。
赵之谦自题
在江弢叔题跋之后，胡澍的题跋则更能击中要害，且胡澍对于赵之谦的了解也比江氏要深。胡澍与赵之谦的金石之契同样源于缪梓，二人先后在缪梓幕中共事达七年之久。而且，与赵之谦一样，缪梓之于胡澍亦有传道授业之恩，如其族叔、同客缪幕的胡培系在《事状》中记述：
负笈杭州从溧阳缪武烈公梓习制举业，君弱冠以前所作时艺，不甚合绳墨，而时有英锐之气。至是，武烈公教以古文之法为时文，君乃大喜，每闻公绪论，条记为一编，曰尊闻录，心摹手追，务竟其学。
由此可见，赵之谦与胡澍的治学思想都深受缪梓的影响，且胡澍的《事状》中，亦称赵之谦等人为同门。胡澍于咸丰九年安徽乡试中举，以此推断，二人几乎在同一时间离开缪幕，且都在次年北上参加会试途中遭遇太平天国战乱而折返。胡澍祖业遭战火焚毁，幸家眷无恙，此时杭城已被攻陷，无奈只得奔走浙东，促成了胡、赵二人在兵荒马乱中短暂的相聚：
……
乱离得欢喜，团聚从患难。
寄居于我室，谈笑恒彻旦。
僦屋更比邻，酒食互相唤。
食贫偏壮气，感事同扼腕。
这段比邻而居“谈笑彻旦”的时光，无疑是二人情谊的生动写照，而胡澍终究惦念故土，于当年八月冒险再返绩溪，不料绩溪旋即为太平军攻破，胡澍只得避走，以致音讯断绝。从胡澍离开绍兴，到他再次与身在温州的赵之谦取得联系，这段时间对于赵之谦而言可谓惴惴难安，刚一收到胡澍的来信，便喜不自胜回以长信，表达挂念之情：
……
脱难来无人，寄书苦路断。
魂梦杂疑似，畴与存亡判。
问讯到杭州，揣测疲晨旰。（六月十四，梦人述君噩耗。自四月后叠发三书金华，来者又不知里郑在何所，因以书寄杭州，而君果在）。
今兹释予忧，一夕神伴奂。
同治元年，太平军再次攻占杭州，胡澍又失去音信，此时赵之谦在给钱式演示篆法的《峄山刻石》篆书册中，既称“荄甫陷杭城，生死不可知”。而值得庆幸的是，这一年十二月，赵之谦再次北上京师准备参加同治二年（1863）的会试，竟得以在北京与胡澍重逢，且沈树镛、魏锡曾等金石艺友也先后抵京，四人以京师金石碑版既富，相与考证研究，“奇赏疑析，晨夕无间”，因刻“绩溪胡澍川沙沈树镛仁和魏锡曾会稽赵之谦同时审定印”，以志其盛。而赵之谦的《补寰宇访碑录》与《六朝别字记》亦脱稿于此时。
胡澍引首并题跋
客居北京期间，赵之谦向胡澍出示了《异鱼图》，并请其为该图题写引首。胡澍以篆书题写图名，并附有一段跋文：
图异鱼，非好异也，他鱼不待图也。撝叔少颖悟，长多能，近大肆力于经世之学，图繢其余事。然此卷足备一方物产，非寻常写生可比。方今圣人在上，中外一家，涉重洋如履平地，使得尽有。撝叔者随所见而悉图之，将以广见闻、资考订，不更快乎哉！同治二年春莫绩溪胡澍题耑并记，时同客都下。
胡澍的题跋指出：“好异”并非此图的目的，“奇趣”的直接来源是考证名物，而更深一层则是为了“足备一方物产”，这既和一般意义上文人怡情遣兴的写生不同，也同汉学末流空疏泥古的训诂考证拉开了距离，具有明确的现实目的。所以，“奇趣”与“考证”的根源都在于赵之谦的经世之学理想，与此学术人生的大道相比，绘画亦不过是追求这种理想过程中的一种记录方式。那么，赵之谦的经世之学思想究竟从何而来，又有哪些特征呢？只有解开这个问题，我们才能够真正理解《异鱼图》“奇趣”的思想动机与晚清社会思想潮流间的紧密关系。