V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
joyqi
V2EX  ›  分享创造

有啥推荐的小说我抓取过来一块看呗

  •  
  •   joyqi ·
    joyqi · 2013-08-08 15:14:54 +08:00 · 5645 次点击
    这是一个创建于 4118 天前的主题,其中的信息可能已经有所发展或是发生改变。
    升级了下以前做的 http://heishuwu.com ,做了个爬虫来抓取小说,主要是给我和身边的书虫服务的。刚升级完,书库没什么书,大家有什么推荐的,最好是完本的。
    36 条回复    1970-01-01 08:00:00 +08:00
    heyli
        1
    heyli  
       2013-08-08 15:38:19 +08:00
    好奇爬虫是如何实现的?方便的话共享下思路
    搜索没有的小说是否会自动抓取? 是否要手动处理 怎么取正文的内容
    之前在做的 一直无法做得很好
    joyqi
        2
    joyqi  
    OP
       2013-08-08 15:45:22 +08:00
    目前小说是要手工录入的,还没做到那么自动化
    取正文的内容用的php dom对象的xpath实现的,针对不同的网站实现不同的匹配就行了,是个体力活
    heyli
        3
    heyli  
       2013-08-08 15:48:59 +08:00
    555 跟我实现的一样 但当有几百个人在看不同类型的小说时 就崩溃了 完全无法满足
    joyqi
        4
    joyqi  
    OP
       2013-08-08 15:54:32 +08:00   ❤️ 1
    这还不简单,在淘宝上买个带数据库的小说站,自己倒一遍就行了,就几十块钱
    pandada8
        5
    pandada8  
       2013-08-08 15:59:36 +08:00
    //我居然看到了凤凰面具
    网页似乎没有居中啊……
    linux + Chrome
    heyli
        6
    heyli  
       2013-08-08 16:01:25 +08:00
    都是已有小说就没有吸引力了 处理的绝大部份都是正在连载的小说
    jedicxl
        7
    jedicxl  
       2013-08-08 18:08:13 +08:00
    大陆的所谓奇幻和武侠修真的都没法看啊楼主

    网络小说的话,已完结的推荐《阿里布达年代祭》、《风姿物语》,未完结的有《妖刀记》、《六朝清羽记(系列)》(呃。。除了风姿物语,其他三个都是H的。。。)
    上述这些都是台湾作者的,仅仅是做推荐阅读,但是否适合放到你这个站上,个人觉得不太合适,毕竟涉及版权。
    shierji
        8
    shierji  
       2013-08-08 19:44:02 +08:00
    凡人修仙传啊。。。。传说中的大坑啊
    fangzhzh
        9
    fangzhzh  
       2013-08-08 20:01:31 +08:00 via Android
    @jedicxl 别逗了 都抓取了哪还有考虑版权问题
    jedicxl
        10
    jedicxl  
       2013-08-08 20:07:17 +08:00
    @shierji 凡人修仙传的人物塑造和剧情实在是我看过的网络小说中数得着的烂的,文笔也差的一比。但是很奇特的是想象力却还算不错。整篇小说基本就靠想象力撑起来了
    joyqi
        11
    joyqi  
    OP
       2013-08-08 20:11:39 +08:00
    @shierji 我想问一下凡人修传写完没。。。我没毕业就看了,已经5年多了
    mongodb
        12
    mongodb  
       2013-08-08 20:14:02 +08:00
    @jedicxl 冲这个说法我要去看看了。。
    why
        13
    why  
       2013-08-08 20:32:41 +08:00
    等你抓好了我再抓你的
    binux
        14
    binux  
       2013-08-08 20:39:02 +08:00   ❤️ 2
    我干过 http://www.shupeng.com/netnovel 是我抓的,带内容
    shierji
        15
    shierji  
       2013-08-08 20:41:52 +08:00
    @joyqi 据说要完结了。。。。
    davepkxxx
        16
    davepkxxx  
       2013-08-08 20:46:48 +08:00
    D坂杀人事件 (午夜文库) 江户川乱步
    龙文身的女孩 斯蒂格·拉森 (Stieg Larsson)
    日瓦戈医生 (诺贝尔文学经典) 帕斯捷尔纳克
    白银时代 (时代三部曲) 王小波
    一九八四(译文名著精选) 奥威尔(George Orwell)
    动物农场 (译文经典) 乔治•奥威尔(George Orwell)
    黑客与画家:硅谷创业之父Paul Graham文集 阮一峰
    悟空传(完美纪念版) 今何在
    诺贝尔文学奖作品典藏书系:鼠疫 A.加缪
    福尔摩斯探案大全集(超值金版) (家庭珍藏经典畅销书系:超值金版) 阿瑟·柯南·道尔(Arthur Conan Doyle)
    明朝那些事儿(第5部):帝国飘摇 当年明月
    明朝那些事儿(第6部):日暮西山 当年明月
    明朝那些事儿(第4部):粉饰太平 当年明月
    明朝那些事儿(第7部):大结局 当年明月
    明朝那些事儿(第3部):妖孽宫廷 当年明月
    明朝那些事儿(第2部):万国来朝 当年明月
    明朝那些事儿(第1部):洪武大帝 当年明月
    塔希里亚故事集3 吴淼
    帝国最后的荣耀:大明1592抗日援朝(套装共2册) 马伯庸
    追风筝的人 胡赛尼
    hewwcn
        17
    hewwcn  
       2013-08-08 21:07:05 +08:00
    msg7086
        18
    msg7086  
       2013-08-08 21:57:27 +08:00
    刀剑神域
    樱花庄的切糕女友
    Mcatt
        19
    Mcatt  
       2013-08-08 22:16:39 +08:00
    《无限恐怖》
    chainkhoo
        20
    chainkhoo  
       2013-08-08 22:44:35 +08:00
    @binux 网站做得真好!赞!
    faceair
        21
    faceair  
       2013-08-08 22:53:15 +08:00
    去抓安卓搜狗阅读的api
    daoluan
        22
    daoluan  
       2013-08-09 09:02:50 +08:00
    具体是哪个网站,分析网站的结构,然后抓?
    williamx
        23
    williamx  
       2013-08-09 10:07:57 +08:00
    《修真世界》绝对要入啊!
    yumkyo
        24
    yumkyo  
       2013-08-09 10:37:53 +08:00
    http://www.lkong.net/book.php
    龙空的推书榜,个人比较认可。
    Tiny
        25
    Tiny  
       2013-08-09 10:43:01 +08:00
    没人看雪中悍刀行?
    kachens
        26
    kachens  
       2013-08-09 12:18:53 +08:00
    我是个算命先生
    hanbaoo
        27
    hanbaoo  
       2013-08-09 12:19:43 +08:00
    大家看的书五花八门哈哈,真是繁荣
    missdeer
        28
    missdeer  
       2013-08-09 14:33:07 +08:00
    嗷嗷嗷,我也想做这样一个扒小说的东西很久了,抓文本正文容易,用Readability就行了,就怕是图片正文然后要求重排以适应不同大小屏幕(移动设备),其实貌似也有现成算法和实现了(k2pdfopt)。。。万事俱备,只欠动力。。。
    xiasix
        29
    xiasix  
       2013-08-09 18:10:29 +08:00
    @Tiny 我看。。千万别太监 别太监 别太监。。
    mofan
        30
    mofan  
       2013-08-09 19:30:01 +08:00
    livid竟然还没出来说「请不要在V2EX讨论盗版」~
    Tiny
        31
    Tiny  
       2013-08-09 21:41:43 +08:00
    @xlaslx 感觉还有大半没写,期待啊~
    shinwood
        32
    shinwood  
       2013-08-09 22:01:38 +08:00
    赞!喜欢这种不带修饰的文字版站点,就是用 Safari mobile 版本看字略小。
    asca
        33
    asca  
       2013-08-10 11:09:42 +08:00
    猫腻写的几部都不错啊
    wingoo
        34
    wingoo  
       2013-08-10 11:24:43 +08:00
    猫腻最近停更了啊...
    最近在追 升邪, 很有意思
    riccar
        35
    riccar  
       2013-08-16 14:48:57 +08:00
    风姿物语
    hutushen222
        36
    hutushen222  
       2013-08-16 15:04:14 +08:00
    在追方想大大的《不败战神》,最近申请了Mailgun的免费账户,正在写定时抓取更新并将内容发送到邮箱的脚本。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2919 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 13:44 · PVG 21:44 · LAX 05:44 · JFK 08:44
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.