便宜国外vps论坛_小说精品屋 – plus v2.5.0 发布，小说内容分表存储

各路大神回复说：

注册说： 支持关关采集就无敌了

201206030说： 更新这么好快。。搞得我都想开个小说站了

hihelllo说： 前排帮顶，不过有没有采集示例或者傻瓜式集成采集？

似毛非毛说： 已经内置了5个规则，按一下按钮就可以采集了啊，这样还不傻瓜

zixi说：

201206030说： 火钳留名  感谢分享

201206030说： 分表功能怎么可以关闭呢？

燕十三丶说： 支持大佬

爱因斯坦说： 唯一的问题是缺个大盘鸡

注册说： 有升级教程么？ 昨天刚装好的2.1.2，总不能刚采集了两百多G，再重装重采吧~

注册说： 厉害呀！！！帮顶！

klarns说： 刚看了看，300G了，出个升级教程吧

motao说： 最新更新那块能把章节列出来就好了

klarns说： 楼主高产似……

hnzdx说： 优秀 支持下

chitycheng说： 看代码仓库上面的issue，加一行配置就关闭了

hanweizhe说： 集成分表功能后，可以放在多台服务器上存储，用多个小盘鸡就可以了

201206030说： 后排帮顶

201206030说： 看有增量sql没有，有的话执行sql，然后直接替换jar就行了呀

注册说： 1.看有增量sql没有，有的话先执行sql，2.替换最新的jar  3.其他高级功能的开启看我oschina个人中心的博客 就两句话，还要单独出个教程么，第一步其实只有少部分版本才有，大部分只需要替换jar就行了，这还要出个教程吗？

注册说： 还是希望大佬能出个教程哈，一宿采了300G，也怪不容易的，怕弄坏

201206030说： 啊，最新更新那块有列出最新章节啊，全部都列出来怎么可能呀，有的几万章

klarns说： 怎么可能会弄坏呀，只要不乱搞数据库，顶多就是退回去呗

201206030说： 不是，我说的是首页最近更新那块，列出小说名和最新章节就够了，那个简介列出来太丑了，可以参考下笔趣阁就这么搞的

201206030说： 怕把数据弄坏的话，只要不升级爬虫就可以了，前端怎么搞，数据都不会弄坏的

hnzdx说： 怕把数据弄坏的话，只要不升级爬虫就可以了，前台怎么搞，数据都不会弄坏的

201206030说： 你说的小说精品屋？plus最近更新那块没有简介

201206030说：

201206030说： 大佬，厉害了

注册说： 小说精品屋及plus手机站的布局是参考m.biquge.info

注册说： 小说精品屋及plus手机站的布局是参考m.biquge.info

201206030说： 全球采集下来大概要多大多的硬盘啊，前面看到有兄弟说一夜采集了300G

201206030说： 不同的站点小说的量都不同的，你准备个1T的硬盘，多大的站应该都没问题了，一夜采集了300G，估计用了多台服务器采集吧，一台服务器不太现实

elvis2003说： 我就是一夜采集的300G，一台VPS

201206030说： 生猛

klarns说：

luckmc说： 当然这里面肯定有不少书的封面缩略图，没估算容量

klarns说： 应该包括了日志，但去掉日志，想想也不应该这么快呀，难道是你的服务器和源站的服务器是同一个服务商

klarns说： 图片还好，应该不会超过1G

注册说： 没太看懂，是加在爬虫的application-common-dev.yml最后一行吗？

注册说： 这种是properties的格式，改成yml的格式，百度一下properties和yml

爱因斯坦说： 修改novel-front目录下application-dev.yml文件中的数据库的配置。 没找到 application-dev.yml ，在哪里呢

201206030说： 实时截图，离上个图也就几分钟，3个G

贼梦贼康说： 这个是发行版zip压缩包该目录下的，如果是源码的话，不在那个目录下面，找文件还不容易，任何操作系统都有搜索文件功能吧

klarns说： cpu负载100%了？

201206030说： 看看小说数量多少？是不是正常的

201206030说： 1核心的vps

201206030说： 给点建议，如果把小说储存到数据库数据库鸭梨山大，随便几个T的小说是有的，建议下版本更新为数据库只储存书籍名称和章节名称，小说内容用txt储存，程序调用，完本书籍可以设置一键生产打包为一个txt最后压缩为zip。

klarns说： 怎么统计哈~ 光跑爬虫去了，后台功能都没研究

注册说： 直接去前台，点击全部作品，看分页数，或者查询数据表book的总记录数

注册说： 上一页12345…1739下一页 1739页

201206030说： 数据库内容表的并发量并不是瓶颈，不分表处理日pv100万都没啥压力，现在都分表了还压力大，你想放多少台服务器就放多少台？你想分多少台服务器存就分多少台，存txt才有压力好不？txt能放在多台服务器上吗？cpu,内存，硬盘都是瓶颈

klarns说： 火钳留名  感谢分享

201206030说： 日pv100万 平均到每秒才11点击，还不包括其他页面的访问量，数据库连这点并发都处理不了的话，可以不用了，而且现在可以分表，可以无限扩容，基本上不存在性能问题

guodaxia说： 正常的，流弊，估计你的服务器和源站服务器很近，不然不可能这么快

201206030说： 分页数已经超过你的演示站了，不知道你演示站用了多少空间

201206030说： 我发现很多小说，只有部分章节，采集源是笔趣阁，这种后续采集增加其他源，会补全吗? 那4个源哪个好?一般是只采集一个还说多个？多个采的话，同一本书是怎么处理的？

klarns说： 我没注意

yywudi说： 可以设置多少本后分表吗  比如3000本  还是5000本分一次

注册说： 你这是哪里的vps，硬盘这么大，线路怎么样，给个链接

注册说： 会补全的，你按自己的喜好来采集，想开几个就开几个，想放几台服务器同时采集就放几台服务器，如果只能开一个，我在程序里面也会限制的，你担心的这些问题全部属于程序bug类问题，这种问题你完全不用担心，真采集出问题了，就是紧急处理事件，会马上处理的，所以采集器你随便用，不要担心有问题，就怕有问题没有发现，除非是源站规则改变或者你自己写的规则本身有误导致的问题，不然不存在你想的那些问题。但是最好自己写源，再好的源，用的人多了，就不好了

优乐影视说： 一个源站用的人多了，自然超出了源站能够处理的最大并发数，所以请求超时是完全正常的，用的人越多，请求超时的概率就越大，导致数据抓取失败的概率也就越大

201206030说： 去学习sharding-jdbc的配置，学会了，怎么分表，都能够通过配置实现，不然分表策略千千万，我的程序都支持了，那还是得学习我的分表策略，学习成本是省不下来的，不会的话，程序默认是平均分表，数据平均分布到不同的表里面

201206030说： 绿云的大盘鸡

201206030说： 可以自己编辑采集规则吗

klarns说： 对

zhuyun9999说： 2.1.2升级的话，不需要开启分表，那么数据库就不用升级了吧？我看之前的 sql_0526的升级文件删掉了。 只需要用mvn打包 front和 crawl两个jar文件就可以？打包的时候需要改什么配置么? spring.autoconfigure.exclude=io.shardingsphere.shardingjdbc.spring.boot.SpringBootConfiguration 这个配置是写到哪个文件？

201206030说： 大盘鸡准备

yywudi说： 高产啊  我就想问下需要多大的硬盘

注册说： 楼主不是说了么，新版本支持数据库分表，也就是可以一堆机器一起跑， 搞几个便宜200G大盘鸡，分布式

注册说： 听起来贼6

yywudi说： 怎么从2.1.2更新到2.5并且不分表，兄弟你回了吗？

ajun59420说： 半夜装2.12终于成功，怎么升级啊，需要自己打jar包么

贼梦贼康说： http://www.java2nb.com/article/5.html 这个好像好久都打不开了

宝创说： 有点道理，后期看看，考虑用这个搭建一个

宝创说： 目前已采集350G

a87750530说： 不错，不错，看了介绍 感觉很牛叉！ 不过想问几个问题，希望楼主能解答一下子，谢谢！ 1、支持win服务器安装否？ 我只会使用win服务器 2、是否可以支持 按需采集。 这点很重要。 看了 前面他们说的一夜采集了几百G，什么垃圾小说都一咕噜采集下来，太大了。后期备份啊，什么的 估计都得要命。 按需采集，比如，采集某个源的小说，我只选择 某些id的小说来采集，也就是某本小说，自己选择性的采集某些小说即可。 这样 自己觉得不需要的小说就可以避开不采集了。 不然 采集了 海量的垃圾小说 没有多大意义，光吃硬盘而已。

klarns说： 1.支持win采集 2.单本采集在开发任务中，但优先级不高，可以关注后续版本

ouou8说： 这个站都停了

注册说： 后续版本需要自己打包，GitHub上传需要网络非常好，家里网络不好，上传不上去

注册说： 大佬，这个小说程序 支持 win 服务器 安装使用吗，如果支持，希望大佬有时间 出个 win 服务器的 安装使用教程呗 最后 期待大佬 后续完善 单本采集，同时支持出 多个id号一起采集，比如 输入 某源的 小说id说：1000,101,203。。。。 就是自己选择 某些id的小说采集。 和1到n 数字之间的采集。也就是区间采集。那就完美了，和关关差不多了。

201206030说： win安装和Linux一样，就是把Linux版本软件换成win版本。区间采集不太现实，有些小说ID不是数字，大部分都是两个数字中间加个特殊符号，还有的根本没有数字，我的爬虫是兼容所有网站，所有不考虑区间采集，只能单本采集

ouou8说： 硬盘占用已经四百一十多g了，有无可清理的空间？

201206030说： 数据库的binlog日志可以关掉

klarns说： 帮顶

201206030说： 源码版安装教程没有了 这里的新手们没有几个会打jar包的

四面楚歌说： 网站在维护，明天应该就可以了

宝创说： 硬盘增速已减缓，估计是爬的差不多了，目前414G

201206030说： windows下怎么运行楼主你的JAR程序，CMD运行貌似报错了，数据库拒绝访问

主机参考zhujicankao.com_收集国内外VPS，VPS测评，主机测评，云服务器，虚拟主机，独立服务器，国内外服务器，高性价比建站主机相关优惠信息
详细介绍和测评国外VPS主机,云服务器,国外服务器,国外主机的相关优惠信息,商家背景,网络带宽等等,也是目前国内最好的主机云服务器VPS参考测评资讯优惠信息分享平台

这几篇文章你可能也喜欢：

• 最适合Android开发的Linux发行版是什么？（linux android开发）
• 哪个Linux系统最适合Android开发？
• linux在嵌入式系统开发领域的广泛应用（嵌入式Linux应用场景）
• 微信官方账号开发详细介绍（微信官方账号开发方法）
• 传智和黑马微信公众平台开展视频资料共享（传智黑马培训学校怎么样）

本文由主机参考刊发，转载请注明：便宜国外vps论坛_小说精品屋 – plus v2.5.0 发布，小说内容分表存储 https://zhujicankao.com/33631.html