VPS参考测评推荐
专注分享VPS主机优惠信息
衡天云优惠活动
华纳云优惠活动

便宜国外vps论坛_关于用aria2上传脚本调用rclone并发数的问题

主机参考:VPS测评参考推荐/专注分享VPS服务器优惠信息!若您是商家可以在本站进行投稿,查看详情!此外我们还提供软文收录、PayPal代付、广告赞助等服务,查看详情!
我们发布的部分优惠活动文章可能存在时效性,购买时建议在本站搜索商家名称可查看相关文章充分了解该商家!若非中文页面可使用Edge浏览器同步翻译!PayPal代付/收录合作

如题,vps是buyvm的最低配+256的存储块,当我从别人onedrive下载一部电视剧时,包含几十个直链,通常下载速度远大于上传速度世纪互联单个文件上传速度限制100Mbs)。于是就出现问题了,vps本地有多少文件脚本就会生成多少个并行的rclone任务。cpu内存在相当长的一段时间内都几乎处于满载状态,并行数高于5个大概率会崩溃便宜国外vps论坛_关于用aria2上传脚本调用rclone并发数的问题-主机参考  所以我想问问大佬们能不能上传脚本上传并行数加一个限制便宜国外vps论坛_关于用aria2上传脚本调用rclone并发数的问题-主机参考 rclone的–transfers(控制最大同时传输任务数量)貌似没用?改为3之后,cpu和内存依旧几乎占满。。。。。。
脚本地址:
这是脚本关于上传部分的代码:
UPLOAD_FILE() {
    echo -e “$(DATE_TIME) ${INFO} Start upload files…”
    TASK_INFO
    RETRY=0
    RETRY_NUM=3
    while [ ${RETRY} -le ${RETRY_NUM} ]; do
        [ ${RETRY} != 0 ] && (
            echo
            echo -e “$(DATE_TIME) ${ERROR} Upload failed! Retry ${RETRY}/${RETRY_NUM} …”
            echo
        )
        rclone move -v “${LOCAL_PATH}” “${REMOTE_PATH}”
        RCLONE_EXIT_CODE=$?
        if [ ${RCLONE_EXIT_CODE} -eq 0 ]; then
            UPLOAD_LOG=”$(DATE_TIME) ${INFO} Upload done: ${LOCAL_PATH} -> ${REMOTE_PATH}”
            OUTPUT_UPLOAD_LOG
            DELETE_EMPTY_DIR
            break
        else
            RETRY=$((${RETRY} + 1))
            [ ${RETRY} -gt ${RETRY_NUM} ] && (
                echo
                UPLOAD_LOG=”$(DATE_TIME) ${ERROR} Upload failed: ${LOCAL_PATH}”
                OUTPUT_UPLOAD_LOG
            )
            sleep 3
        fi
    done
}

各路大神的回复

注册上传可以rsync

倚剑听枫: 我上传到sharepoint用的,用rsync?

qianmianyao: 你可以考虑写一个队列脚本aria2的进入队列池,然后队列池单独维护一个worker操作rclone 超级简单版: aria2 完成时队列脚本生成 1.txt 2.txt …… 队列池 master 监控 1.txt 2.txt …… 发现则启动worker操作rclone上传完成就删除对应txt

倚剑听枫: 默认的应该是4 楼主改成1试下

Syc: 我要是会就不来问大家了。。。。。。

damoo这个支持上传世纪互联的sharepoint

倚剑听枫: 超级简单版: aria2 完成时队列脚本生成 1.txt 2.txt …… 队列池 master 监控 1.txt 2.txt …… 发现则启动worker操作rclone上传完成就删除对应txt

yanaxiao上传脚本上传到哪无关,只要你能挂载上,它就能上传

Syc这个transfer是单次rclone是控制的同时任务数 aria2每完成一个任务就会启动一个rclone 可以考虑上传脚本加个判断现在进程里rclone的个数,大于三个就等待多少秒在检测 或者楼上说的列队

注册: 那怎么挂载 25T?

注册: 你把这个解决了我就告诉你

yanaxiao: 我上传gd用的就是rsync

倚剑听枫: 太高深了,不会帮顶

qianmianyao: 没用过,你限制不了上传,你可以限制下载并行啊。

laogui: 顶顶

主机参考zhujicankao.com_收集国内VPSVPS测评主机测评,云服务器,虚拟主机,独立服务器,国内外服务器,高性价比建站主机相关优惠信息
详细介绍和测评国外VPS主机,云服务器,国外服务器,国外主机的相关优惠信息,商家背景,网络带宽等等,也是目前国内最好的主机云服务器VPS参考测评资讯优惠信息分享平台

这几篇文章你可能也喜欢:

本文由主机参考刊发,转载请注明:便宜国外vps论坛_关于用aria2上传脚本调用rclone并发数的问题 https://zhujicankao.com/44097.html

【腾讯云】领8888元采购礼包,抢爆款云服务器 每月 9元起,个人开发者加享折上折!
打赏
转载请注明原文链接:主机参考 » 便宜国外vps论坛_关于用aria2上传脚本调用rclone并发数的问题
主机参考仅做资料收集,不对商家任何信息及交易做信用担保,购买前请注意风险,有交易纠纷请自行解决!请查阅:特别声明

评论 抢沙发

评论前必须登录!