VPS参考测评推荐
专注分享VPS主机优惠信息
腾讯云双11

便宜国外vps论坛_关于用aria2上传脚本调用rclone并发数的问题

华为云双11上云嘉年华
主机参考:服务器测评参考推荐网,专注分享服务器优惠信息!如果您想在本站投放您的广告,点此直达!如果您不想付费,您也可以免费投稿您的产品信息,点此直达联系我们
部分文章发布时间较久远,可能存在未知因素,购买时建议在本博客搜索商家名称,可查看相关文章充分了解商家!若非中文页面可使用谷歌浏览器同步翻译!跑路不诚信商家列表

如题,vps是buyvm的最低配+256的存储块,当我从别人onedrive下载一部电视剧时,包含几十个直链,通常下载速度远大于上传速度世纪互联单个文件上传速度限制100Mbs)。于是就出现问题了,vps本地有多少文件脚本就会生成多少个并行的rclone任务。cpu内存在相当长的一段时间内都几乎处于满载状态,并行数高于5个大概率会崩溃便宜国外vps论坛_关于用aria2上传脚本调用rclone并发数的问题-主机参考  所以我想问问大佬们能不能上传脚本上传并行数加一个限制便宜国外vps论坛_关于用aria2上传脚本调用rclone并发数的问题-主机参考 rclone的–transfers(控制最大同时传输任务数量)貌似没用?改为3之后,cpu和内存依旧几乎占满。。。。。。
脚本地址:
这是脚本关于上传部分的代码:
UPLOAD_FILE() {
    echoe “$(DATE_TIME) ${INFO} Start upload files…”
    TASK_INFO
    RETRY=0
    RETRY_NUM=3
    while [ ${RETRY} –le ${RETRY_NUM} ]; do
        [ ${RETRY} != 0 ] && (
            echo
            echoe “$(DATE_TIME) ${ERROR} Upload failed! Retry ${RETRY}/${RETRY_NUM} …”
            echo
        )
        rclone movev “${LOCAL_PATH}” “${REMOTE_PATH}”
        RCLONE_EXIT_CODE=$?
        if [ ${RCLONE_EXIT_CODE} –eq 0 ]; then
            UPLOAD_LOG=”$(DATE_TIME) ${INFO} Upload done: ${LOCAL_PATH} -> ${REMOTE_PATH}”
            OUTPUT_UPLOAD_LOG
            DELETE_EMPTY_DIR
            break
        else
            RETRY=$((${RETRY} + 1))
            [ ${RETRY} –gt ${RETRY_NUM} ] && (
                echo
                UPLOAD_LOG=”$(DATE_TIME) ${ERROR} Upload failed: ${LOCAL_PATH}”
                OUTPUT_UPLOAD_LOG
            )
            sleep 3
        fi
    done
}

各路大神的回复

注册上传可以rsync

倚剑听枫: 我上传到sharepoint用的,用rsync?

qianmianyao: 你可以考虑写一个队列脚本aria2的进入队列池,然后队列池单独维护一个worker操作rclone 超级简单版: aria2 完成时队列脚本生成 1.txt 2.txt …… 队列池 master 监控 1.txt 2.txt …… 发现则启动worker操作rclone上传完成就删除对应txt

倚剑听枫: 默认的应该是4 楼主改成1试下

Syc: 我要是会就不来问大家了。。。。。。

damoo这个支持上传世纪互联的sharepoint

倚剑听枫: 超级简单版: aria2 完成时队列脚本生成 1.txt 2.txt …… 队列池 master 监控 1.txt 2.txt …… 发现则启动worker操作rclone上传完成就删除对应txt

yanaxiao上传脚本上传到哪无关,只要你能挂载上,它就能上传

Syc这个transfer是单次rclone是控制的同时任务数 aria2每完成一个任务就会启动一个rclone 可以考虑上传脚本加个判断现在进程里rclone的个数,大于三个就等待多少秒在检测 或者楼上说的列队

注册: 那怎么挂载 25T?

注册: 你把这个解决了我就告诉你

yanaxiao: 我上传gd用的就是rsync

倚剑听枫: 太高深了,不会帮顶

qianmianyao: 没用过,你限制不了上传,你可以限制下载并行啊。

laogui: 顶顶

主机参考zhujicankao.com_收集国内VPSVPS测评主机测评,云服务器,虚拟主机,独立服务器,国内外服务器,高性价比建站主机相关优惠信息
详细介绍和测评国外VPS主机,云服务器,国外服务器,国外主机的相关优惠信息,商家背景,网络带宽等等,也是目前国内最好的主机云服务器VPS参考测评资讯优惠信息分享平台

打赏
转载请注明原文链接:主机参考 » 便宜国外vps论坛_关于用aria2上传脚本调用rclone并发数的问题
主机参考仅做资料收集,不对商家任何信息及交易做信用担保,购买前请注意风险,有交易纠纷请自行解决!

评论 抢沙发