主机参考:VPS测评参考推荐/专注分享VPS服务器优惠信息!若您是商家可以在本站进行投稿,查看详情!此外我们还提供软文收录、PayPal代付、广告赞助等服务,查看详情! |
我们发布的部分优惠活动文章可能存在时效性,购买时建议在本站搜索商家名称可查看相关文章充分了解该商家!若非中文页面可使用Edge浏览器同步翻译!PayPal代付/收录合作 |
作者简介:茹炳晟,业界知名实战派软件质量和研发工程效能专家,中国商业联合会互联网应用技术委员会智库专家,畅销书《测试工程师全栈技术进阶与实践》的作者,InfoQ极客时间“软件测试52讲-从小工到专家的实战心法&;的专栏作者。现任Dell EMC中国研发集团资深架构师,历任eBay中国研发中心测试基础架构技术负责人,HP软件中国研发中心资深架构师、性能测试专家,Alcatel-Lucent高级技术主管,Cisco中国研发中心资深工程师等职位,具有超过16年的软件研发经验和技术微盟“删库作为B端用户以及广大吃瓜群众,都会有这样的好奇,现在的,容器化部署,弹性扩缩容,正式聊技术前,我想先说说今年罗胖的跨年演讲《时间的朋友》,罗胖谈到“躬身入局&;让我这个常年和IT技术打交道的&;我辈中人“深有感触,很多时候当我们站在局外的时候,感觉很多事情都不复杂,但是当你投入其中之后,就会发现原来我们只是看到了冰山一角,很多事情要远远比你想的要复杂和困难。
举个很形象例子,人们通常喜欢采摘低垂的果实,因为就大脑的反馈来讲,低垂的果实是很容易采摘的,但是一个果实看起来低,它未必是真的低,很有可能是你离它太远了,当你走进一些,你会发现它比你最初看起来要高,当你再走进一些,你会发现根本高不可及。
这就像一座山,当你离它很远的时候,会觉得山不高,只有当你亲自走到山脚下,才会认识到自己更本不可能爬上去。这里我配了张图,是我当年在珠穆朗玛峰北坡登山大本营的照片,当时的海拔是5300米左右,我的身后就是传说中海拔8848的世界之巅珠穆朗玛峰,你也许看起来觉得似乎不高啊,那是应为我离得还足够远。换句话说,当你觉得一件事情很简单的时候,往往不是真的简单,而很可能是因为你不懂。
回到这次微盟事件,也是一样的道理,现代的大型互联网产品,无论是toC的还是toB的,站在用户的角度来看,使用都很简单,但是其背后的架构复杂性就是属于冰山下面的部分,其复杂程度会远远超过你的想象,我就常说一句话“认知限制了你的想象力&;。所以,我相信,此时此刻,微盟一定在冰山下面尽着自己最大的努力来推动数据早日恢复。
好了,接下来聊聊偏技术的话题。很显然,目前微盟的主要问题是在数据库的恢复上,由于官方并没有公布具体的技术细节,我在网上也只找到一张非常顶层的架构示意图,并没有能获得
首先让我们了解一下数据库的运行环境,简化来讲主要有以下三种:
“不上云&;:建立在自己的,完全自己“全上云&;:完全建立在云端环境之上。注意,这里的云可以是公有云,也可以是私有云。云厂商会提供全套的解决“假上云&;:这种对于上面三种方式,“不上云&;和“假上云&;对于数据的风险相比“全上云&;会更大,运维人员在“不上云&;和“假上云&;的情况下更容易有机会去执行类似“rm -rf /*&;和“fdisk&;类型的极端操作,而“全上云&;,就比较难有机会从操作如果删除操作不是发生在操作同样,面对数据的误操作问题(比如,错误地批量update表中数据的某个字段),“全上云&;也比“不上云&;和“假上云&;有明显的优势。这个我是有切身经历的,以前有个项目使用自建数据库,由于某个DBA的误操作,在生产环境的数据库上执行了一条没有加where条件的update语句,直接造成竞拍商品的出价记录字段全部丢失,而后就是艰难的全量回滚和binlog重放,最终耗时4个多小时才恢复。后来同样的误操作发生在了云端数据库,回滚恢复的时间只花了几分钟。
从之前要在这种情况下恢复全部数据,可想而知技术难度是很大的。根据我的粗略理解,至少要跨过下面这些技术的槛。
获取全量获取获取binlog,binlog是记录所有数据库表结构变更(例如CREATE、ALTER TABLE等)以及表数据修改(INSERT、UPDATE、DELETT等)的二进制日志文件,通常以索引文件(后缀为.index)和日志文件(后缀为.00000*)的形式存在磁盘上,通常为了保证binlog记录数据变更的准确性,一般都是采用row格式的binlog,因此文件尺寸也不小,而且文件个数也很多。
有了上面这些作为基本的输入,才能开始数据库层面的数据导入和恢复工作,这个过程也需要花费大量的时间,而且这是基于上述文件都可以100%得到为前提的,如果上述最后来说说磁盘文件的恢复。当我们对磁盘等存储介质上的文件进行删除操作,甚至是格式化操作(低级格式化除外)时,磁盘上的数据并没有真正从磁盘上消失,而只是在文件分配表中标注了一下而已,位于数据区的数据本身并没有被立即抹掉。只要文件的数据区没有被后面写入的信息覆盖,那么这些被删除的文件就是可以恢复的,这就是磁盘文件在删除后可以恢复的理论基础。
但是数据库的数据文件和备份文件往往很大,那么只要有个别数据区出现了重写,那么恢复出来的文件就是不完整的,这个时候就需要人为介入来进行修正,这个工作量以及技术难度就会很大,有时还会需要借助专用的仪器设备。在更复杂的情况下,还会采用数据雕刻技术(File Carving),数据雕刻技术是数字取证研究中频繁使用的一种文件恢复技术,它从表面上无差别的二进制数据集即原始磁盘映象中提取文件,而不利用磁盘的文件除此之外,像微盟如此庞大的系统,各个垂直事业部可能都有各自的业务数据库,这些数据库甚至可能采用了不同的方案,这种架构上的异构性也会给恢复过程带来极大的挑战。另外,即使部分数据恢复完成之后,也不能立即上线,而要等其他相关数据恢复,并且做好数据的的交叉校验,确保数据的万无一失,这些都需要大量的时间。
这些只是我能想到的一些情况,我站的也很远,也是从旁观者的维度在看问题,所以,我相信实际情况会比我所描述的更为复杂。我们还没法对最终的恢复结果作出推断,能够做的只有等待。
这几篇文章你可能也喜欢:
- 暂无相关推荐文章
本文由主机参考刊发,转载请注明:与时间赛跑:微盟的数据恢复为什么需要这么长时间 - 主机参考VPS测评 https://zhujicankao.com/7543.html
主机参考仅做资料收集,不对商家任何信息及交易做信用担保,购买前请注意风险,有交易纠纷请自行解决!请查阅:特别声明 |
相关推荐
-      Cloudflare加速好不好?CloudflareCDN网站加速好用吗?Cloudflare可以进行cdn加速吗?
-      Amazon CloudFront好用吗?AWS CDN好不好?,Amazon CloudFront可以进行cdn加速吗?
-      租用韩国服务器有哪些优势?使用韩国服务器的好处有哪些?
-      中国电信香港沙田电信机房,香港IDC机柜租用机房,香港免备案VPS云服务器机房
-      香港新世界电讯NWT机房,香港IDC机柜租用机房,香港免备案VPS云服务器机房
-      香港电讯盈科PCCW机房,香港IDC机柜租用机房,香港免备案VPS云服务器机房
-      香港九仓WTT机房汇港电讯,香港IDC机柜租用机房,香港免备案VPS云服务器机房
-      香港宽频HKBN机房,香港IDC机柜租用机房,香港免备案VPS云服务器机房
-      主机参考:Managed VPS和Unmanaged VPS有什么区别?我们应该如何正确选择Managed和Unmanaged VPS云服务器?Linux VPS的正确选择姿势
-      华为云“云游戏日”大咖云集,共同探讨游戏极速体验
-      见屏如面,华为云WeLink助力国网湖北电力开启远程办公模式
-      高效共享GPU!浪潮AIStation突破企业AI计算资源极限
评论前必须登录!
注册