❤️点击上方,选择星标或置顶,每天给你送上干货❤️
这两天字节跳动的一个新闻上了热搜,相信大多数人应该都已经听说了:事情大致经过就是字节跳动一个新实习生想删除HDFS下一个目录,可能是存储空间不够了吧。然后经过多方求证,确定了这个目录已经没用了,接着删除了,还使用了无法恢复的命令删除的。
这下公司很多轻量级模型全被删没了,受到了一定程度上的影响,也被认定为P0级事故。但因为实习生也是误删,还多方求证过的,所以对他的影响应该没那么大。
在知乎上还看到了个有趣的评论:
张一鸣:要Always Day 1。
实习生:懂了。
当然这只是调侃,虽然实习生权限给这么大,也反映了字节跳动一视同仁,人人平等的文化理念,但也暴露出了一些权限管理上的漏洞,这次事件也能给他们敲响警钟。
还有救吗?
我相信字节跳动应该有能力恢复被删除的模型的。那要是真的无法恢复了,就得全部重新训练了。虽然模型也不大,但架不住数量多啊,真要全部重新训练,还是得耗费不少时间的。
这时候有什么办法可以挽救呢?可以试试字节跳动人工智能实验室最近开源的LightSeq新版训练引擎啊!目前主流的NLP模型和部分CV模型都是基于Transformer的。用LightSeq进行训练加速,「本来要3天训练完的,现在最快只需要1天!」
技术原理和使用教程也在最近发布了,亲测非常好用,只需要几行代码。
「技术原理:」
支持Transformer全流程训练加速,最高加速3倍!字节跳动LightSeq上新
「使用教程:」
只用几行代码,我让模型『训练』加速了3倍以上!
「项目地址:」
/bytedance/lightseq
如果觉得好用,还请帮忙转发,点个star,让更多的人体会到极速训练的快乐。
- END -
我是godweiyang,华东师范大学计算机系本硕专业第一,字节跳动AI Lab NLP算法工程师,秋招斩获上海三家互联网大厂ssp offer,主要研究方向为机器翻译、句法分析、模型压缩与加速。最大特点就是脾气好、有耐心,有任何问题都可以随时咨询我,不管是技术上的还是生活上的。
公众号后台回复【内推】
可以通过我的内推码投递简历,加我微信还能随时查进度、咨询问题。
公众号后台回复【加群】
可以进我的技术交流群和内推群。
记得一键③连,今天的你格外的可爱????