aralexu
2020-09-02 阅读量: 461
目前集群不支持模型训练环境的搭建，申请了一台DEV机器训练了模型，通过DEV机器对数据做预估，将预估结果传输到hadoop中做下一步处理。DEV机器无法连接集群，只能通过IDC来进行数据传输。DEV访问IDC链路已经实现，目前需要IDC访问DEV打通，每天的数据量大概是三四百万，请问可以实现么？
★深度学习；模式识别；图像处理；人工智能建模；人工智能；深度学习算法；强化学习；神经网络；卷积神经网络；人工神经网络；VIBE算法；控制系统仿真；机器学习；高性能计算；数据挖掘；超算；ACL；算力；计算机视觉；PSU；Transformer；PLM；SLM；NLM；LLM；Galactica；OPT；OPT-IML；BLOOM；BLOOMZ；GLM；Reddit；H100；H800；A100；A8
M1芯片 | Uitra | AMD | A100M2芯片 | ARM | A800 | H100关键词：M2芯片；Ultra；M1芯片；UltraFusion；ULTRAMAN；RTX4090、A800;A100；H100；LLAMA、LM、AIGC、CHATGLM、LLVM、LLM、LLMs、GLM、NLP、ChatGPT、AGI、HPC、GPU、CPU、CPU+GPU、英伟达、Nvidia、
1、准备1.1电脑信息电脑版本：MacBook Pro 14 2023处理器： M2 pro内存 ：16GBmacos：13.4Linux ：almalinux 9.1Shell ：termius1.2 前置程序安装Linux https://www.cda.cn/discuss/post/details/649fba2a34a19c3cbf04a7c5安装hadoop https://www.c
1.准备安装Linux https://www.cda.cn/discuss/post/details/649fba2a34a19c3cbf04a7c5安装hadoop https://www.cda.cn/discuss/post/details/64b36e35f6b83a33b072c5fb下载hive 和 mysql 安装包Hive：apache-hive-3.1.2-bin.tar.gz
