云原生大数据计算服务 MaxCompute学习环境的相关内容

文章 2024-10-18 来自：开发者社区

大数据体系知识学习（一）：PySpark和Hadoop环境的搭建与测试

1. 相关知识学习 1.1 Spark的基本介绍 Apache Spark是一个开源的大数据处理框架，使用内存计算方式加速大数据处理。Spark的主要优点包括高速批量处理、交互式查询、实时流处理以及机器学习等功能。**Spark由Scala语言实现，是一种面向对象、函数式编程语言，支持多种编程语言，如Scala、Java、Python和R等，可以运行在Hadoop集群上或者独立运行。**Spar....

文章 2022-10-20 来自：开发者社区

基于mac构建大数据伪分布式学习环境（十二）-部署DataX+DataX Web

DataX1.下载解压2.自检rm-rf /data/soft/datax/plugin/*/._*datax.py ../job/job.json自检结束部署完成网络异常，图片无法展示|DataX web1.解压2.一键安装./bin/install.sh --force3.输入数据库连接密码和数据库名网络异常，图片无法展示|4.启动服务start-all.sh5.访问服务http://192....

文章 2022-10-20 来自：开发者社区

基于mac构建大数据伪分布式学习环境（十二）-部署Sqoop

1.解压2.修改配置mv sqoop-env-template.sh sqoop-env.sh3.添加环境变量export SQOOP_HOME=/data/soft/sqoop-1.4.7.bin__hadoop-2.6.0export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SQOOP....

文章 2022-10-20 来自：开发者社区

基于mac构建大数据伪分布式学习环境（十一）-部署Flink1.14.5

1.解压2.修改配置vi flink-conf.yaml jobmanager.rpc.address: bigdataclassloader.check-leaked-classloader: falsevi mastersbigdata:8081vi workersbigdata3.启动验证start-cluster.sh 18066 TaskManagerRunner4.访问web页面网络....

文章 2022-10-20 来自：开发者社区

基于mac构建大数据伪分布式学习环境（十）-部署Redis

1.解压并编译2.安装C语言环境yum install gccmakeMALLOC=libc3.修改redis.confdaemonize yeslogfile /data/soft/redis-5.0.9/logbind 127.0.0.1 192.168.78.104.启动redisredis-server redis.conf验证redis启动ps -ef|grep redis网络异常，图....

文章 2022-10-20 来自：开发者社区

基于mac构建大数据伪分布式学习环境（九）-部署Kafka

1.解压2.修改配置broker.id:单机不修改listeners:默认9092端口log.dirs：注意：这个目录不是存储日志的，是存储Kafka中核心数据的目录，这个目录默认是指向的tmp目录，所以建议修改一下zookeeper.connect：kafka依赖的zookeeper如果kafka和zookeeper在同一台机器上，并且zookeeper监听的端口就是那个默认的2181端口cd....

文章 2022-10-20 来自：开发者社区

基于mac构建大数据伪分布式学习环境（八）-部署Zookeeper

1.解压2.重命名zoo.cfg并配置dataDir参数mv zoo_sample.cfg zoo.cfgdataDir=/data/soft/apache-zookeeper-3.5.8-bin/data3.修改zookeer AdminServer端口这里主要是因为Spark web会占用8080端口vi zoo.cfgadmin.serverPort=8888网络异常，图片无法展示|启动完....

文章 2022-10-20 来自：开发者社区

基于mac构建大数据伪分布式学习环境（七）-部署Scala及Spark学习环境

1.解压scala 2.12.112.配置环境变量exportSCALA_HOME=/data/soft/scala-2.12.11exportPATH=.:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$PATH网络异常，图片无法展示|10.部署Spark1.解压spark-2.4.3-bin-hadoop2....

文章 2022-10-20 来自：开发者社区

基于mac构建大数据伪分布式学习环境（六）-部署HBase

官方文档如下：http://hbase.org.cn/docs/32.html1.解压安装包tar -zxvf hbase-2.2.6-bin.tar.gz2.修改配置文件Hbase-env.shexportJAVA_HOME=/data/soft/jdk1.8exportHADOOP_HOME=/data/soft/hadoop-3.2.0exportHBASE_LOG_DIR=/data/h....

文章 2022-10-20 来自：开发者社区

基于mac构建大数据伪分布式学习环境（五）-部署MySQL8.30

1.下载镜像yum install wgetwgethttps://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpm网络异常，图片无法展示|2.安装镜像rpm -ivh mysql80-community-release-el7-3.noarch.rpm3.升级系统中的软件包yum update mysql-server4.....