在分布式智能反射面(RIS)辅助多用户毫米波(mmWave)系统中，利用深度强化学习(DRL)理论学习并调整基站发射波束赋形矩阵和RIS相位偏转矩阵，联合优化发射波束赋形和相位偏转，实现加权和速率最大化。即在离散动作空间中，设计了功率码本与相位码本，提出了用深度Q网络(DQN)算法进行优化发射波束赋形与RIS相位偏转矩阵；在连续动作空间中，采用双延迟策略梯度(TD3)算法进行优化发射波束赋形与RIS相位偏转矩阵。仿真分析比较了在不同码本比特数下离散动作空间和连续动作空间下系统的加权和速率。与传统的凸优化算法以及迫零波束赋形随机相位偏转算法进行了对比，强化学习算法的和速率性能有明显提升，连续的TD3算法的和速率超过凸优化算法23.89%，在码本比特数目为4时，离散的DQN算法性能也优于传统的凸优化算法。