TruenNAS 设置经验分享

admin

TruenNAS 设置经验分享

白嫖王Linus 大骂 TrueNAS 设置不人性化（因为他从 UNRAID 切换到 TruenNAS 了），设置复杂且提示少。在它还叫作 FreeNAS 时，我是这么评价的：“反人类的UI，操作逻辑混乱”。 所以那时我在用 NAS4Free(后来改名叫 XigmaNAS)，自从FreeNAS完善UI之后，并改名 TrueNAS，我也看到了很多 UI逻辑 的改进，我就开始转 TrueNAS 了，XigmaNAS 建立的 ZFS 存储池直接导入，无任何问题（我没问题，不代表你不会出现问题，越菜的人问题越多）。

目前 TrueNAS 还是有不少 BUG，但是几乎不影响你存储文件的安全，WEBUI 也改善了很多（虽然 TrueNAS 最近对存储池UI进行了大改，分开管理存储池和数据集，很多老外UP夸这个设计，但我觉得还需要继续改进，当前页面依然很复杂，应该默认隐藏一下当前没有使用的功能），但仍不适合纯小白。我对 WEBUI 好不好用评断标准就是 “以最少的鼠标点击次数，完成我的更改请求”。

所以我就写一个简单的配置向导，想深入，可以看我文章底部推荐的一些视频和文章。

3 x5 s& l% R5 {6 {* a0 ?! n4 T) Q

安装 TrueNAS

下载ISO，Rufus DD模式写入U盘

4 f; r! b* D1 n. u2 s) R

安装界面同时选择两个硬盘，会自动组 ZFS Mirror/镜像，坏一个启动盘也不影响NAS开机，小工作室推荐这么搞，个人就算了吧，一个新盘+备份文件+1小时就能恢复挂掉之前的状态。

现在 TrueNAS 推 root 账户去密码化，推荐选择admin继续安装，admin只能用来登录 WEBUI，root 是后台账号，所以登陆后新增一个自己名字的账号来 SMB 访问共享。

让自己的账号也能登录 WEBUI -> 把自己的账号加入builtin_administrators组，顺便加入 root apps docker 组

) L2 ?! t% H0 F0 a9 U/ n7 w+ ]

登录网页UI

System Setting -> General

调时区语言（就那么几个字，还调语言？当前22.12版本好像简体中文不生效），备份设置在右上角。

Network

, [0 q# `3 E+ s0 ^! q0 b

从 DHCP 调到固定 IP，记得 手动加一下 DNS + 网关，Global Configuration Settings - Nameserver + IPv4 Default Gateway

Credentials -> Local Users -> Add

添加新用户，只填带 * 用户名和密码部分 + 上面说到的几个组名字，其他不懂不要动，不懂就问。

Storage -> Create新建池 / Import导入池

只要是ZFS都能跨设备导入，没有限制。你不懂怎么规划存储池结构，就点那个 Suggest Layout，你真的要研究怎么组存储池才安全，请你先去研究再来新建，因为存储池建好了，就不能资料无损的移除硬盘了。

Datasets(数据集，类似磁盘分区)

0 B7 Q3 G0 E( B7 J

可新建多个dataset，每个dataset用不同的 Record Size，提升某些程序响应。但大家都是片子，直接1M起步吧。dataset下面可以继续建dataset，一直套娃下去，虽然 SMB 分享之后 dataset 显示为文件夹，但是他是相当于系统分区，每个分区配置都可以不一样，分区之前移动文件也是完整复制+删除，不会瞬间移动文件完成。

5 X# L/ z. R+ @, @  P' t

LZ4 压缩保持默认开启，假如都是片子 没啥压缩效果，但是假如你保存了一下压缩率低的文件，系统会以极低CPU消耗帮你节省你的磁盘文件体积占用，除非特殊高大上应用有要求，不要关LZ4压缩。

2 x, B8 o) p# G. _; Q

Atime，默认推荐关闭，文件访问时间记录，用极大的磁盘带宽消耗来记录你打开片子的访问时间，你不想关，随便你，SMB速度减半不要哭。

' i& j- Q4 a, v: t5 x, p

Record Size -> 片子直接1M起，你存储文件体积越大，就选越大。小文件就往小了选，随便改，改了之后写入的文件才会以这个大小存储，之前的文件的Record Size还是不变。

( v$ X& M- e' C$ W

ACL 推荐 SMB/NFSv4，权限修改和Windows NTFS权限一样，一条一条的加权限。

6 I# X( a$ S0 }& z: F- E+ ?

以上除了我写到的，其他的设置就别乱改了，改了你的 NAS 就会爆炸。

+ E5 {0 n) T$ L' o

Shares -> SMB -> Add

; `. G2 I# A' `6 A

Path -> /mnt(挂载点) / pool(存储池) / dataset(数据分区)。推荐只分享 dataset，不分享存储池，因为不这么做，TrueNAS报错会多到自己看不懂，其他人也不一定看得懂。

! |! Q5 M  a7 C. T7 F- D

分享名随便设置，其他全部默认设置，保存后会启动SMB服务，勾选SMB自启。

3 p8 |; k; z6 p7 Z

Data Protection

7 a; f6 \& ~/ ?- M; C$ N* y

Scrub Tasks 会自动把你的存储池加进去，每个月校验修复你的存储池文件损坏，别乱动默认设置。

Periodic Snapshot Tasks 定期快照，需要对全部 dataset 进行快照，节省时间的方法可以选 存储池+Recursive递归，把你存储池下面所有dataset进行快照。快照保存时间，快照可选每天每小时每分钟进行。

0 b) ^; ]  ?4 y% d# r

TrueNAS 的快照功能集成到了 Windows VSS/卷影复制服务功能上，你的每个快照都可以在 Windows Explorer 的右键-属性-以前的版本中看到，而且能够即时的浏览文件历史版本，没有恢复等待时间。

1 H+ }0 H9 V  D7 F, X

Replication Tasks，dataset数据集可以备份到另一个存储池或者另一台TrueNAS Core/Scale，备份使用的是快照发送，所以请使用高级模式进行配置，不然会重复新建备份快照（重复快照任务不影响文件安全，但是我就是看着不舒服）

S.M.A.R.T. Tests，新建所有硬盘 每天 short 每周 long 的SMART检查，防患于未然。

Apps

选择存储 Docker 文件的存储池，会自动新建一个 ix-applications 的 dataset。存储可以选一个单盘SSD，然后每分钟或每小时备份到机械硬盘RAID阵列上。

Setting -> Advanced Setting -> 取消勾选 Enable Host Path Safety Checks，企业级隔离功能，我们全都是片子，不怕不安全。

: B% M7 `3 i, o1 ]- L+ \) U

不要使用 Truecharts 软件库，手动使用 Launch Docker Image 新增 docker, 这样能保证对你的数据最大的控制权。使用自带 TrueNAS软件库 或者 TrueChart软件库，轻则更新不及时，重则完全不启动。TrueNAS K3S 复杂程度超出你的想象。

0 L) Q' q" q, m- Z6 t- Z

顺便说一下 Docker 版 BT 下载工具端口映射问题，Docker BT 软件是无法将端口映射到你的路由器 upnp上的，比如 qBit 开放的 Peer TCP/UDP 端口是 6881，TrueNAS 软件库将 Docker 端口6881 转发到了 TrueNAS 端口20988，这时候你需要手动将路由器 WAN口 端口6881 转发到 TrueNAS LAN 端口20988 上。这样做是为了保证 qBit 网页设置的端口和你实际 WAN 口开放的一致，如果不一致会导致 BT 下载速度慢，也就是端口映射失败的情况。所以我的做法是，不使用官方软件库，手动设置 qBit 端口为 46881，端口转发全部填46881。

8 j3 q$ H% i5 J2 \! ~# }  Z

NFSv4 ACL

跟着UI自己设置吧，一条一条加，灵活性高，和 NTFS 的逻辑一模一样，不需要理解UGO/0755这种逻辑。

什么你还想了解这个 ACL？ 放一个B站-老湿基-视频BV1tG4y1C78v，和TruenNAS 官方手册自己去看吧。

. S3 a" V8 d- x$ L' K

OpenZFS 其他相关资料

ZFS 推荐你使用 ECC，并不是ZFS没有ECC就不能用了，我现在强烈推荐你把下面资料全部看一遍，你会听吗？

! i" ~8 W8 T$ e' h5 b

ZFS 的特色是速度慢，不是速度快，他的优点是：提供了偏执狂般文件安全，干的活多，自然速度慢。

1 _: W4 Z: I- c% J7 a' c+ p' l+ Z

为什么没人用硬件Raid了，因为企业级机械硬盘都没有 520byte 扇区了，家用是 512byte 扇区，企业级多了 8byte 的校验，Raid卡会使用 8Byte 来校验文件正确性。所以说目前不管是软硬RAID，都没有任何应对硬盘比特位翻转的对策。

没有ECC内存时比特位翻转会发生什么

这种情况下位翻转不会有任何影响。

5 L8 x% E- v: V- c

位翻转发生在未使用的内存中。

位翻转导致 runtime 故障。

当从磁盘读取的内容时发生位翻转。

当程序更改代码时，通常会观察到故障。

6 [1 m% T' G0 c( z, Z

如果位翻转发生在系统内核或 /sbin/init 中的例程中，系统可能会崩溃。重新加载受影响的数据可以清除故障。也可以通过重新启动来解决。

位翻转发生在下列情况下可能会导致数据损坏。

% R$ T2 K! @! T

当文件使用到的内存比特位正准备写入到磁盘时发生位翻转。

位翻转发生在 ZFS 的校验和计算之前，ZFS 将不会意识到数据已损坏。

0 n0 K% W) E0 m

位翻转发生在 ZFS 的校验和计算之后，但在写入磁盘之前，ZFS 会检测到它，但它可能无法纠正它。

/ ?. ]0 X9 O- ~  b

位翻转发生在下列情况下可能导致元数据损坏。

当写入磁盘时盘面结构发生位翻转。

/ l! O+ y( q: Y3 R3 W. a

位翻转发生在 ZFS 的校验和计算之前，ZFS 将不会意识到元数据已损坏。

- K4 t* f; I' _1 a; W: p* t

位翻转发生在 ZFS 的校验和计算之后，但在写入磁盘之前，ZFS 会检测到它，但它可能无法纠正它。

' h) U4 w4 K+ B

以上此类事件中能否恢复将取决于损坏的内容。 在最坏的情况下，存储池可能变得不可导入。此时所有文件系统在绝对最坏的情况下，位翻转故障情况后的数据可靠性会很差。但这种情况应该被认为是非常罕见的。

" z6 b2 y9 r+ X' ~$ g

以下是转-老湿基-

) H$ L+ S- _# t

传统的RAID在恢复时，存在一些问题。假如4个10T的盘做了RAID5，其中某个盘坏了，系统重建RAID时会重建10T空间。哪怕实际仅用了2T，空闲的8T也会被傻瓜式校验一遍，因为这是个很低级的过程。在ZFS上，因为文件系统知道RAID模式，所以可以按需重建，只需要恢复2T的数据即可。

但需要注意，恢复阵列依旧是个脆弱的过程！ZFS也不例外。ZFS只是降低了任务难度，客观来看ZFS的恢复也挺严峻。

- Q$ }/ T: M+ s% @9 d' D2 {

强烈不建议把问题硬盘直接拔下来再插入新盘，因为这种情况下新盘的数据就必须通过全盘读取其他好盘的方式计算出来，这个过程的代价比较高。而如果带着故障硬盘一起恢复，那么故障硬盘里的好数据就能直接导入新盘，而无需根据其他盘的校验值进行反向计算，这大大降低了其他盘在高强度读数据过程中发生损坏的风险。

6 [3 f( ~8 E0 Y9 s- Z, M

ZFS 视频1 https://www.bilibili.com/video/BV18V4y1K7o2/

% P* x) k: R+ L8 }

ZFS 文字版1 https://www.wolai.com/littlenewton/gJvungs54zWgZ3YfoXAvKW

ZFS 视频2 https://www.bilibili.com/video/BV1Ad4y1Y7b5/

5 G  `1 O: t! Q+ [1 q8 T

ZFS 文字版2 https://www.wolai.com/littlenewton/dT2737LXf412LKKZ973DsD

OpenZFS 基础 https://www.youtube.com/watch?v=MsY-BafQgj4

如何扩展ZFS https://www.youtube.com/watch?v=11bWnvCwTOU

硬件Raid已死 https://www.youtube.com/watch?v=l55GfAwa8RI

. _! q3 z4 n9 B

OpenZFS 硬件推荐 https://openzfs.github.io/openzf ... uning/Hardware.html

Debian ZFS 命令行使用教程 https://pthree.org/2012/04/17/install-zfs-on-debian-gnulinux/

admin

使用TrueNAS SCALE已经有3个月，中间经历了RC到正式版本的发布。总的来说TrueNAS是一款很好的NAS系统，我就此总结一下它的基本特性和优缺点

TrueNAS SCALE是基于Linux的（实际是基于Debian），但总的来说很难像OMV那样脱离Web自己玩。

TrueNAS并不推荐你直接在系统里安装或运行程序，因此不支持apt包管理。增加的功能都应该放在Docker容器中进行，理由是安全性和稳定性。
$ o' @; v1 s; ~5 N  d; M
TrueNAS SCALE提供了Shell，但并不像一般的Linux发行版那样自由，只能使用k3s和docker命令和一些常用工具，无法使用apt包管理，在系统更新后，除root目录和ZFS存储池外的数据会全部被覆盖重置，留给用户的空间很少。如果你更向往更大的自由度，还是安装Ubuntu或Debian等等（说实话Windows Server也不是个坏选择）。
! p6 M9 V3 ?- X4 e; ?$ ~  {
0 {* Q, p* _% E2 I1 c% NZFS
, f, _8 R5 \/ M' y. C5 AZFS是TrueNAS的最大特点，TrueNAS几乎完全依靠ZFS进行存储，TrueNAS的各项功能也都是围绕ZFS设计的。
3 N. J2 h6 P7 {7 m7 B% |
ZFS既提供了传统RAID容错能力（RAIDZ2相比于RAID5/6）的同时，比传统RAID具有更高的可靠性（尤其是相比于低端RAID卡）。
- b6 Z- l3 K0 a. ^( l$ D9 t
( u: e; ^* W/ z0 O- _" n/ u巡检功能可以定期检测硬盘的URE（不可恢复错误），重建过程中不会因为URE导致重建失败。
6 p% l- K7 g0 I- ]9 ]. U
; m& `+ X9 V- ]( M; o4 L重建速度非常快（相比于RAID5/6的重建速度），也就降低了重建过程中发生第二块硬盘损坏的概率。
; ?' r! x) f* _! I4 G0 N
支持压缩、去重功能，节省硬盘空间、提高传输效率。
  A. B$ ^$ Z: u" e( h
- r" y, s% R8 U  u& W/ L支持快照功能（TrueNAS也在这个基础上提供了APP的快照和版本回滚能力）。

& q( W9 Z$ d/ u提供Dataset（正常的文件存储，表现为目录，可以在系统中直接访问）和ZVOL（块存储，可以作为硬盘挂载到虚拟机或者用于ISCSI服务）两种存储功能。
9 G5 c+ e- `. U4 L8 c  O/ m
但是ZFS也有一个非常明确的问题：单vdev（多块磁盘组成一个vdev，一个或多个vdev组成一个zpool）无法扩容，要扩容必须要和另一个同等容量的vdev拼成一个新pool。 目前，ZFS单vdev扩容的方案已经有所进展，但是还没合并到master（https://github.com/openzfs/zfs/pull/12225），距离落地到TrueNAS上还要更很久。

ZFS的另一个缺点对CPU和内存要求较高，官方推荐1TB容量要配1GB内存，以我自己为例，在不开去重的情况下，约12TB的总容量下ZFS Cache消耗了14.4GB的内存。

ZFS相当强大可靠，但是和传统RAID一样需要我们谨记的一点是： ZFS也好，RAID也好，它们都不是备份，它们更需要保证业务持续可用。在商业应用中也不会全部指望阵列能提供备份，而是会另外做冷备等方案来保证数据不丢失。 这与家庭NAS的目标是不同的，家庭NAS不一定要求7x24小时持续不间断运行（甚至不用的时候还想让它歇一歇，省点电），但却不能接受数据丢失。
- ^3 Q9 s" f5 ^! ~- ?0 E. O7 W2 l8 q
因此对于家庭NAS来说，存储中的重要数据最好定期备份到网盘上。

. R3 b& ~% ?; ?. \, q& `' x数据保护
TrueNAS提供了保护数据的相关功能，除了ZFS的Scrub定期巡检功能，还有SMART定期检测、数据定期同步和备份。
! O: C; P8 s" b  G& D; V
file
5 b* m& i! j% {. l* v& ~% V  W
* m% J* b8 v/ r2 A9 [0 _虚拟机
5 }6 r5 {, l6 v9 U. v4 Q& _TrueNAS使用KVM运行虚拟机，提供了VNC和SPICE的远程桌面选项，可以直接挂载在ZFS中创建的ZVOL。

0 f6 `8 h2 {# U9 u! Z% ^2 DTrueNAS的虚拟机有一个问题就是虚拟机和宿主机之间无法通过网络互相访问，但是我也不清楚这是KVM的问题还是TrueNAS的问题，如果是有意为之的话，我猜可能是为了安全吧。

' R" ~) O/ @0 g$ ]- n& w5 u解决方法是创建一个虚拟网桥，将宿主机和虚拟机连接起来。我进一步的做法是创建一个OpenWRT的虚拟机，添加在网桥里作为网关，其他虚拟机也可以通过它上网。
% O& v! z4 _8 {3 m+ o
当然最好的办法是通过PCIE直通一个物理网卡给虚拟机。虚拟网桥对资源的消耗还是挺大的，我的配置是双路E5-2666v3，网桥内的速度常常达不到千兆。
- b) ]% y  @3 c0 o4 M0 r
APP
TrueNAS SCALE的插件是基于容器的，插件是无法改变系统自身的。
& t: e6 X  z7 N8 r
5 I3 {* o; U. STrueNAS的APP功能是基于Kubernates的，使用下来更像在创建容器，因此要比插件复杂一些，但是用好各种APPS，会让你的体验提升一个等级。
. X: O+ S9 B7 v# {8 C
2 v! S' t* V0 ]+ A  q官方的APPS源提供的软件不多，所以我们一般要添加TrueCharts社区的源，里面提供了相当丰富的APP，而且增加的速度很快，再过段时间可能就需要分类功能了。
+ q1 y2 C+ b/ u: ~1 D
, }; N7 J0 r- u" E5 g, j$ R" X) ]有这三个APP非常重要，它们可以是良好体验的基础：

Treafik
4 b5 n3 W3 C/ ?" ?# tk8s-gateway
pihole
配置好后，当我需要部署一个新APP，比如Nextcloud，我只需要在配置时填入我想用来访问Nextcloud的域名，比如cloud.home，确认配置，稍等容器部署完毕，就可以直接在浏览器里用 https://cloud.home/ 访问Nextcloud了。filefile
9 ]8 _: L# I/ M' P: U
因为既然要从外部访问，这些APP都要绑定到同一个网卡上，它们之间必须采用不同的端口，否则 要记住哪个端口对应的是哪个应用是一件令人抓狂的事。

! M: y' d) C2 X  J% W而这三个APP就解决了这一问题，部署APP的体验变得相当丝滑。

Treafik是一个反向代理，它可以把各个APP的服务代理到自己的端口上，基于主机名HOST和访问URL规则将请求导向各个APP。
% B/ {5 h& M- \k8s-gateway则会自动根据部署APP时设置的域名来设置相应的DNS解析记录。
; s0 |8 {/ n. O. F3 Xpihole作为k8s-gateway的前置服务器，提供更多dns解析功能。
/ h' L5 f' R8 X8 I! p& [2 c（这些能力最终还是要归功于k8s）

APP有一个比较需要注意的地方，所有APP只能绑定到一个网口上，从其他网口上是无法访问的。这个一般不会引起什么大问题，但是我需要在虚拟机里访问APPS，结果是我既不能从外部局域网访问，也不能从内部网桥访问，无奈之下，把APP绑定到内部网桥上，然后用OpenWRT做端口转发。
  ]0 J* @$ w0 y9 a, _' j" _
OpenVPN
TrueNAS SCALE自带了OpenVPN服务端和客户端，OpenVPN证书配置让人很厌烦，但是在TrueNAS上操作很轻松，因为TrueNAS上的证书是统一管理的，签发后可以在不同服务中直接调用。
4 \, _8 [5 ?/ z! I, @) Y: ^, p! O, N. J
连接OpenVPN服务端后，默认是只能访问本机的，需要配置iptables，这个也许以后我会介绍，可以看这个视频：TrueNAS Scale - How to access your LAN through VPN connection

/ r0 H& n, I  _5 G2 R% O  t" NMiddleware（Web服务等）
TrueNAS SCALE我认为最重要的两个特性：ZFS存储和基于k8s的APP，他们用的也是很可靠的技术，KVM也一样。这些都是经历了充分考验的，很难出什么问题。

但是TrueNAS建立在其上的一套东西的稳定性有些差强人意了，它们贡献了多数缺点。这一套东西指的就是沟通用户和服务的Web页面以及将请求转发到服务的一层，在系统中叫Middleware（中间件）。
4 u$ B' Q0 S3 O8 d0 p$ |9 @' k) ~. O2 U' m
在昨天我刚刚遇到了虚拟机管理界面无法与qemu通信的情况，重启才解决。
( J9 d7 y7 I. v
7 p3 o! Z8 b8 m2 |+ [; xWeb页面在许多情况下会出现无响应、卡顿，然而这只是浏览器里的网页而已，我不知道这到底是怎么设计得能影响到UI线程的。
! M" i# O7 u9 {9 R+ v
$ l' d) T6 y) ^对大陆用户不友好的网络需求，虽然很多海外NAS系统都有这个毛病，但是TrueNAS已经到了启动APP时要请求google的api，请求不了就无法启动容器的地步。按理说挂HTTP代理能解决，但是目前的22.02.1版本有一个BUG就是Middleware请求k8s服务api的时候（访问本机127.0.0.1的6443端口），会把请求导进HTTP代理...。结果就是22.02.1版本对我来说完全无法使用，BUG会在22.02.2中修复。

admin

truenas 的存储池 突然变成DEGRADED 某块硬盘 FAULTED 的处理方法

首先把，出现这种情况，一般是分3种情况：
& c4 K) u; |% P, L1 _硬盘完好，出现了偶现的偶现的读/写 错误。
1 R# h/ T( _9 W- L硬盘出现了坏道。
硬盘它就是坏了。

对于问题1采用如下的处理方案：
zpool status查看池状态：

5 P" @1 ?" Y2 l3 n输入命令来强行清除错误。
; z8 `1 |$ u% `+ B
# [. K+ m( E! D+ z# storage是池的名称  4938bf08-3102-457f-a89d-d3502ddd363e 是硬盘的partuuid。
zpool clear storage 4938bf08-3102-457f-a89d-d3502ddd363e
# 手动清理池
% J+ T) Y! J/ z8 L2 _7 uzpool scrub storage
% Z. N+ {" z- J' V& kBash

- K& d! i. P* d9 y! W9 y/ v0 M2 |
$ [# Q, k3 I8 ]6 Z对于问题2
坏的硬盘 离线 掉
拔出坏的硬盘，用diskgenuis 扫描是否存在坏道。用它修也可以。
插回去，使硬盘online.
执行上面针对问题1的流程。

! _  z' D4 g7 N& D. X5 s( |% H对于问题3
' ^1 x: o! e/ h+ f( ^. u坏掉的硬盘 离线掉
% O- p( I3 F# }0 S拔掉坏的硬盘，换上新的硬盘。
$ m: F; b+ k& E2 f使用 replace替换掉坏的硬盘，webui上选取新的硬盘。