Started testing with tokenizer.

test/tokenizer_each.asl

@@ -0,0 +1,3 @@
+each allUnits {
+    // ...
+}

test/tokenizer_for.asl

@@ -0,0 +1,3 @@
+for var i = 0; i < 100; i = i+1 {
+    // ...
+}

test/tokenizer_func.asl

@@ -0,0 +1,3 @@
+func TestFunction(param0, param1) {
+    return true;
+}

test/tokenizer_if.asl

@@ -0,0 +1,3 @@
+if a < b {
+    // ...
+}

test/tokenizer_var.asl

@@ -0,0 +1,9 @@
+// single line comment
+
+/*
+multi
+line
+comment
+*/
+
+var x = 1;

test/tokenizer_while.asl

@@ -0,0 +1,3 @@
+while true {
+    // ...
+}