65ad782f513b2effed3e8d25906b8a1ce5364ccc
[sbcl.git] / src / compiler / x86-64 / c-call.lisp
1 ;;;; the VOPs and other necessary machine specific support
2 ;;;; routines for call-out to C
3
4 ;;;; This software is part of the SBCL system. See the README file for
5 ;;;; more information.
6 ;;;;
7 ;;;; This software is derived from the CMU CL system, which was
8 ;;;; written at Carnegie Mellon University and released into the
9 ;;;; public domain. The software is in the public domain and is
10 ;;;; provided with absolutely no warranty. See the COPYING and CREDITS
11 ;;;; files for more information.
12
13 (in-package "SB!VM")
14
15 ;; The MOVE-ARG vop is going to store args on the stack for
16 ;; call-out. These tn's will be used for that. move-arg is normally
17 ;; used for things going down the stack but C wants to have args
18 ;; indexed in the positive direction.
19
20 (defun my-make-wired-tn (prim-type-name sc-name offset)
21   (make-wired-tn (primitive-type-or-lose prim-type-name)
22                  (sc-number-or-lose sc-name)
23                  offset))
24
25 (defstruct (arg-state (:copier nil))
26   (register-args 0)
27   (xmm-args 0)
28   (stack-frame-size 0))
29
30 (defun int-arg (state prim-type reg-sc stack-sc)
31   (let ((reg-args (arg-state-register-args state)))
32     (cond ((< reg-args 6)
33            (setf (arg-state-register-args state) (1+ reg-args))
34            (my-make-wired-tn prim-type reg-sc
35                              (nth reg-args *c-call-register-arg-offsets*)))
36           (t
37            (let ((frame-size (arg-state-stack-frame-size state)))
38              (setf (arg-state-stack-frame-size state) (1+ frame-size))
39              (my-make-wired-tn prim-type stack-sc frame-size))))))
40
41 (define-alien-type-method (integer :arg-tn) (type state)
42   (if (alien-integer-type-signed type)
43       (int-arg state 'signed-byte-64 'signed-reg 'signed-stack)
44       (int-arg state 'unsigned-byte-64 'unsigned-reg 'unsigned-stack)))
45
46 (define-alien-type-method (system-area-pointer :arg-tn) (type state)
47   (declare (ignore type))
48   (int-arg state 'system-area-pointer 'sap-reg 'sap-stack))
49
50 (defun float-arg (state prim-type reg-sc stack-sc)
51   (let ((xmm-args (arg-state-xmm-args state)))
52     (cond ((< xmm-args 8)
53            (setf (arg-state-xmm-args state) (1+ xmm-args))
54            (my-make-wired-tn prim-type reg-sc
55                              (nth xmm-args *float-regs*)))
56           (t
57            (let ((frame-size (arg-state-stack-frame-size state)))
58              (setf (arg-state-stack-frame-size state) (1+ frame-size))
59              (my-make-wired-tn prim-type stack-sc frame-size))))))
60
61 (define-alien-type-method (double-float :arg-tn) (type state)
62   (declare (ignore type))
63   (float-arg state 'double-float 'double-reg 'double-stack))
64
65 (define-alien-type-method (single-float :arg-tn) (type state)
66   (declare (ignore type))
67   (float-arg state 'single-float 'single-reg 'single-stack))
68
69 (defstruct (result-state (:copier nil))
70   (num-results 0))
71
72 (defun result-reg-offset (slot)
73   (ecase slot
74     (0 eax-offset)
75     (1 edx-offset)))
76
77 (define-alien-type-method (integer :result-tn) (type state)
78   (let ((num-results (result-state-num-results state)))
79     (setf (result-state-num-results state) (1+ num-results))
80     (multiple-value-bind (ptype reg-sc)
81         (if (alien-integer-type-signed type)
82             (values 'signed-byte-64 'signed-reg)
83             (values 'unsigned-byte-64 'unsigned-reg))
84       (my-make-wired-tn ptype reg-sc (result-reg-offset num-results)))))
85
86 (define-alien-type-method (integer :naturalize-gen) (type alien)
87   (if (<= (alien-type-bits type) 32)
88       (if (alien-integer-type-signed type)
89           `(sign-extend ,alien ,(alien-type-bits type))
90           `(logand ,alien ,(1- (ash 1 (alien-type-bits type)))))
91       alien))
92
93 (define-alien-type-method (system-area-pointer :result-tn) (type state)
94   (declare (ignore type))
95   (let ((num-results (result-state-num-results state)))
96     (setf (result-state-num-results state) (1+ num-results))
97     (my-make-wired-tn 'system-area-pointer 'sap-reg
98                       (result-reg-offset num-results))))
99
100 (define-alien-type-method (double-float :result-tn) (type state)
101   (declare (ignore type))
102   (let ((num-results (result-state-num-results state)))
103     (setf (result-state-num-results state) (1+ num-results))
104     (my-make-wired-tn 'double-float 'double-reg num-results)))
105
106 (define-alien-type-method (single-float :result-tn) (type state)
107   (declare (ignore type))
108   (let ((num-results (result-state-num-results state)))
109     (setf (result-state-num-results state) (1+ num-results))
110     (my-make-wired-tn 'single-float 'single-reg num-results)))
111
112 (define-alien-type-method (values :result-tn) (type state)
113   (let ((values (alien-values-type-values type)))
114     (when (> (length values) 2)
115       (error "Too many result values from c-call."))
116     (mapcar (lambda (type)
117               (invoke-alien-type-method :result-tn type state))
118             values)))
119
120 (!def-vm-support-routine make-call-out-tns (type)
121   (let ((arg-state (make-arg-state)))
122     (collect ((arg-tns))
123       (dolist (arg-type (alien-fun-type-arg-types type))
124         (arg-tns (invoke-alien-type-method :arg-tn arg-type arg-state)))
125       (values (my-make-wired-tn 'positive-fixnum 'any-reg esp-offset)
126               (* (arg-state-stack-frame-size arg-state) n-word-bytes)
127               (arg-tns)
128               (invoke-alien-type-method :result-tn
129                                         (alien-fun-type-result-type type)
130                                         (make-result-state))))))
131
132
133 (deftransform %alien-funcall ((function type &rest args) * * :node node)
134   (aver (sb!c::constant-lvar-p type))
135   (let* ((type (sb!c::lvar-value type))
136          (env (sb!c::node-lexenv node))
137          (arg-types (alien-fun-type-arg-types type))
138          (result-type (alien-fun-type-result-type type)))
139     (aver (= (length arg-types) (length args)))
140     (if (or (some #'(lambda (type)
141                       (and (alien-integer-type-p type)
142                            (> (sb!alien::alien-integer-type-bits type) 64)))
143                   arg-types)
144             (and (alien-integer-type-p result-type)
145                  (> (sb!alien::alien-integer-type-bits result-type) 64)))
146         (collect ((new-args) (lambda-vars) (new-arg-types))
147           (dolist (type arg-types)
148             (let ((arg (gensym)))
149               (lambda-vars arg)
150               (cond ((and (alien-integer-type-p type)
151                           (> (sb!alien::alien-integer-type-bits type) 64))
152                      ;; CLH: FIXME! This should really be
153                      ;; #xffffffffffffffff. nyef says: "Passing
154                      ;; 128-bit integers to ALIEN functions on x86-64
155                      ;; believed to be broken."
156                      (new-args `(logand ,arg #xffffffff))
157                      (new-args `(ash ,arg -64))
158                      (new-arg-types (parse-alien-type '(unsigned 64) env))
159                      (if (alien-integer-type-signed type)
160                          (new-arg-types (parse-alien-type '(signed 64) env))
161                          (new-arg-types (parse-alien-type '(unsigned 64) env))))
162                     (t
163                      (new-args arg)
164                      (new-arg-types type)))))
165           (cond ((and (alien-integer-type-p result-type)
166                       (> (sb!alien::alien-integer-type-bits result-type) 64))
167                  (let ((new-result-type
168                         (let ((sb!alien::*values-type-okay* t))
169                           (parse-alien-type
170                            (if (alien-integer-type-signed result-type)
171                                '(values (unsigned 64) (signed 64))
172                                '(values (unsigned 64) (unsigned 64)))
173                            env))))
174                    `(lambda (function type ,@(lambda-vars))
175                       (declare (ignore type))
176                       (multiple-value-bind (low high)
177                           (%alien-funcall function
178                                           ',(make-alien-fun-type
179                                              :arg-types (new-arg-types)
180                                              :result-type new-result-type)
181                                           ,@(new-args))
182                         (logior low (ash high 64))))))
183                 (t
184                  `(lambda (function type ,@(lambda-vars))
185                     (declare (ignore type))
186                     (%alien-funcall function
187                                     ',(make-alien-fun-type
188                                        :arg-types (new-arg-types)
189                                        :result-type result-type)
190                                     ,@(new-args))))))
191         (sb!c::give-up-ir1-transform))))
192
193 ;;; The ABI is vague about how signed sub-word integer return values
194 ;;; are handled, but since gcc versions >=4.3 no longer do sign
195 ;;; extension in the callee, we need to do it in the caller.  FIXME:
196 ;;; If the value to be extended is known to already be of the target
197 ;;; type at compile time, we can (and should) elide the extension.
198 (defknown sign-extend ((signed-byte 64) t) fixnum
199     (foldable flushable movable))
200
201 (define-vop (sign-extend)
202   (:translate sign-extend)
203   (:policy :fast-safe)
204   (:args (val :scs (signed-reg)))
205   (:arg-types signed-num (:constant fixnum))
206   (:info size)
207   (:results (res :scs (signed-reg)))
208   (:result-types fixnum)
209   (:generator 1
210    (inst movsxd res
211          (make-random-tn :kind :normal
212                          :sc (sc-or-lose (ecase size
213                                            (8 'byte-reg)
214                                            (16 'word-reg)
215                                            (32 'dword-reg)))
216                          :offset (tn-offset val)))))
217
218 #-sb-xc-host
219 (defun sign-extend (x size)
220   (declare (type (signed-byte 64) x))
221   (ecase size
222     (8 (sign-extend x size))
223     (16 (sign-extend x size))
224     (32 (sign-extend x size))))
225
226 #+sb-xc-host
227 (defun sign-extend (x size)
228   (if (logbitp (1- size) x)
229       (dpb x (byte size 0) -1)
230       x))
231
232 (define-vop (foreign-symbol-sap)
233   (:translate foreign-symbol-sap)
234   (:policy :fast-safe)
235   (:args)
236   (:arg-types (:constant simple-string))
237   (:info foreign-symbol)
238   (:results (res :scs (sap-reg)))
239   (:result-types system-area-pointer)
240   (:generator 2
241    (inst lea res (make-fixup foreign-symbol :foreign))))
242
243 #!+linkage-table
244 (define-vop (foreign-symbol-dataref-sap)
245   (:translate foreign-symbol-dataref-sap)
246   (:policy :fast-safe)
247   (:args)
248   (:arg-types (:constant simple-string))
249   (:info foreign-symbol)
250   (:results (res :scs (sap-reg)))
251   (:result-types system-area-pointer)
252   (:generator 2
253    (inst mov res (make-fixup foreign-symbol :foreign-dataref))))
254
255 (define-vop (call-out)
256   (:args (function :scs (sap-reg))
257          (args :more t))
258   (:results (results :more t))
259   (:temporary (:sc unsigned-reg :offset rax-offset :to :result) rax)
260   ;; For safepoint builds: Force values of non-volatiles to the stack.
261   ;; These are the callee-saved registers in the native ABI, but
262   ;; safepoint-based GC needs to see all Lisp values on the stack.  Note
263   ;; that R12-R15 are non-volatile registers, but there is no need to
264   ;; spill R12 because it is our thread-base-tn.  RDI and RSI are
265   ;; non-volatile on Windows, but argument passing registers on other
266   ;; platforms.
267   #!+sb-safepoint (:temporary (:sc unsigned-reg :offset r13-offset) r13)
268   #!+sb-safepoint (:temporary (:sc unsigned-reg :offset r14-offset) r14)
269   #!+sb-safepoint (:temporary (:sc unsigned-reg :offset r15-offset) r15)
270   #!+(and sb-safepoint win32) (:temporary
271                                (:sc unsigned-reg :offset rdi-offset) rdi)
272   #!+(and sb-safepoint win32) (:temporary
273                                (:sc unsigned-reg :offset rsi-offset) rsi)
274   (:ignore results
275            #!+(and sb-safepoint win32) rdi
276            #!+(and sb-safepoint win32) rsi
277            #!+sb-safepoint r15
278            #!+sb-safepoint r13)
279   (:vop-var vop)
280   (:save-p t)
281   (:generator 0
282     ;; ABI: Direction flag must be clear on function entry. -- JES, 2006-01-20
283     (inst cld)
284     #!+sb-safepoint
285     (progn
286       ;; Current PC - don't rely on function to keep it in a form that
287       ;; GC understands
288       (let ((label (gen-label)))
289         (inst lea r14 (make-fixup nil :code-object label))
290         (emit-label label)))
291     ;; ABI: AL contains amount of arguments passed in XMM registers
292     ;; for vararg calls.
293     (move-immediate rax
294                     (loop for tn-ref = args then (tn-ref-across tn-ref)
295                        while tn-ref
296                        count (eq (sb-name (sc-sb (tn-sc (tn-ref-tn tn-ref))))
297                                  'float-registers)))
298     #!+sb-safepoint
299     (progn                              ;Store SP and PC in thread struct
300       (storew rsp-tn thread-base-tn thread-saved-csp-offset)
301       (storew r14 thread-base-tn thread-pc-around-foreign-call-slot))
302     (inst call function)
303     #!+sb-safepoint
304     (progn
305       ;; Zeroing out
306       (inst xor r14 r14)
307       ;; Zero PC storage place. NB. CSP-then-PC: same sequence on
308       ;; entry/exit, is actually corrent.
309       (storew r14 thread-base-tn thread-saved-csp-offset)
310       (storew r14 thread-base-tn thread-pc-around-foreign-call-slot))
311     ;; To give the debugger a clue. XX not really internal-error?
312     (note-this-location vop :internal-error)))
313
314 (define-vop (alloc-number-stack-space)
315   (:info amount)
316   (:results (result :scs (sap-reg any-reg)))
317   (:result-types system-area-pointer)
318   (:generator 0
319     (aver (location= result rsp-tn))
320     (unless (zerop amount)
321       (let ((delta (logandc2 (+ amount 7) 7)))
322         (inst sub rsp-tn delta)))
323     ;; C stack must be 16 byte aligned
324     (inst and rsp-tn -16)
325     (move result rsp-tn)))
326
327 (define-vop (dealloc-number-stack-space)
328   (:info amount)
329   (:generator 0
330     (unless (zerop amount)
331       (let ((delta (logandc2 (+ amount 7) 7)))
332         (inst add rsp-tn delta)))))
333
334 (define-vop (alloc-alien-stack-space)
335   (:info amount)
336   #!+sb-thread (:temporary (:sc unsigned-reg) temp)
337   (:results (result :scs (sap-reg any-reg)))
338   (:result-types system-area-pointer)
339   #!+sb-thread
340   (:generator 0
341     (aver (not (location= result rsp-tn)))
342     (unless (zerop amount)
343       (let ((delta (logandc2 (+ amount 7) 7)))
344         (inst mov temp
345               (make-ea :qword
346                        :disp (+ nil-value
347                                 (static-symbol-offset '*alien-stack*)
348                                 (ash symbol-tls-index-slot word-shift)
349                                 (- other-pointer-lowtag))))
350         (inst sub (make-ea :qword :base thread-base-tn
351                            :scale 1 :index temp) delta)))
352     (load-tl-symbol-value result *alien-stack*))
353   #!-sb-thread
354   (:generator 0
355     (aver (not (location= result rsp-tn)))
356     (unless (zerop amount)
357       (let ((delta (logandc2 (+ amount 7) 7)))
358         (inst sub (make-ea :qword
359                            :disp (+ nil-value
360                                     (static-symbol-offset '*alien-stack*)
361                                     (ash symbol-value-slot word-shift)
362                                     (- other-pointer-lowtag)))
363               delta)))
364     (load-symbol-value result *alien-stack*)))
365
366 (define-vop (dealloc-alien-stack-space)
367   (:info amount)
368   #!+sb-thread (:temporary (:sc unsigned-reg) temp)
369   #!+sb-thread
370   (:generator 0
371     (unless (zerop amount)
372       (let ((delta (logandc2 (+ amount 7) 7)))
373         (inst mov temp
374               (make-ea :qword
375                        :disp (+ nil-value
376                                 (static-symbol-offset '*alien-stack*)
377                                 (ash symbol-tls-index-slot word-shift)
378                                 (- other-pointer-lowtag))))
379         (inst add (make-ea :qword :base thread-base-tn :scale 1 :index temp)
380               delta))))
381   #!-sb-thread
382   (:generator 0
383     (unless (zerop amount)
384       (let ((delta (logandc2 (+ amount 7) 7)))
385         (inst add (make-ea :qword
386                            :disp (+ nil-value
387                                     (static-symbol-offset '*alien-stack*)
388                                     (ash symbol-value-slot word-shift)
389                                     (- other-pointer-lowtag)))
390               delta)))))
391
392 ;;; not strictly part of the c-call convention, but needed for the
393 ;;; WITH-PINNED-OBJECTS macro used for "locking down" lisp objects so
394 ;;; that GC won't move them while foreign functions go to work.
395 (define-vop (touch-object)
396   (:translate touch-object)
397   (:args (object))
398   (:ignore object)
399   (:policy :fast-safe)
400   (:arg-types t)
401   (:generator 0))
402
403 ;;; Callbacks
404
405 #-sb-xc-host
406 (defun alien-callback-accessor-form (type sp offset)
407   `(deref (sap-alien (sap+ ,sp ,offset) (* ,type))))
408
409 #-sb-xc-host
410 (defun alien-callback-assembler-wrapper (index result-type argument-types)
411   (labels ((make-tn-maker (sc-name)
412              (lambda (offset)
413                (make-random-tn :kind :normal
414                                :sc (sc-or-lose sc-name)
415                                :offset offset)))
416            (out-of-registers-error ()
417              (error "Too many arguments in callback")))
418     (let* ((segment (make-segment))
419            (rax rax-tn)
420            #!+(not sb-safepoint) (rcx rcx-tn)
421            (rdi rdi-tn)
422            (rsi rsi-tn)
423            (rdx rdx-tn)
424            (rbp rbp-tn)
425            (rsp rsp-tn)
426            (xmm0 float0-tn)
427            ([rsp] (make-ea :qword :base rsp :disp 0))
428            ;; How many arguments have been copied
429            (arg-count 0)
430            ;; How many arguments have been copied from the stack
431            (stack-argument-count 0)
432            (gprs (mapcar (make-tn-maker 'any-reg) *c-call-register-arg-offsets*))
433            (fprs (mapcar (make-tn-maker 'double-reg)
434                          ;; Only 8 first XMM registers are used for
435                          ;; passing arguments
436                          (subseq *float-regs* 0 8))))
437       (assemble (segment)
438         ;; Make room on the stack for arguments.
439         (inst sub rsp (* n-word-bytes (length argument-types)))
440         ;; Copy arguments from registers to stack
441         (dolist (type argument-types)
442           (let ((integerp (not (alien-float-type-p type)))
443                 ;; A TN pointing to the stack location where the
444                 ;; current argument should be stored for the purposes
445                 ;; of ENTER-ALIEN-CALLBACK.
446                 (target-tn (make-ea :qword :base rsp
447                                    :disp (* arg-count
448                                             n-word-bytes)))
449                 ;; A TN pointing to the stack location that contains
450                 ;; the next argument passed on the stack.
451                 (stack-arg-tn (make-ea :qword :base rsp
452                                        :disp (* (+ 1
453                                                    (length argument-types)
454                                                    stack-argument-count)
455                                                 n-word-bytes))))
456             (incf arg-count)
457             (cond (integerp
458                    (let ((gpr (pop gprs)))
459                      ;; Argument not in register, copy it from the old
460                      ;; stack location to a temporary register.
461                      (unless gpr
462                        (incf stack-argument-count)
463                        (setf gpr temp-reg-tn)
464                        (inst mov gpr stack-arg-tn))
465                      ;; Copy from either argument register or temporary
466                      ;; register to target.
467                      (inst mov target-tn gpr)))
468                   ((or (alien-single-float-type-p type)
469                        (alien-double-float-type-p type))
470                    (let ((fpr (pop fprs)))
471                      (cond (fpr
472                             ;; Copy from float register to target location.
473                             (inst movq target-tn fpr))
474                            (t
475                             ;; Not in float register. Copy from stack to
476                             ;; temporary (general purpose) register, and
477                             ;; from there to the target location.
478                             (incf stack-argument-count)
479                             (inst mov temp-reg-tn stack-arg-tn)
480                             (inst mov target-tn temp-reg-tn)))))
481                   (t
482                    (bug "Unknown alien floating point type: ~S" type)))))
483
484         #!-sb-safepoint
485         (progn
486           ;; arg0 to FUNCALL3 (function)
487           ;;
488           ;; Indirect the access to ENTER-ALIEN-CALLBACK through
489           ;; the symbol-value slot of SB-ALIEN::*ENTER-ALIEN-CALLBACK*
490           ;; to ensure it'll work even if the GC moves ENTER-ALIEN-CALLBACK.
491           ;; Skip any SB-THREAD TLS magic, since we don't expect anyone
492           ;; to rebind the variable. -- JES, 2006-01-01
493           (inst mov rdi (+ nil-value (static-symbol-offset
494                                       'sb!alien::*enter-alien-callback*)))
495           (loadw rdi rdi symbol-value-slot other-pointer-lowtag)
496           ;; arg0 to ENTER-ALIEN-CALLBACK (trampoline index)
497           (inst mov rsi (fixnumize index))
498           ;; arg1 to ENTER-ALIEN-CALLBACK (pointer to argument vector)
499           (inst mov rdx rsp)
500           ;; add room on stack for return value
501           (inst sub rsp 8)
502           ;; arg2 to ENTER-ALIEN-CALLBACK (pointer to return value)
503           (inst mov rcx rsp)
504
505           ;; Make new frame
506           (inst push rbp)
507           (inst mov  rbp rsp)
508
509           ;; Call
510           (inst mov  rax (foreign-symbol-address "funcall3"))
511           (inst call rax)
512
513           ;; Back! Restore frame
514           (inst mov rsp rbp)
515           (inst pop rbp))
516
517         #!+sb-safepoint
518         (progn
519           ;; arg0 to ENTER-ALIEN-CALLBACK (trampoline index)
520           (inst mov rdi (fixnumize index))
521           ;; arg1 to ENTER-ALIEN-CALLBACK (pointer to argument vector)
522           (inst mov rsi rsp)
523           ;; add room on stack for return value
524           (inst sub rsp 8)
525           ;; arg2 to ENTER-ALIEN-CALLBACK (pointer to return value)
526           (inst mov rdx rsp)
527           ;; Make new frame
528           (inst push rbp)
529           (inst mov  rbp rsp)
530           ;; Call
531           (inst mov rax (foreign-symbol-address "callback_wrapper_trampoline"))
532           (inst call rax)
533           ;; Back! Restore frame
534           (inst mov rsp rbp)
535           (inst pop rbp))
536
537         ;; Result now on top of stack, put it in the right register
538         (cond
539           ((or (alien-integer-type-p result-type)
540                (alien-pointer-type-p result-type)
541                (alien-type-= #.(parse-alien-type 'system-area-pointer nil)
542                              result-type))
543            (inst mov rax [rsp]))
544           ((or (alien-single-float-type-p result-type)
545                (alien-double-float-type-p result-type))
546            (inst movq xmm0 [rsp]))
547           ((alien-void-type-p result-type))
548           (t
549            (error "unrecognized alien type: ~A" result-type)))
550
551         ;; Pop the arguments and the return value from the stack to get
552         ;; the return address at top of stack.
553         (inst add rsp (* (1+ (length argument-types)) n-word-bytes))
554         ;; Return
555         (inst ret))
556       (finalize-segment segment)
557       ;; Now that the segment is done, convert it to a static
558       ;; vector we can point foreign code to.
559       (let ((buffer (sb!assem::segment-buffer segment)))
560         (make-static-vector (length buffer)
561                             :element-type '(unsigned-byte 8)
562                             :initial-contents buffer)))))